50010

首页 > TAG信息列表 > 50010

HDFS的Block数据balancer重分布实战

Hadoop的HDFS集群在使用一段时间后，各个DataNode节点的磁盘使用率肯定会出现不平衡的情况，也就是数据量层面的数据倾斜，如图：引起这种情况的方式很多： 1. 添加新的Datanode节点 2. 人为干预将数据的副本数降低或者增加我们都知道当HDFS出现数据不平衡的

报错：Bad connect ack with firstBadLink as 172.17.5.0:50010

防火墙没关： [root@master-30018-30019-30020-qwxg6 ~]# hadoop fs -put test.txt / 19/02/23 14:34:57 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 19/02/23 14:36:04 INFO hdfs.DFSCl

1388：家谱(gen)

http://ybt.ssoier.cn:8088/problem_show.php?pid=1388 方法一：普通模拟，时间复杂度O（50000*1000）只能拿40分 1 #include<bits/stdc++.h> 2 using namespace std; 3 string s; 4 string pep[50010];//存放名字 5 int fa[50010];//记录他的祖先，默认值为0时本人就是祖先 6 7

搭配购买题解

搭配购买 https://www.luogu.com.cn/problem/P1455 前言：这道题...emm...其实很简单，只是有些小细节和思路想要记录一下，于是就有了这篇题解quq 题目简述：给定n朵云（物品）的价格和价值，再给定m个捆绑关系以及你所拥有的总钱数每一个捆绑关系给定u、v两个物品，表示购买u物品必须买v物品，

Windows访问虚拟机中的docker，HDP Docker （sandbox）中增加对外的端口

背景：在windows进行关于大数据方面的一些开发，涉及到HDFS或者Hive或者hbase的访问，本地想测试，又不想自己一个个的装hadoop环境，就直接下载了HDP的虚拟机或者Docker 直接在vmware中加载开机就行，目前用的HDP2.6.5 整个物理环境其实是： windows10（开发测试）----访问----> windows上的虚拟机

【题解】多边形染色

Link 蒟蒻做的为数不多的环形\(dp\),技巧不到位，写题解来总结一下。 \(\text{Solution:}\) \(dp\)柿子还是很好推出来的：\(dp[i][j]\)表示地\(i\)个点染色是\(j\)的方案数。先考虑没有限制的转移： \[dp[i][j]=\sum_{k\not=j} dp[i-1][k] \]最后注意一下\(1,n\)的限制。这题多了三个

[线段树] *建树区间更新单点查询* hdu 3974

题目题目链接：http://acm.hdu.edu.cn/showproblem.php?pid=3974 思路这道题给出了每个人之间的关系，让我们自己建图。首先，没有boss的人就是boss，我们要先把boss找出来，然后利用dfs建树。代码 #include<cstdio> #include<cstring> #include<cmath> #include<cstdlib> #inclu

fsck获取文件的block信息和位置信息

原文链接：lxw的大数据田地 » hdfs fsck命令查看HDFS文件对应的文件块信息(Block)和位置信息(Locations) 关键字：hdfs fsck、block、locations 在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。 fsck命令必须由HDFS超级用户来执行，普通

luogu P2522 [HAOI2011]Problem b

题面　　对于给出的n个询问，每次求有多少个数对(x,y)，满足a≤x≤b，c≤y≤d，且gcd(x,y) = k，gcd(x,y)函数为x和y的最大公约数。首先将问题转化一下，不妨设f[x][y]表示1<=i<=x,1<=j<=y,且gcd(i,j) = k ,数对(i,j)的个数; 那么由容斥原理，原问题可转化为 f[b][d] - f[a-1][d] - f[b][c-

[Usaco2006 Mar]Mooo 奶牛的歌声题解

题目链接 bzoj1657 思路：本题可用单调栈思想来解。维护一个单调下降的序列，由于是下降的，所以栈里的每一头牛的声音都不能被后面的牛听到。当一个身高较大的牛加入栈时，栈不再单调，需要踢掉一些牛，而那些牛的身高都比它矮所以可以把那些牛的声音加到当前牛的伤残值里。而由于那些较矮的

luogu1060:开心的金明

#include<bits/stdc++.h> using namespace std; int f[50010]; int a[50010]; int v[50010]; int w[50010]; int main() { int n,m; scanf("%d %d",&n,&m); for(int i=1;i<=m;i++) { scanf("%d %d",&v[i],&w[i]); } fo

Hadoop 查看某个文件分成几个块，分别在那台机架的哪个机器上

命令是 hadoop fsck /g6/input/baidu.log -files -blocks -locations -racks [hadoop@hadoop002 ~]$ hadoop fsck /g6/input/baidu.log -files -blocks -locations -racks DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command

[2018.12.9]BZOJ1010 [HNOI2008]玩具装箱toy

设\(sum_i\)为\(c_i\)的前缀和。 \(dp_i=min\{dp_j+(i-j-1+sum_i-sum_j-L)^2\}\) 设\(f_i=i+sum_i\),\(t=L+1\) \(dp_i=min\{dp_j+(f_i-f_j-t)^2\}\) \(\ \ \ \ \ =min\{dp_j+f_i^2+f_j^2+t^2-2f_if_j-2tf_i+2tf_j\}\) \(\ \ \ \ \ =min\{dp_j+f_j^2

HAOI2010 工厂选址

题目链接：戳我数组开小火葬场qwqwq 就是一个贪心吧。对于一个数，我们知道只有两种摆放方式。所以我们可以先都放到新的里面，然后做一下新的-原先的差，按照差从大到小排序，依次提取数值减去即可。代码如下： #include<iostream> #include<cstdio> #include<algorithm> #include<cmath> #i