CDH Disk Balancer 磁盘数据均衡
作者:互联网
前提:
CDH5.16.2
由于数据量过多,磁盘大小太小,导致磁盘使用率高达90%以上,于是新增磁盘,可问题来了,如何将这两块磁盘上的数据进行均衡呢?
本次基于CDH来做
1.设置dfs.disk.balancer.enabled 为true
2.hdfs diskbalancer -plan cbp9.chinaoly.com(需要均衡的机器) 会生成一个*.plan.json的文件
3.hdfs diskbalancer -execute /system/diskbalancer/2021-Feb-2-20-11-14/cbp9.chinaoly.com.plan.json
4.hdfs diskbalancer -query cbp9.chinaoly.com
DONE的时候表示已经执行完毕
备注:
此过程由于数据量相对比较大,磁盘IO、网络IO占用都会比较高,虽然有参数可以配置,如dfs.datanode.balance.bandwidthPerSec,但仍然建议在集群负载不高时进行,特别是生产集群。另外执行时间的长度取决于:数据量、网络IO、磁盘IO及新写入的数据量大小
可同时配置dfs.datanode.fsdataset.volume.choosing.policy(磁盘的选择策略)
标签:hdfs,IO,CDH,diskbalancer,Balancer,cbp9,数据量,磁盘,Disk 来源: https://www.cnblogs.com/hackerer/p/14420304.html