Hadoop测试——HDFS基准测试
作者：互联网
Hadoop基准测试
数据节点3台：8C/32GB /chunkdata01:1.2T
HDFS：3.46TB
YARN：Memory：24GB=8G*3 Vcores:18C=6C*3
写入数据：
TestDFSIO
- 第一次测试：失败
写入30*100GB（单个副本）的文件，执行时间：11:06-11:56(失败)
hadoop jar hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0-tests.jar TestDFSIO -write -nrFiles 30 -fileSize 100000
作业执行50分钟左右被标记为UNASSIGNED,UNASSIGNED是在创建task阶段卡住了。
查看yarn状态，发现3台nodemanager都已处于UNHEALTHY列表：
查看3台数据节点的磁盘状态：
发现HDFS和YARN作业日志的挂载点/chunkdata01达到91%，
YARN默认，当挂载磁盘占用90%或者磁盘达到最小的空间大小0M时，会将该盘列入UNHEALTHY，若主机中达到UNHEALTHY列表的磁盘数达到1/4时，则该主机nodemanager会处于UNHEALTHY状态，不会再向该节点分配任务。
该次测试满足以上条件，故3台节点都处于UNHEALTHY状态，导致测试失败。
将yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage参数调整为99.0
将yarn.nodemanager.disk-health-checker.min-free-space-per-disk-mb参数调整为2048
- 第二次测试：成功
写入10*100GB（单副本）的文件，执行时间：13:05-13:45，用时40分钟。
hadoop jar hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 100000
可以看到/benchmarks下的存储达到2.9T（3个副本）
读取数据:
读取10*100GB的文件，执行时间：17：48-18：00，用时11分钟左右。
hadoop jar hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 100000
测试结果：
......
标签：HDFS,UNHEALTHY,10,jar,Hadoop,hadoop,测试,disk 来源： https://blog.csdn.net/W1331808514/article/details/86484082