HDFS 相关

1.基础命令

查看

hdfs dfs -ls /

上传

hdfs dfs -put

下载

hdfs dfs -get

删除

hdfs dfs -mv 

2.hdfs生产数据块损坏/丢失修复方法

• 手动修复

hdfs fsck / #首先检查哪些数据块丢失了

hdfs debug recoverLease -path 文件位置 -retries 重试次数 # 修复指定路径的hdfs文件，尝试多次

此时，hdfs就能被修复了，

hdfs fsck -delete 删除命令

切记不要使用hdfs fsck / -delete 命令，它是删除所有损坏的块的数据文件，会导致数据彻底丢失，当然若只有一个副本，或所有副本均已经损坏，则可以执行此命令。

• 自动修复

hdfs当然会自动修复损坏的数据块，当数据块损坏后，DN节点执⾏directoryscan（datanode进行内存和磁盘数据集块校验）操作之前，都不会发现损坏；也就是directoryscan操作校验是间隔6h
dfs.datanode.directoryscan.interval : 21600

在DN向NN进⾏blockreport前，都不会恢复数据块;也就是blockreport操作是间隔6h
dfs.blockreport.intervalMsec : 21600000

最终当NN收到blockreport才会进⾏恢复操作

生产中倾向于使用手动修复的方法去修复损坏的数据块。

 

3.

4.

5.

 

标签：hdfs,修复,HDFS,dfs,损坏,相关,数据,blockreport
来源： https://www.cnblogs.com/viki1996/p/16699336.html