其他分享
首页 > 其他分享> > Hadoop Hdfs常用命令

Hadoop Hdfs常用命令

作者:互联网

常用命令:

hdfs帮助:-help [cmd] 显示命令的帮助信息

[user@hadoop01 ~]$ hdfs dfs -help ls

  

1. hadoop fs (hdfs dfs)  文件操作

1)ls - 查看hdfs中的目录信息

[user@hadoop01 ~]$ hdfs dfs -ls -h /hdfs路径

 显示目录下的所有文件可以加 -R 选项

[user@hadoop01 ~]$ hdfs dfs -ls -R /hdfs路径

2)mkdir - 创建文件夹或文件

[user@hadoop01 ~]$ hdfs dfs -mkdir /testEason

 创建多级目录加上 –p  

[user@hadoop01 ~]$ hdfs dfs -mkdir -p /testEason/test/path

3)touchz - 创建一个hdfs空文件

[user@hadoop01 ~]$ hdfs dfs -touchz /testEason/test.txt

4)cat | tail - 查看文件内容 

[user@hadoop01 ~]$ hdfs dfs -cat /testEason/test.txt
[user@hadoop01 ~]$ hdfs dfs -tail -f /testEason/test.txt

5)mv | rm - 移动或删除文件 

  用法:hdfs dfs -mv URI [URI ...] <dst>  或  hdfs dfs -rm [-f] [-r |-R] [-skipTrash] URI [URI ...]

[user@hadoop01 ~]$ hdfs dfs -mv /testEason/test01 /testEason/test
[user@hadoop01 ~]$ hdfs dfs -rm /testEason/test.txt

  删除文件夹加上 -r

[user@hadoop01 ~]$ hdfs dfs -rm -r /testEason/test/path

6)put - 将本地的文件上传(复制)到HDFS是dst目录下

  用法: hdfs dfs -put <localsrc> ... <dst>

[user@hadoop01 ~]$ hdfs dfs -put /本地文件 /hdfs路径
[user@hadoop01 ~]$ hdfs dfs -put localfile /user/hadoop/testEason
[user@hadoop01 ~]$ hdfs dfs -put localfile1 localfile2 /user/hadoop/testEason
[user@hadoop01 ~]$ hdfs dfs -put localfile hdfs://nn.example.com/hadoop/testEason

  moveFromLocal - 类似于put命令,和put命令不同的是,该操作是移动(意思就是localfile将被删除)

  用法:hdfs dfs -moveFromLocal <localsrc> <dst> 

[user@hadoop01 ~]$ hdfs dfs -moveFromLocal localfile /user/hadoop/testEason

 copyFromLocal - 类似于put命令,和put命令不同的是,拷贝的源地址必须是本地文件地址

  用法:hdfs dfs -copyFromLocal <localsrc> URI   

    -f  参数选项:当拷贝的目标文件存在时,进行覆盖

[user@hadoop01 ~]$ hdfs dfs -copyFromLocal localfile.txt /user/hadoop/testEason/test.txt
copyFromLocal: `/test.txt': File exists
[user@hadoop01 ~]$ hdfs dfs -copyFromLocal -f localfile.txt /user/hadoop/testEason/test.txt

7)cp - 拷贝,HDFS文件系统中进行的拷贝操作,将文件从源路径复制到目标路径;这个命令允许有多个源路径,此时目标路径必须是一个目录  

  用法:hdfs dfs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>

     -f 参数选项:当文件存在时,进行覆盖
    -p 参数选项:将权限、所属组、时间戳、ACL以及XAttr等也进行拷贝

[user@hadoop01 ~]$ hdfs dfs -cp -p /tmp/fan /tmp/testEason

8)get - 从HDFS上拷贝文件到本地

  用法:hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>

    -ignorecrc 参数选项:复制CRC校验失败的文件

    -crc 参数选项:复制文件以及CRC信息

[user@hadoop01 ~]$ hdfs dfs -get /user/hadoop/file localfile
[user@hadoop01 ~]$ hdfs dfs -get hdfs://nn.example.com/user/hadoop/file localfile

 copyToLocal - 类似于get指令。和get命令不同的是,拷贝的目的地址必须是本地文件地址

  用法: hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

[user@hadoop01 ~]$ hdfs dfs -copyToLocal /word /usr/eason/temp/word.txt

9)appendToFile - 是将一个或者多个文件添加到HDFS系统中  

  用法: hdfs dfs -appendToFile <localsrc> ... <dst>

[user@hadoop01 ~]$ hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile
[user@hadoop01 ~]$ hdfs dfs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile
[user@hadoop01 ~]$ hdfs dfs -appendToFile - hdfs://nn.example.com/hadoop/hadoopfile Reads the input from stdin.

10)chmod - 改变文件访问权限,参考Linux命令

  用法:hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

    -R 参数选项:将使改变在目录结构下递归进行;命令的使用者必须是文件的所有者或者超级用户;

11)du - 显示目录中所有文件的大小

  用法:hdfs dfs -du URI [URI …]

    -s 参数选项:显示当前目录或者文件夹的大小

[user@hadoop01 ~]$ hdfs dfs -du -s /

12)df - 显示剩余空间

  用法:hdfs dfs -df [-h] URI [URI ...]  

[user@hadoop01 ~]$ hdfs dfs -df /

13)checksum - 查看校验码信息

  用法: hdfs dfs -checksum URI

[user@hadoop01 ~]$ hdfs dfs -checksum hdfs://nn1.example.com/file1
[user@hadoop01 ~]$ hdfs dfs -checksum file:///etc/hosts

14)chgrp - 改变文件所属的组(Change group association of files.)

  用法: hdfs dfs -chgrp [-R] GROUP URI [URI ...]

    -R 参数选项:将使改变在目录结构下递归进行;命令的使用者必须是文件的所有者或者超级用户

[user@hadoop01 ~]$ hdfs dfs -chgrp -R test /a

15)chown - 改变文件的所有者  

  用法:hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI]

    -R 参数选项:将使改变在目录结构下递归进行;命令的使用者必须是超级用户

[user@hadoop01 ~]$ hdfs dfs -chown -R test /a

16)count - 计算paths下的目录数,文件数和字节数

  用法:hdfs dfs -count [-q] [-h] [-v] <paths>

[user@hadoop01 ~]$ hdfs dfs -count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2 
[user@hadoop01 ~]$ hdfs dfs -count -q -h -v hdfs://nn1.example.com/file1

17)expunge - 从垃圾桶目录永久删除超过保留阈值的检查点中的文件,并创建新检查点 

  用法:hdfs dfs -expunge 

18)find - 查找满足表达式的文件和文件夹,没有配置path的话,默认的就是全部目录/;如果表达式没有配置,则默认为 -print

  用法: hdfs dfs -find <path> ... <expression> ...

    -name pattern 参数选项:所要查找文件的文件名

    -iname pattern 参数选项:所要查找的文件名,不区分大小写

    -print  参数选项:打印

    -print0 参数选项:打印在一行,如下图所示

[user@hadoop01 ~]$ hdfs dfs -find /usr/hadoop/testEason -name test -print

19)getmerge - 是将HDFS上一个目录中所有的文件合并到一起输出到一个本地文件上

  用法:hdfs dfs -getmerge [-nl] <src> <localdst>

[user@hadoop01 ~]$ hdfs dfs -getmerge -nl /src /opt/output.txt
[user@hadoop01 ~]$ hdfs dfs -getmerge -nl /src/file1.txt /src/file2.txt /output.txt

20)test - 判断文件信息

  用法:hadoop fs -test -[defsz] URI     

    -d 参数选项:如果路径是一个目录,返回0

    -e 参数选项:如果路径已经存在,返回0

    -f 参数选项:如果路径是一个文件,返回0

    -s 参数选项:如果路径不是空,返回0

    -z 参数选项:如果文件长度为0,返回0

    URI 参数选项:资源地址,可以是文件也可以是目录。

[user@hadoop01 ~]$ hdfs dfs -test -e filename

  

2. hdfs dfsadmin 管理命令

1)  report - 查看文件系统的基本信息和统计信息

[user@hadoop01 ~]$ hdfs dfsadmin -report

2)  safemode - 安全模式命令;安全模式是NameNode的一种状态,在这种状态下,NameNode不接受对名字空间的更改(只读),不复制或删除块;NameNode在启动时自动进入安全模式,当配置块的最小百分数满足最小副本数的条件时,会自动离开安全模式
  enter 参数选项:enter是进入
  leave 参数选项:leave是离开

[user@hadoop01 ~]$ hdfs dfsadmin -safemode get
[user@hadoop01 ~]$ hdfs dfsadmin -safemode enter

3)  refreshNodes - 重新读取hosts和exclude文件,使新的节点或需要退出集群的节点能够被NameNode重新识别(新增节点或注销节点时用到)

[user@hadoop01 ~]$ hdfs dfsadmin -refreshNodes

4)  finalizeUpgrade - 终结HDFS的升级操作
5)  upgradeProgress -
  status 参数选项:请求当前系统的升级状态
  details 参数选项:升级状态的细节
  force 参数选项:强制升级操作
6)  help - 显示帮助信息

 

 

 

 

  

标签:选项,hdfs,Hdfs,hadoop01,Hadoop,dfs,URI,user,常用命令
来源: https://www.cnblogs.com/ctt-freedom/p/15429362.html