其他分享
首页 > 其他分享> > Hadoop-day03 hadoop基本命令

Hadoop-day03 hadoop基本命令

作者:互联网

一、Hadoop环境变量的配置

首先进入linux环境配置的文件

vim /etc/profile

这样就进入配置文件的界面

然后按下英文字母i就可以进入文件的编辑模式,后面输入环境变量的配置:

HADOOP_HOME= (hadoop文件的根目录)
PATH=.:$HADOOP/bin(Hadoop文件中的bin目录)
输入:HADOOP_HOME=/usr/local/soft/hadoop
PATH=.:$HADOOP_HOME/bin

之后先按下esc输入":wq"完成文件的保存退出(如果不小心输入错误,或者误删里面的内容可以输入":q!"不保存退出)
最后输入命令

source /etc/profile

重新加载一下配置文件
这样环境变量的配置就完成了!!!
(以后其他软件的环境变量配置都与之类似)

Hadoop的启动

第一种 直接启动或者关闭所有的进程

hadoop的启动文件在bin目录下
启动命令:

start-all.sh

关闭命令:

stop-all.sh

第二种 分模块启动

启动和关闭 namenode,secondaryNamenode和datenode (启动hdfs)
命令分别为:

start-dfs.sh      stop-dfs.sh

启动yarn
命令分别为:

start-yarn.sh     stop-yarn.sh

第三种 各个节点单独启动

单独启动namenode守护进程

  hadoop-daemons.sh start namenode

单独启动DataNode守护进程

   hadoop-daemons.sh start datanode

单独启动SecondaryNameNode 守护进程

   hadoop-daemons.sh start SecondaryNameNode 

开启resourcemanager

   yarn-daemon.sh start resourcemanager

开启nodemanager

    yarn-daemons.sh start nodemanager 

启动historyserver

    mr-historyserver-dameon.sh start /stop historyserver

使用jps命令查看有关java的进程

其中成功后master节点:

node1,node2为:

浏览器查看hdfs是否可以使用
http://master:50070/ 或者
http://192.168.170.110:50070/

注意:如果出现使用主机名无法进入而使用IP可以进入,这是因为我们自己的电脑中没有配置主机名映射:无法识别主机名。

Hadoop 常用命令

  1. 显示hdfs目录结构
hdfs dfs -ls -R /

2.在hadoop中指定路径在创建目录

hdfs dfs -mkdir /shujia

这样就在根目录下创建一个名为shujia的目录(其实就是文件夹)

  1. 将本地文件夹存储至hadoop
hdfs dfs -put [本地路径] [hadoop路径]
  1. 查看指定目录下内容
hdfs dfs -ls [指定hadoop路径]

5.打开某个已存在文件

hdfs dfs -cat [hadoop中文件路径]

6.将hadoop上某个文件重命名

hdfs dfs -mv [文件路径] [路径+文件新名]

例: hdfs dfs -mv /shujia/bigdata17.txt /shujia/bigdata.txt
就是将/shujia目录下bigdata17.txt文件更名为 bigdata.txt
7.将hadoop上某个文件下载至本地已有目录下

hdfs dfs -get [文件路径] [目标路径]

8.删除hadoop上指定文件

hdfs dfs -rm [文件路径]

9.递归删除hadoop上指定目录及目录下所有文件夹和文件

hdfs dfs -rm -r [目录地址]

最后是hadoop其他命令一览(相对来说这些命令使用的频率只要少一些,但也很重要):

hdfs dfs  查看Hadoop HDFS支持的所有命令   
hdfs dfs –ls  列出目录及文件信息   
hdfs dfs –lsr  循环列出目录、子目录及文件信息      
hdfs dfs –tail /user/sunlightcs/test.txt  查看最后1KB的内容   

hdfs dfs –copyFromLocal test.txt /user/sunlightcs/test.txt  从本地文件系统复制文件到HDFS文件系统,等同于put命令   
hdfs dfs –copyToLocal /user/sunlightcs/test.txt test.txt  从HDFS文件系统复制文件到本地文件系统,等同于get命令   

hdfs dfs –chgrp [-R] /user/sunlightcs  修改HDFS系统中/user/sunlightcs目录所属群组,选项-R递归执行,跟linux命令一样   
hdfs dfs –chown [-R] /user/sunlightcs  修改HDFS系统中/user/sunlightcs目录拥有者,选项-R递归执行   
hdfs dfs –chmod [-R] MODE /user/sunlightcs  修改HDFS系统中/user/sunlightcs目录权限,MODE可以为相应权限的3位数或+/-{rwx},选项-R递归执行

hdfs dfs –count [-q] PATH  查看PATH目录下,子目录数、文件数、文件大小、文件名/目录名   
hdfs dfs –cp SRC [SRC …] DST       将文件从SRC复制到DST,如果指定了多个SRC,则DST必须为一个目录   
hdfs dfs –du PATH  显示该目录中每个文件或目录的大小   
hdfs dfs –dus PATH  类似于du,PATH为目录时,会显示该目录的总大小   

hdfs dfs –expunge  清空回收站,文件被删除时,它首先会移到临时目录.Trash/中,当超过延迟时间之后,文件才会被永久删除   

hdfs dfs –getmerge SRC [SRC …] LOCALDST [addnl]   获取由SRC指定的所有文件,将它们合并为单个文件,并写入本地文件系统中的LOCALDST,选项addnl将在每个文件的末尾处加上一个换行符   

hdfs dfs –test –[ezd] PATH     对PATH进行如下类型的检查:-e PATH是否存在,如果PATH存在,返回0,否则返回1;-z 文件是否为空,如果长度为0,返回0,否则返回1; -d 是否为目录,如果PATH为目录,返回0,否则返回1  

hdfs dfs –text PATH  显示文件的内容,当文件为文本文件时,等同于cat;文件为压缩格式(gzip以及hadoop的二进制序列文件格式)时,会先解压缩    

hdfs dfs –help ls  查看某个[ls]命令的帮助文档

安全模式

NameNode在启动时会自动进入安全模式,安全模式是NameNode的一种状态,在这个阶段,文件系统不允许有任何修改。

系统显示Name node in safe mode,说明系统正处于安全模式,这时只需要等待几十秒即可,也可通过下面的命令退出安全模式:

hadoop dfsadmin -safemode leave

相反,进入安全模式的命令为:

hadoop dfsadmin -safemode enter

标签:hdfs,文件,day03,Hadoop,dfs,hadoop,PATH,目录
来源: https://www.cnblogs.com/f-1000/p/16410172.html