其他分享
首页 > 其他分享> > 几种访问HDFS文件的客户端的总结

几种访问HDFS文件的客户端的总结

作者：互联网

HDFS是英文Hadoop Distributed File System的缩写，中文翻译为Hadoop分布式文件系统，它是实现分布式存储的一个系统，所以分布式存储有的特点，HDFS都会有，HDFS的架构图：

 

 上图中HDFS的NameNode其实就是对应着分布式存储的Storage master，主要是用来存储元数据的，根据这些元数据就可以管理所有的机器节点和数据块

HDFS的DataNodes其实就是对应着分布式存储的Storage slaves，主要就是真正存储数据的 在HDFS中，一个大文件会被分成若干个数据块，所有的数据块都是分布式的存储在多个DataNode上。每个数据块都可以备份多个以提高数据块的高可用性，上图的Replication就是表示数据块的备份
上图的Rack是机架的意思，也就是说机器可以放在不同的机架上
上图还有一个Client，这个其实就是使用HDFS的客户端，这个客户端可以做如下的操作：
  1. 操作NameNode上的元数据
  2. 向DataNode上写数据
  3. 向DataNode上读数据
这个Client可以有很多种，：HDFS WEB UI、HDFS Shell命令以及Http方式访问HDFS。我们来分别总结下。
在安装HDFS的时候，除了NameNode和DataNode两个角色外，我们还发现有一个SecondaryNameNode，这个角色主要是为了提高NameNode的性能而存在的，我们后面会详细讲解
HDFS WEB UI
当我们启动HDFS集群后，然后通过http://master:50070/去访问HDFS WEB UI的时候，我们会经常使用Utilities下的Browse the file system去查看HDFS中的文件，如下：

 

然后就会出现HDFS中的根目录下所有的文件：

 

 上面的方式是我们常见的访问HDFS文件的方式之一，这种使用的方式也是很方便的。

  当我们启动HDFS集群后，我们可以通过http://master:50070来访问HDFS集群，其中，master是NameNode所在机器的名称。下面的就是HDFS WEB UI的七个大模块：  

 

 这篇文章，我们重点分别来详细看一下Overview、Datanodes以及Utilities三个模块

Overview

 

 

 

Summary

 

 

 

 

 

上面 17GB + 17GB = 34GB，而且我们没有配置Reserved Space，所以HDFS总容量就是33.97GB(有一点点的误差可以忽略)
配置dfs.datanode.data.dir就是DataNode数据存储的文件目录
Datanodes

 

 上面有一个Admin State我们有必要说明下，Admin State可以取如下的值：

  1. In Service，表示这个DataNode正常
  2. Decommission In Progress，表示这个DataNode正在下线
  3. Decommissioned，表示这个DataNode已经下线
  4. Entering Maintenance，表示这个DataNode正进入维护状态
  5. In Maintenance，表示这个DataNode已经在维护状态

 

 我们这里详细总结下Browse the file system，对于Logs我们在HDFS日志的查看总结中讲解

当我们点击Browse the file system时，我么会进入到如下的界面：

 

上图每一个字段的解释如下： 我们可以通过鼠标点击Name来访问对应的文件目录或者文件： 当我们访问的是目录的时候，则是去查看该目录下有哪些子文件或者子目录。 当我们访问的是文件的时候，我们查看的是文件的详细信息，比如，我们访问文件/user/omneo.csv文件：

 

 

注意：如果你的文件非常大的时候，不建议点击Download连接，因为你的电脑会卡死的
HDFS Shell命令
HDFS提供了和Linux类似的命令来访问文件系统，比如在Linux中想看下文件目录/home/hadoop-twq/test中有哪些文件，我们可以执行： 
ls /home/hadoop-twq/test

　　

那么在HDFS中也存在ls命令查看某个文件目录中有哪些文件，比如： 
hadoop fs -ls hdfs://master:9999/user/hadoop-twq/test

　　

当然，我们也可以将hdfs://master:9999去掉，如下： 
hadoop fs -ls /user/hadoop-twq/test

　　

那为什么可以去掉呢？因为当我们执行hadoop fs的命令的时候，程序会自动去Hadoop的配置core-site.xml中读取配置fs.defaultFS的值 
## hdfs dfs效果和hadoop fs的效果是一模一样的
hdfs dfs -ls hdfs://master:9999/user/hadoop-twq/test

　　

Hadoop官网的 https://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/FileSystemShell.html HDFS文件恢复机制 有一个命令我们得特别强调下，那么就是rm的命令，HDFS中的rm命令是删除文件的意思，但是用这个命令删除文件的时候并不是真正的删除，而是将文件放到对应的Trash目录中(其实和window电脑的回收站是一样的意思)，但是这个Trash机制默认不是打开的，我们需要在core-site.xml中打开如下的配置： 
<!--单位是：分钟。默认值是0，表示禁用Trash机制-->
<!--下面的意思是保存删除的文件在.Trash文件目录中5分钟-->
<property>
<name>fs.trash.interval</name>
<value>5</value>
</property>

　　

    那么在一个HDFS文件被删除后，5分钟之内还是可以从Trash目录中恢复出来的。比如，我们删除一个文件： 
hadoop fs -rm -r /user/hadoop-twq/cmd-20180326

 

  那么上面删除的文件就会move到文件目录hdfs://master:9999/user/hadoop-twq/.Trash/180326230000/user/hadoop-twq/下，保存5分钟，在5分钟之内我们都可以通过下如的命令进行数据的恢复： 
adoop fs -cp hdfs://master:9999/user/hadoop-twq/.Trash/180326230000/user/hadoop-twq/* /user/hadoop-twq

 

  如果我们确定直接删除文件，并不需要进行保存的话，我们可以选择不保存文件到Trash目录下： 
hadoop fs -rm -r -skipTrash /user/hadoop-twq/cmd-20180326

　　

Http方式访问HDFS 在使用Http访问HDFS之前，我们需要打开webhdfs，可以通过如下的配置打开： 
<!--打开NameNode和DataNode的 WebHDFS (REST API)-->
<!-- 这个参数默认是ture，即默认WebHDFS是打开的-->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

　　

  然后，我们可以在Linux上使用命令curl通过http url的方式访问HDFS文件，比如： 
curl -i  "http://master:50070/webhdfs/v1/user/hadoop-twq/cmd/error.txt?op=LISTSTATUS"

　　

  返回的是一个Json，如下： 
HTTP/1.1200 OK
Cache-Control: no-cache
Expires: Sun,27 Jan 201901:03:02 GMT
Date: Sun,27 Jan 201901:03:02 GMT
Pragma: no-cache
Expires: Sun,27 Jan 201901:03:02 GMT
Date: Sun,27 Jan 201901:03:02 GMT
Pragma: no-cache
Content-Type: application/json
Transfer-Encoding: chunked
Server:Jetty(6.1.26)
 
{
"FileStatuses":
{"FileStatus":
[
{
"accessTime":1543310078655,  ## 表示访问时间
"blockSize":134217728,       ## 表示设置的数据块的大小(这里是128M)
"childrenNum":0,             ## 表示含有多少个子文件
"fileId":36514,              ## 唯一ID
"group":"supergroup",        ## 文件所属组
"length":0,                  ## 文件的大小
"modificationTime":1543310078685,     ## 文件修改时间
"owner":"hadoop-twq",        ## 文件所有者
"pathSuffix":"",             ## 路径后缀
"permission":"644",          ## 文件权限
"replication":1,             ## 文件对应的数据块的备份数
"storagePolicy":0,           ## 存储策略
"type":"FILE"                ## 类型，这里是文件
}
]
}
}

　　

                 

 

 

标签：表示,HDFS,文件,hadoop,几种,twq,DataNode,客户端
来源： https://www.cnblogs.com/tesla-turing/p/11488100.html