其他分享
首页 > 其他分享> > hdfs读写流程

hdfs读写流程

作者:互联网

1.hdfs读流程

  1. 客户端跟namenode通信查询元数据,namenode通过查询元数据,找到数据快所在的datanode服务器(hadoop01,hadoop02,hadoop03).
  2. namenode将datanode服务器信息返回给客户端.
  3. 客户端就近随机挑选一台datanode服务器请求建立socket流.
  4. datanode开始发送数据,以packet为单位(64k).
  5. 客户端以packet为单位接收,先在本地缓存,然后写入到目标文件.

2.hdfs写流程

  1. 客户端跟namenode通信请求上传文件,namenode去查找文件是否存在,父目录是否存在,用户是否有权限
  2. namenode返回是否可以上传
  3. 客户端请求上传第一个block,该传输到哪些datanode服务器上
  4. namenode返回给客户端datanode服务器bloc(hadoop01,hadoop02,hadoop03)
  5. 客户端请求3台datanode中的一台hadoop01上传数据(本质上是rpc的调用,建立起管道),hadoop01收到请求后会继续调用hadoop02,然后hadoop02再调用hadoop03,将整个管道建立完成,然后逐级返回客户端
  6. 客户端开始往hadoop01上传第一个block(先从磁盘读取数据放入到本地内存缓存),以packet为单位发送,hadoop01收到一个packet就会传给hadoop02,
    hadoop02再传给hadoop03;hadoop01每传一个packet就会将packet放入到应答队列中等待应答.
  7. 当一个block传输完成之后,客户端会再次请求namenode上传第二个block到哪些datanode服务器.

标签:hdfs,hadoop02,读写,packet,hadoop01,datanode,namenode,流程,客户端
来源: https://blog.csdn.net/weixin_47699191/article/details/111295031