HDFS读写流程
作者：互联网
一、HDFS写流程
流程图如下：
过程：
1、HDFS Client调用Filesystem.creat(filePath)方法，通过RPC（远程过程调用，简单的理解是一个节点请求另一个节点提供的服务）与NameNode建立通讯。
2、NN会检查这个文件是否存在？是否可以创建?如果可以，NN会触发副本放置策略，计算出上传的块和相应的DN节点，然后将这个信息返回给Client的FsDataOutputStream对象。
3、Client和对应的一个 DN 建立PipeLine连接（本质上也是一个RPC调用，DN收到请求后再去调用另一个，另一个接着调用最后一个，将整个PipeLine建立完成后，从后逐级返回给client）
4、Client接着调用 FsDataOutputStream 的write方法，Client将每个块 切成packet（64k），然后向第一个DN发送，第一个收到后保存再发送给第二个，第二个收到后保存，再发送给第三个
在此过程中 上游节点同时发送下一个packet
生活中类比工厂的流水线；结论：流式其实也是变种的并行计算
5、然后再PipeLine反方向，逐个发送ACK（命令正确应答），最后由第一个DN发送给Client（FSDataOutputStream）
6、当第一个block传输完成后，Client请求NameNode上传第二个block，重复3操作
7、当所有block全部写完，Client调用FSDataOutputStream的close方法关闭数据流
然后调用FileSystem.complete 方法告诉NN文件写入成功。
二、HDFS 读流程
流程图如下：
过程：
1、HDFS Client 调用Filesystem.open(filePath)方法，与NN进行RPC通信
2、NN对文件进行权限检查（存在？权限？）然后根据就近返回相应的block列表给Client
3、Client与相应的每个block主机建立PipeLine（并行）
4、client调用FSDataInputStream.read方法同样以package为单位进行读取，读取完后进行检查
5、将读取的不同block进行合并
6、client调用FSDataInputStream的close方法关闭数据流
作业：
1、一些名词了解
spu：款 sku：款色 范围 spu>sku
2、emp表递归问题，要求最后查询形式如下
1
标签：DN,HDFS,调用,NN,读写,Client,流程,block 来源： https://blog.csdn.net/qq_43476430/article/details/123633335