其他分享
首页 > 其他分享> > 大数据之-Hadoop之HDFS_读数据流程_原理篇---大数据之hadoop工作笔记0069

大数据之-Hadoop之HDFS_读数据流程_原理篇---大数据之hadoop工作笔记0069

作者:互联网

然后我们再来看下,这个客户端去从hadoop的hdfs上面读取数据的一个过程.

1.首先我们先看一下hadoop是怎么来存数据的.

2.首先对于namenode节点来说,我们说他存了元数据,比如他这里存了一个/usr/atguigu/ss.avi这个文件,注意他仅仅是存了一个元数据,比如名字,路径.

   然后namenode还存了,比如我这个文件有两个block块,比如是blk_1,和blk_2,这两个块.然后为了安全起见,这个namenode也会把这两个块信息,存3个副本放起来.

3.然后namenode上面记录的这个文件的blk_1这个块,可以看到记录了他存在了datanode1上面一份具体的块的数据,在datanode2上面存了一份具体的块的数据,在datanode3上面存了一份具体的块的数据

4.然后同样namenode上面记录的这个文件的blk_2这个块,可以看到记录了他存在了datanode1上面一份具体的块的数据,在datanode2上面存了一份具体的块的数据,在datanode3上面存了一份具体的块的数据

标签:HDFS,Hadoop,读数据,hadoop,blk,namenode,数据,上面,一份
来源: https://blog.csdn.net/lidew521/article/details/115455941