HDFS元数据管理(checkpoint机制)
作者：互联网
NameNode的主要职责是记录用户存储数据的数据元信息
元数据:文件块,文件存储位置,块大小,副本的个数,文件的权限......
记录元数据的形式由两种
元数据存储在内存上:内存对象
元数据存储在磁盘上:内存对象的序列化文件
当客户端对HDFS上的数据进行操作以后,数据的元数据会发生变化,NameNode可以FSImage.saveImage()修改内存对象数据.(内存中的数据存储量有限)
为了保证宕机后数据的正确性,我们可以设计定期的将存储元数据FSImage对象序列化到磁盘上,但是会占用系统资源
当用户操作做数据的时候,会将用户的操作记录在edit日志中,随着时间的推移,日志数据也会越来越大,当宕机重启的时候会花费大量时间加载日志数据,启动时间过长,用户无法操作
这个时候引入SecondryNameNode用来对存储数据的元数据处理(checkpoint机制),大致如下:
下载NameNode的Fsimage000000文件(初始化文件,只下载一次)
下载生成好的日志文件,没有_inprocess的日志文件(1小时一次)
加载镜像文件生成内存对象
加载日志文件,修改镜像对象
序列化镜像对象
将镜像对象上传到NameNode中
清理NameNode上没用的日志数据和序列化的镜像文件
定期下载日志文件,合并镜像对象,上传到NameNode上
标签：HDFS,文件,对象,checkpoint,数据管理,内存,NameNode,日志,数据 来源： https://blog.csdn.net/JinVijay/article/details/122800427