其他分享
首页 > 其他分享> > HDFS定义

HDFS定义

作者:互联网

1. HDFS产出背景及定义
  A. HDFS产生背景
    需要一种系统来管理多台机器上的文件,HDFS只是分布式文件管理系统中的一种
  B. HDFS定义
    a. HDFS是一个文件系统,
    b. 其次它是分布式的
    c. HDFS的使用场景:适合一次写入,多次读出的场景

2. HDFS优点
  A. 高容错性
    a. 数据自动保存多个副本。它通过增加副本的形式,提高容错性。
    b. 某一个副本丢失以后,它可以自动恢复
  B. 适合处理大数据
    a. 数据规模:能够处理数据规模达到GB、TB、甚至PB级别的数据
    b. 文件规模:能够处理百万规模以上的文件数量,数量相当之大
  C. 可构建在廉价机器上,通过多副本机制,提高可靠性

3. HDFS缺点
  A. 延时高
    不适合低延时数据访问,比如毫秒级的存储数据,是做不到的
  B. 无法高效的对大量小文件进行存储
    a. 需要存储文件目录和块信息,浪费NameNode的内存空间
    b. 小文件存储的寻址时间会超过读取时间,它违反了HDFS的设计目标
  C. 不支持并发写入、文件随机修改
    a. 一个文件只能有一个写,不允许多个线程同时写
    b. 仅支持数据追加,不支持文件的随机修改

标签:HDFS,存储,副本,定义,文件,容错性,数据
来源: https://www.cnblogs.com/shangzq/p/14842891.html