其他分享
首页 > 其他分享> > 01Hadoop简介

01Hadoop简介

作者:互联网

Hadoop思想之源:Google

  面对的数据和计算难题

    ——大量的网页怎么存储

    ——搜索算法

  带给我们的关键技术和思想(Google三篇论文)

    ——GFS(hdfs)

    ——Map-Reduce

    ——Bigtable

Hadoop创始人介绍:

  Hadoop作者Doug cutting,就职Yahoo期间开发了Hadoop项目,目前在CLoudera公司从事架构工作。他不但是Hadoop项目的发起人,还是Lucene、Nutch项目的发起人。

          

 

Hadoop简介:

  ——名字来源于Hadoop之父Doug Cutting儿子的玩具大象。

  2003-2004年,Google公开了部分GFS和Mapreduce思想的细节,以此为基础Doug Cutting等人用了2年业余时间实现了DFS和Mapreduce机制,一个微缩版:Nutch。

  Hadoop于2005年秋天作为Lucene的子项目Nutch的一部分正式引入Apache基金会。2006年3月份,Map-Reduce和Nutch Distributed File System(NDFS)分别被纳入成为Hadoop的项目中。

 

  ——分布式存储系统HDFS(Hadoop Distributed File System)

  ——分布式计算框架Map-Reduce

 

HDFS优点:

  - 高容错性:

  - 高可靠性

  - 高扩展性

  - 高效性:

  - 适合批处理:

  - 适合大数据处理:

  - 可构建在廉价机器上:

HDFS缺点:

  - 不适合低延迟数据访问:

  - 不适合小文件存取:

  - 不支持并发写入、文件随机修改:

 

标签:HDFS,Nutch,简介,01Hadoop,Hadoop,扩展性,数据,节点
来源: https://www.cnblogs.com/xinmomoyan/p/10617174.html