其他分享
首页 > 其他分享> > 第一堂课20210301

第一堂课20210301

作者:互联网

分布式计算的基本内涵

什么叫做计算?

在大型机时代

20世纪初,图灵设计了第一个理论计算机模型;1946年,美国州立大学穆克利第一台通用电子计算机ENIAC(电子数字积分计算机)

,体积和计算能力有限,不能存储程序,没有设计输入输出;1945年,冯诺依曼设计的EDVAC(离散变量自动电子计算机);

1997年,IBM。

在PC机时代

1978年:IBM的第一部桌上型计算机型号;与终端-主机模式存在差别,具有自己的处理单元和外部设备;1981年推出PC机;IBM放弃独自制造所有软硬件的策略加速了计算年级的发展速度。

PC机的普及和发展阶段

对数据和资源的处理转移到数据和资源的共享;开始于1969年;1989年Tim Berners-Lee提出World Wide Web协议;Web 2.0;信息爆炸带来的信息危机。

网格计算时代

摩尔定律,每18个月增加一倍,性能提升一倍。

IBM前首席执行官郭士纳说:计算模式的“十五年周期定律”,“智慧的地球”战略掀起“互联网”浪潮之后的又一次科技革命。,1965年前后的“大型机”,1980年前后的“个人计算机”,1995年前后的“互联网”,2010年前后“物联网、云计算、大数据”。

 

 

 

 

 长沙超算的主机是:天河。最强的超算在无锡,叫做神威太湖之光。

超级计算机(MPP)

 

 

 从图灵计算到网络计算

图灵机的定义

 

 网络计算的基本定义

 

 

分布式计算(网格计算)

分布式计算的目标

广泛共享、有效聚合、充分释放

分布式计算的重要实践

P2P计算;Grid计算;Ubiquitous计算(普适计算);云计算

从批量处理到实时分析

Hadoop模型

Hadoop模型中,HDFS:解决海量数据存储的问题;Hbase解决数据存储;YARN Map Reduce v2是它的数据引擎;ZooKeeper用于节点等的检测和协调。

 

 Hadoop模型的缺点,不能实现实时处理。

Google PowerDrill模型

Google PowerDrill模型可以实现内存计算,还不能实现实时处理。

Spark模型也是实现内存计算,还不能实现实时处理。

流计算业界

Storm

面向行的流式实时计算引擎的代表是Apache Storm,典型特点是延迟低,但吞吐率也低。

Hstreaming

Flink

 

 华为大数据平台架构框架

 

 

本门课程的主要内容

 本门课目标

基本概念、原理和方法,讨论前沿且典型的分布式算法与系统范例。

本门课的主要内容

 

 

 

 

教学形式

课堂讨论和实践

考核

到课情况占10%

讨论P2P计算占30%

论文是针对四个主题写论文,占20%

系统实践占40%

 

 

 

参考资料

书籍

 

 

 

 

 学术前沿

 

 教辅材料

 

标签:20210301,IBM,模型,分布式计算,本门,Hadoop,计算,一堂课
来源: https://www.cnblogs.com/weixq351/p/14464672.html