暑假学习二 8.24

今日学习内容补充：

1.hadoop介绍：

狭义:

核心组件，Hadoop

hdfs  分布存储

yarn   资源管理和任务调度框架

mapreduce  计算  （企业基本不再直接使用）

 

广义：

围绕Hadoop打造的大数据生态圈

 

Hadoop发行版本：

开源社区：http://hadoop.apache.org/

商业版本：cloudera和hortonworks

Hadoop架构变迁：

1.0-2.0框架优化

2.0-3.0性能优化

 

 

2.Hadoop集群概述：

包括，hdfs，yarn 逻辑上分离，物理上在一起，标准的主从架构集群

不存在mapreduce集群，mapreduce是计算框架，位于代码层面，不存在集群的说法

 

 

 3.Hadoop集群的安装

下载网址;Index of /dist/hadoop/common/hadoop-3.3.0 (apache.org)

课程提供了安装包，有编译好的安装包。

3.1集群角色规划

3.2基础环境准备

部分提前配置过了，以下是验证：

免密登录ssh：

 

时间同步：

创建统一工作目录：

 

安装jdk在三台机器上：

node1：先拖动导server目录下

解压并且验证安装：

 

 

拷贝到node2下jdk：

 

node3：修改上面的node2为node3即可

拷贝环境变量：

 

拷贝结束后同时重新加载环境变量

使用命令：

source /etc/profile

下面主要通过node1安装，node2，node3通过scp命名

上传Hadoop资源并且解压：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

标签：学习,Hadoop,hadoop,8.24,集群,暑假,mapreduce,node3,node2
来源： https://www.cnblogs.com/diandianzai/p/16622744.html