初学耗时：0.5h

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

一、修改Hadoop配置文件
    1.1  hadoop-env. sh
    1.2  core-site.xml
    1.3  hdfs-site.xml
    1.4  mapred-site.xml
    1.5  yarn-site.xml
    1.6  slaves

---

记忆词：

  core-site.xml

---

 B02 - 999、部署大数据环境及部分编译

---

 ギ 舒适区ゾ || ♂ 累觉无爱 ♀

一、修改Hadoop配置文件

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

  1.1 ~ hadoop-env. sh

文件中设置的是 Hadoop 运行时需要的环境变量。JAVA_HOME 是必须设置的，即使我们当前的系统中设置了JAVA_HOME，它也是不认识的，因为 Hadoop 即使是在本机上执行，它也是把当前的执行环境当成远程服务器。

vim hadoop-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_192/

  1.2 ~ core-site.xml

hadoop 的核心配置文件，有默认的配置项 core-default.xml。
…
core-default.xml 与 core-site.xml 的功能是一样的，如果在 core-site.xml 里没有配置的属性，则会自动会获取 core-default.xml 里的相同属性的值。

mkdir -p /export/datas/hadoop/pseudo

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://zrk691101:8020</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/export/datas/hadoop/pseudo</value>
</property>

  1.3 ~ hdfs-site.xml

HDFS 的核心配置文件，有默认的配置项 hdfs-default.xml。
…
hdfs-default.xml 与 hdfs-site.xml 的功能是一样的，如果在 hdfs-site.xml 里没有配置的属性，则会自动会获取 hdfs-default.xml 里的相同属性的值。

<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
    
<property>
 	<name>dfs.namenode.secondary.http-address</name>
  	<value>zrk691102:50090</value>
</property>

  1.4 ~ mapred-site.xml

MapReduce 的核心配置文件，有默认的配置项 mapred-default.xml。
…
mapred-default.xml 与 mapred-site.xml 的功能是一样的，如果在 mapred-site.xml 里没有配置的属性，则会自动会获取 mapred-default.xml 里的相同属性的值。

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

  1.5 ~ yarn-site.xml

YARN 的核心配置文件，有默认的配置项 yarn-default.xml。
…
yarn-default.xml 与 yarn-site.xml 的功能是一样的，如果在 yarnsite.xml 里没有配置的属性，则会自动会获取 yarn-default.xml 里的相同属性的值。

<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>zrk691101</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

  1.6 ~ slaves

# 一行写一个从角色所在的机器ip 主要是配合一键脚本启动 
vim slaves

zrk691101
zrk691102
zrk691103

slaves 文件里面记录的是集群主机名。
…
一般有以下两种作用：
1、配合一键启动脚本如 start-dfs.sh、stop-yarn.sh 用来进行集群启动。
     这时候 slaves 文件里面的主机标记的就是从节点角色所在的机器。
…
2、可以配合 hdfs-site.xml 里面 dfs.hosts 属性形成一种白名单机制。
     dfs.hosts 指定一个文件，其中包含允许连接到 NameNode 的主机列表。
     必须指定文件的完整路径名。
     如果值为空，则允许所有主机。

桃李春风一杯酒，江湖夜雨十年灯。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

＾ 至此，修改Hadoop配置文件完成。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

※ 世间诱惑何其多，坚定始终不动摇。

购买现成的软件开发工具还是自己开发专用的工具与具体工作的条件、环境、人员素质、______都有不可分割的联系。

…
项目特征

桃李春风一杯酒，江湖夜雨十年灯。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

我知道我的不足，我也知道你的挑剔，但我就是我，不一样的烟火，谢谢你的指指点点，造就了我的点点滴滴：）！

桃李春风一杯酒，江湖夜雨十年灯。

标签：xml,hdfs,配置文件,default,Hadoop,yarn,site,B02,hadoop
来源： https://blog.csdn.net/weixin_42464054/article/details/93252707