Hadoop全分布式
作者：互联网
1.安装jdk Linux下安装jdk-7u67-linux-x64.rpm
2.免密登录 ssl免密登录（centos6）
3.同步时间：date -s "2020-04-05 12:00:00"
4.配置Hadoop
在Hadoop伪分布式安装的基础上修改配置
4.1.在Hadoop伪分布式安装里面已经修改了Hadoop的环境变量，现在修改node1的core-site.xml
cd /opt/sxt/hadoop-2.6.5/etc/hadoop
vi core-site.xml
修改为：
<property>
<name>hadoop.tmp.dir</name>
<value>/var/sxt/hadoop/full</value>
</property>
把数据路劲/var/sxt/hadoop/pseudo改成/var/sxt/hadoop/full
4.2.修改node1的hdfs-site.xml
vi hdfs-site.xml
修改为：
<property>
<name>dfs.replication</name>
<value>2</value> # 现在有3个从节点，所以副本数可以设置为3，但是我们设置成2可以更好地看出Hadoop的额副本分配策略
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node2:50090</value> # 在Hadoop说明中secondaryNameNode需要单独一台服务器，所以把他放在node2机器上
</property>
4.3.修改node1的slaves
修改为：
node2
node3
node4
5.分发Hadoop到每台从节点
到node1的/opt/sxt目录下
执行分发：scp -r hadoop-2.6.5/ node2:`pwd`
scp -r hadoop-2.6.5/ node3:`pwd`
scp -r hadoop-2.6.5/ node4:`pwd`
6.查看所有从节点的Hadoop的环境变量配置
执行查看：cat /etc/profile
从节点应该是没有配置Hadoop的环境的，所以node1分发一下
scp /etc/profile node2:/etc/
scp /etc/profile node3:/etc/
scp /etc/profile node4:/etc/
所有都执行 . /etc/profile
7.格式化
在node1主节点上执行：hdfs namenode -format
格式化结束，自动创建node1的core-site.xml中配置的路径/var/sxt/hadoop/full
8.启动Hadoop
执行：start-dfs.sh
9.启动成功后查看
每台机器执行：jps
node1进程为：NameNode
node2进程为：DataNode和secondaryNameNode
node3和node4都为：DataNode
10.假如主节点或者从节点出现问题，查看日志
主从节点日志路径都为：/opt/sxt/hadoop-2.6.5/logs
11.创建Hadoop内部的文件路径，上传DataNode文件
进入/var/sxt/hadoop/pseudo/dfs/data/current/BP-1237532946-192.168.88.31-1585528858872/current/finalized
使用hdfs dfs命令（类似Linux的命令）
创建路径：hdfs dfs -mkdir -p /user/root
查看路径：hdfs dfs -ls /
进入~/software查看要上传的文件大小：ls -lh ./
上传文件：hdfs dfs -put hadoop-2.6.5.tar.gz /user/root
上传完成可以去web浏览器查看/user/root路径下上传的文件
文件存在磁盘为位置是：/var/sxt/hadoop/pseudo/dfs/data/current/BP-1237532946-192.168.88.31-1585528858872/current/finalized/subdir0/subdir0
标签：hadoop,dfs,Hadoop,etc,sxt,node1,分布式 来源： https://www.cnblogs.com/yangyangming/p/12638942.html