Hadoop3.1.4伪分布配置

ref：

Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)

Tips：

在配置伪分布式Hadoop前，需要创建hadoop用户、安装java环境等，详情可以参考上述厦大的教程或者单机Hadoop2.6.5的安装与使用

下载安装Hadoop3.1.4

Hadoop3.1.4伪分布配置

修改配置文件 core-site.xml

Tips：使用管理员权限修改改文件，否则无法保存

修改后的结果如下：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

执行 NameNode 格式化

Tips：若直接使用./bin/hdfs namenode -format可能会出现 permission denied的报错，在前面加上sudo即可

返回以下结果代表成功：

如果在这一步时提示 Error: JAVA_HOME is not set and could not be found. 的错误，则查看/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件

并在文件中加入以下语句（jdk版本需根据自己安装的版本定义）

开启 NameNode 和 DataNode 守护进程

Tips:若运行时出现以下报错，则是log文件权限不够，修改文件权限即可

修改文件权限：

修改后即可成功启动

若修改文件权限后出现localhost: ERROR: Cannot set priority of datanode process xxxx错误，则需要修改.bashrc文件中的配置或者将/bin/hdfs里的文件修改

具体修改内容可以查看

https://stackoverflow.com/questions/51357594/localhost-error-cannot-set-priority-of-datanode-process-2984/51365083

或

https://blog.csdn.net/qq_37494825/article/details/90232203

若出现如下SSH提示，输入yes即可

启动后，可以使用jps检验是否成功启动

hadoop的运行实例也可以参考http://dblab.xmu.edu.cn/blog/2441-2/，即博文最上方的链接

个人运行结果：

Tips：如果在运行过程中出现No such file or directory的报错，只需要在input或output前加上/user/hadoop即可

 

标签：文件,配置,hadoop,dfs,Hadoop3.1,修改,分布,Tips
来源： https://blog.csdn.net/weixin_45839504/article/details/115162855