其他分享
首页 > 其他分享> > hadoop3.1.3单机版安装

hadoop3.1.3单机版安装

作者:互联网

hadoop3.1.3单机安装

  1. 安装jdk
    进入/usr/local/目录下,创建soft目录,之后作为hadoop的安装目录,在soft中新建Java目录,用于存放jdk(命令:mkdir java
    将jdk进行解压: tar -zxvf ./jdk1.8.0_202.tar.gz
    修改文件:vim /etc/profile
    添加:export JAVA_HOME=/usr/java/jdk1.8.0_202
    java -version进行验证

  2. 安装SSH、配置SSH无密码登陆

ssh localhost
// 一直回车就行
exit
//退出刚才的 ssh localhost
cd ~/.ssh/
//若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa
//会有提示,都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys
//加入授权
  1. 下载hadoop
//方法一:
// 将下载好的hadoop的压缩包放入文件夹soft中,进行解压
tar -zxvf hadoop-3.1.1.tar.gz
//mv命令jinxin将hadoop-3.1.3的名字更改为hadoop
mv ./hadoop-3.1.3/ ./hadoop 
//成功后可以输入以下命令,来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:
cd /usr/local/hadoop
./bin/hadoop version
//方法二
cd /usr/local/soft
# 下载
wget http://apache.claz.org/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
## 解压
tar -zxvf hadoop-3.1.1.tar.gz -C /usr/local/soft

# mv命令jinxin将hadoop-3.1.3的名字更改为hadoop
mv hadoop-3.1.1 hadoop

Hadoop单机配置(非分布式)

Hadoop 默认模式为非分布式模式(本地模式),无需进行其他配置即可运行。
cd /usr/local/hadoop
mkdir ./input
cp ./etc/hadoop/*.xml ./input   
//将配置文件作为输入文件
 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep ./input ./output 'dfs[a-z.]+'
cat ./output/*  
//Hadoop 默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将 ./output 删除。
rm -r ./output

运行结果
在这里插入图片描述

Hadoop伪分布式配置

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。

修改配置文件 core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改配置文件 hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

配置完成后,执行 NameNode 的格式化:

cd /usr/local/hadoop
./bin/hdfs namenode -format

接着开启 NameNode 和 DataNode 守护进程。

cd /usr/local/hadoop
./sbin/start-dfs.sh 

如果出现问题,请参考:

链接: https://blog.csdn.net/weixin_44077750/article/details/118567756?spm=1001.2014.3001.5501.

此教程不通,请参考:

链接: lhttp://dblab.xmu.edu.cn/blog/2441-2/.

标签:单机版,local,hadoop,dfs,Hadoop,hadoop3.1,usr,3.1,安装
来源: https://blog.csdn.net/weixin_44077750/article/details/118569418