Win10搭建Hadoop环境
作者:互联网
Win10系统配置hadoop环境
我这里就以hadoop-2.7.3为例子给大家演示,下载链接: 提取码:idxi ,如需下载其他版本,请访问或 ****进行下载
JDK环境配置
1、我使用的是jdk1.8.0_102版本,链接: 提取码:z833
2、不建议安装在C:Program Files下的默认路径。安装完成后,对jdk环境进行配置。 (1)鼠标右键点击“这台电脑”→“属性”→“高级系统设置”→“环境变量”→“系统变量”→“新建”,如下图所示: (2)接着找系统境变量Path,将%JAVA_HOME%in添加进去,如图下所示:
Hadoop环境配置
1、将下载好的压缩包解压到磁盘根目录下。 2、鼠标右键点击“这台电脑”→“属性”→“高级系统设置”→“环境变量”→“系统变量”→“新建”,如下图所示: 3、接着找系统境变量Path,将 %HADOOP_HOME%in;%HADOOP_HOME%sbin 添加进去,如图下所示: 4、拷贝动态库,hadoop.dll拷贝到C盘Windowssystem32目录下与%HADOOP_HOME%sbin目录下。目录下有就不用拷贝,要是缺少文件可在百度上面进行下载。
Hadoop核心组件配置
1、打开hadoop-2.7.0etchadoop文件夹里的hadoop-env.cmd文件,找到set JAVA_HOME;然后配置jdk路径,如图所示: 2、打开hadoop-2.7.0etchadoop文件夹里的hadoop-env.sh文件,找到export JAVA_HOME;然后配置jdk路径,如图所示: 3、在hadoop-2.7.0etchadoop中找到以下几个文件。 core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/F:/hadoop-2.7.3/namenode</value> // 路径不唯一 </property> <property> <name>dfs.datanode.data.dir</name> <value>/F:/hadoop-2.7.3/datanode</value> // 路径不唯一 </property> </configuration>
mapred-site.xml 如果文件名为“mapred-site.xml.template”,请把后面“.template”去掉即可。
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
格式化与启动Hadoop服务
1、在F:hadoop-2.7.3in目录下,地址栏输入cmd,进入后输入hdfs namenode -format或hadoop namenode -format,如下图所示: 2、然后进入sbin目录,命令cd …sbin,输入start-all.cmd,启动后输入jps查看进程,如下图所示:
3、在浏览器里面验证,注意cmd弹窗不要关闭。验证地址:、 4、如果你做到这里了,恭喜你,完成了