Windows环境下的jdk以及Hadoop3.1.x和3.0.x版本安装（解决天坑系列，hadoop2.x也可以参考！！！！）

Windows环境下的jdk以及Hadoop3.1.x和3.0.x版本安装（解决天坑系列！！！！），这里最需要注意的就是版本！版本！版本！其次就是各种应用插件问题，这里之所以只有3.0.x -> 3.1.x的安装教程，后面会有解释
前期的准备大同小异，可以给各位同学准备几个参考的博客即可

jdk1.8版本(切记，不要贪图高版本)的安装以及环境变量的配置

https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
jdk8以上的版本和不同版本的hadoop会出现各种莫名其妙的问题，建议看准jdk8即可
环境变量的配置看这个链接即可：https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html
要做到在cmd下输入 java, javac, java -version三条指令都没有问题（如下图所示），才能进入下一步，切记！！！！！！

Hadoop3.1.x和3.0.x版本安装

hadoop的windows下安装是很简单的，只要去官网下载好tar.gz包，然后解压即可，先附上hadoop3的下载链接：: https://hadoop.apache.org/release/3.1.2.html.
这里解压有时候会报错，所以建议大家用管理员权限进入文件夹用命令行解压
我这里使用的是WinRAR软件，故可以使用这条命令:start winrar x -y hadoop-3.1.3.tat.gz
图片:
其次，hadoop的常规配置就是配置环境变量，然后添加 D:\hadoop\hadoop-3.1.3\etc\hadoop 里的配置xml文件，core_site.xml \ hdfs_site.xml \ mapred_site.xml \ yarn_site.xml \ hadoop-env.cmd,这里我不赘述，因为天坑到这一步也没有出现，大家一定先做好上述步骤，附上这一步的链接： https://blog.csdn.net/yongyong2014/article/details/91883547.
链接里面有一个小坑，就是记事本打开hadoop-env.cmd后一定要找到**set JAVA_HOME=%JAVA_HOME%**一行，将其值修改为jdk所在目录，如果目录带有空格，可以通过下面两种方式处理：这里以安装目录为C:\Program Files\Java\jdk1.8.0_212为例，因为Program Files中存在空格，若是直接使用会出现错误，可以下面两种方式之一进行处理：

1. 用专用符号代替Program Files：C:\PROGRA~1\Java\jdk1.8.0_212
2. 或是使用双引号改为
   “C:\Program Files”\Java\jdk1.8.0_212

现在开始，天坑之一（每一个hadoop版本一定要找到对应的源码文件），千万对应版本，不然错误你根本找不到！！
例如：hadoop3.1.x对应adooponwindows-master.zip以及winutils中3.1.0版本
https://link.csdn.net/?target=https%3A%2F%2Fcodeload.github.com%2Fzyj108%2Fapache-hadoop-3.1.0-winutils%2Fzip%2Fmaster
hadoop3.0.x对应adooponwindows-master.zip以及winutils中3.0.0版本
hadoop2.x对应adooponwindows-master.zip以及winutils中2.x版本
https://github.com/steveloughran/winutils
这里附上各种winutils的链接下载，后续操作就是下载后直接替换掉自己hadoop目录下bin文件即可，然后将替换后的bin目录下的hadoop.dll复制到C:\Windows\System32下即可，到此步，可以先去测试一下hadoop环境变量和其他配置是否成功。一定要用三条命令都试试 hadoop / hadoop -version/ winutils，具体显示如下：



如果都可以启动，恭喜，说明前期准备工作全部完毕，可以后续的格式化节点以及启动集群。

天坑之二，查看winutils如果发现报以下错误：”“”由于找不到MSVCR120.dll,无法继续执行代码.重新安装程序可能会解决此问题。“”“，必须安装Microsoft插件《----------这是最坑的-----------》
附上链接：https://www.codeprj.com/blog/a2e8231.html

格式化namenode节点：hadoop namenode -format 或者 hdfs namenode -format，这里不能出现任何异常，否则就往前找问题。
然后cd到安装的hadoop的sbin目录下，start-all.cmd ，如果能正常出现4个弹窗，并jps显示如下图所示，即成功安装！！！！！！！！！！！！！！

***天坑之三，如果resourceManager报错，解决方法如下 ***：

D:\hadoop\hadoop-3.1.3\share\hadoop\yarn\timelineservice 将这个文件夹下的hadoop-yarn-server-timelineservice-3.1.1.jar 包 复制到这个路径下 D:\hadoop\hadoop-3.1.3\share\hadoop\yarn 即可解决。

至于其他问题，比如nodemanager启动不了等，那一般就是前面的配置文件等等出问题了，所以大家尤其注意这几个天坑，极难察觉。

标签：https,jdk,winutils,天坑,hadoop,Windows,版本,3.1
来源： https://blog.csdn.net/qq_38334521/article/details/118250400