其他分享
首页 > 其他分享> > spark问题

spark问题

作者:互联网

使用IDEA运行spark程序,除了需要导入spark的一些依赖包之外,还需要注意的是

 

当启动spark报找不到可执行的hadoop winutils.exe  

 

可已下载相应版本的winutils.exe到hadoop\bin  地址: https://github.com/4ttty/winutils

 

并配置环境变量classpath:%HADOOP_HOME%\bin\winutils.exe,确保已经配置HADOOP_HOME

 

要求本机安装hadoop的环境,并且要求两个配置文件:

windows本地运行mr程序时(不提交到yarn,运行在jvm靠线程执行),

hadoop.dll防止报nativeio异常、winutils.exe没有的话报空指针异常。

 

标签:bin,exe,hadoop,HADOOP,问题,winutils,spark
来源: https://www.cnblogs.com/beiyi888/p/10600564.html