其他分享
首页 > 其他分享> > Could not locate executable null\bin\winutils.exe解决方案

Could not locate executable null\bin\winutils.exe解决方案

作者:互联网

本地Spark程序调试需要使用local提交模式,即将本机当做运行环境,Master和Worker都为本机。运行时直接加断点调试即可。如下:

创建SparkConf的时候设置额外属性,表明本地执行:

val conf = new SparkConf().setAppName("WC").setMaster("local[*]")

    如果本机操作系统是windows,如果在程序中使用了hadoop相关的东西,比如写入文件到HDFS,则会遇到如下异常:

 

 

出现这个问题的原因,并不是程序的错误,而是用到了hadoop相关的服务,解决办法是将附加里面的hadoop-common-bin-2.7.3-x64.zip解压到任意目录。

标签:locate,bin,executable,SparkConf,程序调试,hadoop,本地,local
来源: https://www.cnblogs.com/zqrt001/p/16192588.html