spark读取HDFS目录时报错Failed on local exception: com.google.protobuf.InvalidProtocolBufferException

提交命令sc.textFile(“hdfs://hadoop101:50070/data/wordcount.txt”).collect()

spark报异常

这里时HDFS端口问题，将50070端口改为8020再提交
sc.textFile(“hdfs://hadoop101:8020/data/wordcount.txt”).collect()

单独安装的Hadoop的fs.defaultFS默认端口号为50070，而CDH中默认为8020。

比如可以使用"hdfs://namenode:8020/user/asin/test.txt"在程序中访问你的文件。

标签：HDFS,exception,google,hdfs,wordcount,50070,hadoop101,8020,txt
来源： https://www.cnblogs.com/xiaofengzai/p/14235051.html