首页 > TAG信息列表 > 8020

HDFS配置HA下spark-sql写入hive报错Wrong FS

背景: 　　CDH集群的HDFS HA已配置完毕，Hive也相应进行了Update Hive Metastore NameNode，Hive的业务sql脚本都正常运行。 　　在使用spark-sql 写入hive时报错： Caused by: java.lang.IllegalArgumentException: Wrong FS: hdfs://nameservice1:8020/dw/ods/ods_node_data_i_temp/.

Hadoop failed on connection exception: java.net.ConnectException: Connection refused错误解决

先用下面的命令查看一下端口号有没有开启 sudo netstat -ntlp 如果没找到自己要连接的端口号，就去core-site.xml看看自己配的是不是这个端口号。 我配的不是8020，跟8020连了半天死活连不上。 <property> <name>fs.defaultFS</name> <value>hdfs://hadoop131:9

hbase启动失败||hbase的hmaster启动后自动关闭||hbase无法访问16010端口号

今天安装hbase，却发现无法访问16010界面，这个问题遇到了，尝试了许多方法无法解决。 题目就是我搜过的，但是找不到对的答案，不过我感觉我说的你很可能需要。 首先我启动了zookeeper环境，因为用的是集群分布，所以都启动。只有启动之后才能使用hbase。 一开始并没有想到和zookeeper有关系。

spark读取HDFS目录时报错Failed on local exception: com.google.protobuf.InvalidProtocolBufferException

提交命令sc.textFile(“hdfs://hadoop101:50070/data/wordcount.txt”).collect() spark报异常     这里时HDFS端口问题，将50070端口改为8020再提交sc.textFile(“hdfs://hadoop101:8020/data/wordcount.txt”).collect()     单独安装的Hadoop的fs.defaultFS默认端口号为50

h5使用pdf.js预览pdf文件

一.下载pdf.js      官网地址:      http://mozilla.github.io/pdf.js/      下载稳定版本         解压以后会看到如下文件,将整个文件夹部署到服务端，这里我们先用本地服务进行测试，为了方便我们在hbuilder里测试一下 发现可以加载默认的pdf   那么怎么显示我们

flume收集日志无法在HDFS上存储

按照案例实际操作了一次Flume抽取hive日志信息到HDFS上， 但是发现浏览器找不到文件夹 后来找到原因 案例的日志存储位置的端口号是8020 8020和9000都是HDFS的rpc端口，但在hdfs-site.xml配置中我配置的是9000 所以把8020改成9000就可以了