首页 > TAG信息列表 > 50070
50070端口浏览器上删除dfs的文件提示无权限Permission denied,解决方法
点击上图中的删除按钮,提示: Permission denied: user=dr.who, access=WRITE, inode="/":root:supergroup:drwxr-xr-x,意思是没有删除权限 解决方法: 进入到hadoop目录执行 hadoop-2.9.2/bin/hdfs dfs -chmod -R 777 / 给所有文件赋值最高权限,然后再在浏览器上删除就不会出现无spark读取HDFS目录时报错Failed on local exception: com.google.protobuf.InvalidProtocolBufferException
提交命令sc.textFile(“hdfs://hadoop101:50070/data/wordcount.txt”).collect() spark报异常 这里时HDFS端口问题,将50070端口改为8020再提交sc.textFile(“hdfs://hadoop101:8020/data/wordcount.txt”).collect() 单独安装的Hadoop的fs.defaultFS默认端口号为50hadoop 无法访问50070端口问题解决
解决方法针对:centos6版本 解决方法一: vi /etc/selinux/config : 进入编辑 改为: 解决办法2: 查看你的$HADOOP_HOME/etc/hadoop下的core-site.xml和hdfs-site.xml是否配置好 解决办法3: 使用 jps 命令查看当前进程 查看master中是否存在NameNode ,DataNode ...通过WebConsole操作HDFS
通过WebConsole操作HDFS Web Console:端口50070在浏览器访问:192.168.0.11:50070 需要注意的地方: Overview中的 Datanode(由于是为分布模式,所以只有一个DataNode) Startup Progress 启动HDFS的过程无法访问hadoop102:50070
~~~瞎忙了好久好久~~~ 第一次弄Hadoop完全式配置,全部跟着教程把操作做完之后,来到本机运行hadoop102:50070无法访问.... 以为是自己配错了就开始玩起了“找不同”游戏,玩得差不多崩了 想着试一下域名+端口吧 没想到就可以了哈哈哈 我之前一直在想为啥可以直接这样访问呢 原来需要hadoop版本选择和伪分布式安装的问题
首先,自己在搭建遇到的问题是50070的端口号,无法访问,排查了一下才知道配置参数细节上的问题。首先从主机上着手,排查得知:主机里面没有name node,了解知道core-site.xml的配置有问题: 错误配置误点: 另外需要配置:secondnamenode 我们只需要在hdfs-site.xml配置即可: value:3表示在阿里云部署伪分布式环境后,运行start-all.sh,在浏览器输入云主机IP:50070无法打开的解决方法
原因: 运行后输入jps所有该有的进程都有,HDFS增删查改操作都正常,就是无法在浏览器打开可视化页面,百度谷歌翻了个底朝天也没解决,后来在一篇文章中提到阿里云的端口放行规则,才感觉问题可能出在这里,进来才发现果然如此 红框为添加的端口 步骤: 1、登陆阿里云后台管理系统(我买的是轻量应Hadoop记录-hadoop和hbase监控有那些比较好的工具
New Relic hadoop jmx granfa falcon Ganglia,Nagios和Chukwa 自带监控软件 hadoop yarn 开启jmx监控 打开{hadoop_home}/etc/hadoop/yarn-env.sh文件,文件最后添加三行。 YARN_OPTS=”$YARN_OPTS -Dcom.sun.management.jmxremote.authenticate=false” YARN_OPTS=”$YARN_OPTS -Dc