大数据集群,这些关键问题需要注意,持续更新
作者:互联网
1 集群启动及初始化配置问题
集群配置修改好后,往往需要重启。每个集群的重启方式不一样,需要根据集群具体设定。
例如:我们现有第三方平台的重启方式为:sh /opt/workspace/executor-proxy/sbin/app.sh restart
修改初始化内存分配的方式为:设置初始化内存为1g
pwd
/opt/workspace/executor-proxy/sbin
diff env.sh env.sh.bak
8c8
< export MEM=" -Xms1g -Xmx1g"
---
> export MEM=${MEM:-}
80c80
< export env=dev
---
> export env=dev
2大数据集群和基础平台的适配过程
这个过程要非常注意HDFS开启高可用之后的nameservice配置
3 HDFS升级HA过程
升级过程未成功,出现namenode都未启动情况:
格式化共享编辑目录
在后台分别格式化namenode
hdfs namenode -format
hdfs namenode -initializeSharedEdits
tail -f /var/log/hadoop-hdfs/hadoop-cmf-hdfs-NAMENODE-cdh-0001.log.out
标签:hdfs,更新,sh,export,env,namenode,集群,关键问题 来源: https://blog.csdn.net/xuye0606/article/details/119636704