其他分享
首页 > 其他分享> > 大数据集群,这些关键问题需要注意,持续更新

大数据集群,这些关键问题需要注意,持续更新

作者:互联网

1 集群启动及初始化配置问题

集群配置修改好后,往往需要重启。每个集群的重启方式不一样,需要根据集群具体设定。

例如:我们现有第三方平台的重启方式为:sh /opt/workspace/executor-proxy/sbin/app.sh restart

修改初始化内存分配的方式为:设置初始化内存为1g

pwd
/opt/workspace/executor-proxy/sbin

diff env.sh env.sh.bak 
8c8
< export MEM=" -Xms1g -Xmx1g"
---
> export MEM=${MEM:-}
80c80
< export env=dev
---
> export env=dev

2大数据集群和基础平台的适配过程

这个过程要非常注意HDFS开启高可用之后的nameservice配置

3 HDFS升级HA过程

升级过程未成功,出现namenode都未启动情况:

 格式化共享编辑目录

在后台分别格式化namenode

hdfs namenode -format
hdfs namenode -initializeSharedEdits

tail -f /var/log/hadoop-hdfs/hadoop-cmf-hdfs-NAMENODE-cdh-0001.log.out

 ​​​​​​​

 

标签:hdfs,更新,sh,export,env,namenode,集群,关键问题
来源: https://blog.csdn.net/xuye0606/article/details/119636704