Spark作为Linux服务
作者:互联网
我受命将Spark部署到生产环境中.我通常使用Ansible管理一切.我已经打包了zookeeper和kafka并可以将它们部署为linux服务,但是Spark遇到了问题.
似乎没有设置将其作为服务启动/停止的过程(指init.d服务).是否有人在集群模式下运行spark,您是否已设置它通过init.d脚本启动/停止?或关于如何进行设置的普遍共识是什么?
这是我之前已经尝试过的:
spark init.d服务:
#!/bin/bash
SPARK_BASE_DIR=/opt/spark-2.0.0-bin-hadoop2.7
SPARK_SBIN=$SPARK_BASE_DIR/sbin
PID=''
if [ -f $SPARK_BASE_DIR/conf/spark-env.sh ];then
source $SPARK_BASE_DIR/conf/spark-env.sh
else
echo "$SPARK_BASE_DIR/conf/spark-env.sh does not exist. Can't run script."
exit 1
fi
check_status() {
PID=$(ps ax | grep 'org.apache.spark.deploy.master.Master' | grep java | grep -v grep | awk '{print $1}')
if [ -n "$PID" ]
then
return 1
else
return 0
fi
}
start() {
check_status
if [ "$?" -ne 0 ]
then
echo "Master already running"
exit 1
fi
echo -n "Starting master and workers ... "
su user -c "$SPARK_SBIN/start-all.sh" spark &>/dev/null
sleep 5
check_status
if [ "$?" -eq 0 ]
then
echo "FAILURE"
exit 1
fi
echo "SUCCESS"
exit 0
}
stop() {
check_status
if [ "$?" -eq 0 ]
then
echo "No master running ..."
return 1
else
echo "Stopping master and workers ..."
su user -c "$SPARK_SBIN/stop-all.sh" spark &>/dev/null
sleep 4
echo "done"
return 0
fi
}
status() {
check_status
if [ "$?" -eq 0 ]
then
echo "No master running"
exit 1
else
echo -n "master running: "
echo $PID
exit 0
fi
}
case "$1" in
start)
start
;;
stop)
stop
;;
restart)
stop
start
;;
status)
status
;;
*)
echo "Usage: $0 {start|stop|restart|status}"
exit 1
esac
exit 0
我正在从主节点运行该服务以启动所有群集节点.
有关我的环境的一些信息:
> Ubuntu 16.04
>使用hadoop 2.7的spark 2.0.0
解决方法:
我解决了.问题出在我的角色上.我没有设置日志文件夹所有者的组.现在工作正常.
标签:init-d,apache-spark,linux 来源: https://codeday.me/bug/20191118/2025137.html