python – 启动和停止集群中的进程

我正在编写运行一系列不同程序的软件(通过twisted’s扭曲);这是各种N种守护进程必须跨多台机器启动.如果我手动执行此操作,我将在所涉及的机器上运行诸如twistd foo_worker,twistd bar_worker等命令.

基本上会有一个机器列表,以及我需要它们运行的​​守护程序.此外,我需要在需要时关闭它们.

如果我从头开始编程,我会编写一个“spawner”守护程序,该守护程序将在集群中的每台计算机上永久运行,并且可通过网络访问经过身份验证的管理员客户端：

>使用给定的命令行启动进程.返回一个句柄来管理它.
>杀死给定手柄的过程.
>(可选)在给定句柄的情况下查询cpu time等内容.

对上述方案进行编程将是相当简单的,但我无法想象这是一个新问题.当然有现成的解决方案正是这样做的吗？但我确实缺乏服务器管理经验,甚至不知道相关术语是什么.

在Linux集群上有哪些现有方法可以做到这一点,涉及哪些重要术语？我们欢迎Python特定的解决方案,但不是必需的.

另一种说法：给定LAN中的一堆机器,如何以编程方式将它们作为集群使用？

解决方法:

最熟悉和最通用的方法就是使用ssh.要自动化,您可以使用fabric.

要在所有主机上启动foo_worker：

$fab all_hosts start:foo_worker

要在特定主机列表上停止bar_worker：

$fab -H host1,host2 stop:bar_worker

这是一个示例fabfile.py：

from fabric.api import env, run, hide # pip install fabric

def all_hosts():
    env.hosts = ['host1', 'host2', 'host3']

def start(daemon):
    run("twistd --pid %s.pid %s" % (daemon, daemon))

def stop(daemon):
    run("kill %s" % getpid(daemon))

def getpid(daemon):
    with hide('stdout'):
        return run("cat %s.pid" % daemon)

def ps(daemon):
    """Get process info for the `daemon`."""
    run("ps --pid %s" % getpid(daemon))

There are a number of ways to configure host lists in fabric, with scopes varying from global to per-task, and it’s possible mix and match as needed..

为了简化特定主机上的进程管理,您可以为守护进程编写initd脚本(并运行service daemon_name start / stop / restart)或使用supervisord(并运行supervisorctl,例如,supervisorctl stop all).要控制“安装在哪里”并以集中方式推送配置,可以使用类似puppet的配置.

标签：python,linux,network-programming,cluster-computing
来源： https://codeday.me/bug/20190902/1787446.html