python – 如何让我的Luigi调度程序利用并行调度标志的多个内核？

我的luigi.cfg文件中有以下行(在所有节点,调度程序和工作程序上)：

[core]
parallel-scheduling: true

但是,当我在我的luigi调度程序上监视CPU利用率时(大约有大约4000个任务的图形,处理来自~100个工作者的请求),它只使用调度程序上的单个核心,单个luigid线程经常达到100％CPU利用.我的理解是这个配置变量应该并行调度任务.

消息来源表明,这个标志确实应该在调度程序上使用多个核心.在https://github.com/spotify/luigi/blob/master/luigi/interface.py#L194中,调用https://github.com/spotify/luigi/blob/master/luigi/worker.py#L498以并行检查任务的.complete()状态.

为了让我的Luigi调度程序能够利用其所有内核,我缺少什么？

解决方法:

我只是意识到并行调度的名称有点令人困惑.它不会影响调度程序.只有工人.设置该选项后,工作人员将并行执行调度阶段.

截至今天,无法将多个核心用于中央调度程序.

标签：python,multithreading,parallel-processing,luigi
来源： https://codeday.me/bug/20190623/1269687.html