解决multiprocessing.Queue()无限阻塞问题

问题

使用multiprocessing.Process()创建并行任务需要跨进程收集返回值
很自然想到使用queue进行出入参捕获，发现程序在each.join()无法继续

解决

开始以为是返回值数量过多导致queue被塞满，打断点并为发现相应问题。
深入研究发现使用multiprocessing.Queue()产生的queue存在一些问题，主要有两方面：

• multiprocessing.Queue() is an object whereas multiprocessing.Manager().Queue() is an address (proxy) pointing to shared queue managed by the multiprocessing.Manager() object.
• therefore you can't pass normal multiprocessing.Queue() objects to Pool methods, because it can't be pickled.

资料进一步指出使用multiprocessing.Queue()并存放数据可能在join期间存在deadlock风险。
因此使用实例化的multiprocessing.Manager().Queue()代替原有的multiprocessing.Queue()始终是更好的选择。

# tasks = multiprocessing.Queue(core_num)
# results = multiprocessing.Queue()

manager = mp.Manager()
tasks = manager.Queue(core_num)
results = manager.Queue()

参考

Python multiprocessing.Queue vs multiprocessing.manager().Queue() - Stack Overflow
16.6. multiprocessing — Process-based “threading” interface — Python 2.7.18 documentation
python - Why does multiprocessing.Process.join() hang? - Stack Overflow

标签：queue,join,Manager,阻塞,Queue,manager,multiprocessing
来源： https://www.cnblogs.com/azureology/p/16428568.html