Python使用多进程提高网络爬虫的爬取速度，爬取多项目必备技能

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

本文来自腾讯云，作者：Python小屋屋主

多线程技术并不能充分利用硬件资源和大幅度提高系统吞吐量，类似需求应使用多进程编程技术满足。

以爬取中国工程院院士简介和照片为例，参考代码如下，请自行分析目标网页结构并与参考代码进行比对。另外需要注意，该程序最好在cmd命令提示符环境执行。

声明：爬虫系列文章仅供技术研究，如果用于恶意目的，引起的后果由使用者自己承担。

标签：本文,参考,Python,代码,爬虫,爬取,仅供
来源： https://www.cnblogs.com/aa1273935919/p/14149680.html