其他分享
首页 > 其他分享> > Scrapy学习(二) 框架结构分析

Scrapy学习(二) 框架结构分析

作者:互联网

Scrapy学习(二) 框架结构分析

在对Scrapy进行深入学习之前,我们需要对其框架有一定的了解,才能更好的运用Scrapy进行编程

Scrapy结构

对Scrapy结构进行解读,将解读下图:

网上流传甚广的Scrapy结构图 Scrapy分为Scheduler, Downloader, Spiders, Item Pipeline和ScrapyEngine五个组分。
组分名称 作用
Scheduler 调度器,对整体进行调度,负责从Spiders接受存放url和向Downloader发送下载请求
Downloader 下载器,接受Requests和向Spiders发出下载到的Responses
Spiders 负责处理来自Downloader的Responses,把新requests发送给Scheduler,再把需要的Items给Item Pipeline处理
Item Pipeline 处理,保存数据
Scrapy Engine 整体管理

如果再具象一点,就像是一个工厂流水线,Scheduler是老板,负责调度员工和处理订单;Downloader是搬运工人,从网上搬运内容;Spiders是会计,负责向老板提交新订单和接受搬运工的信息;Item Pipeline是仓库管理员,将收集到的信息整理、登记、储存起来。

实际上,幸运的是,这样的一个结构中的大部分已经被安排好了,

标签:Pipeline,Downloader,学习,Item,Scrapy,Spiders,Scheduler,框架结构
来源: https://www.cnblogs.com/macmillan1225/p/15560477.html