全站数据爬取的方式

基于Spider：手动请求
基于CrawlSpider

基于CrawlSpider爬取全部数据

创建一个工程
cd XXX
创建爬虫文件（CrawlSpider）：
scrapy genspider -t crawl xxx www.xxxx.com

链接提取器

LinkExtractor常见参数：
allow：满足括号中“正则表达式”的URL会被提取，如果为空，则全部匹配。
deny：满足括号中“正则表达式”的URL一定不会提取（优先级敢于allow）。
allow_domains：会被提取的链接的domains。
deny_domains：一定不会被提取链接的domains。
restrict_xpaths：使用xpath表达式，该参数与allow共同作痛过滤链接，xpath满足范围内的url地址会被提取

需求

爬取sun网站中的编号，新闻标题，新闻内容，标号
分析：爬取的数据没有在同一张页面中。
1.可以使用链接提取器提取所有的页码链接
2.让链接提取器提取所有的新闻详情页的链接

代码实现

获取每个页面链接

标签：全站,提取,CrawlSpider,爬取,allow,domains,链接
来源： https://www.cnblogs.com/simon1993/p/16315874.html