####

爬取新浪新闻全站的新闻，

这算是一个大一点的项目了，要好好的规划，

其实使用scarpy难点，就是两个，一个登陆，一个提取，其他的都不难，scrapy都帮你做好了，

提取也不难，就是需要清洗一下数据，

####

先新建这个目录的层级，

 

 这个目录，

你就要提取三级目标，

这个提取可能比较麻烦，但是不难，

而且可能有多套模板，这样你的爬虫还需要兼顾不同页面的不同模板，

不同页面，要用不同的提取规则，

这是很正常的，

####

如果你写完爬虫，就一劳永逸了，那你的价值在哪里，网站改版了你的爬虫可能就会报错，你就要去处理，

这就是斗争，

所以需要爬虫监控，爬虫告警，

####

编码思路

1，提取分类，要有3级分类，

2，分类下面提取标题和url，

3，提取详情页，正文内容

4，翻页问题，这个不同的网站是不一样的，

翻页的思路就是一直往下翻页，然后找到不能翻页的一个标志，然后就不断的调用自己，就可以了，

这个翻页的思路有递归的知识点，需要再次看一下，

 

这种比较简单，你只需要考虑随机ua和代理反爬，不需要考虑登陆的问题，

要有速度的话，还需要考虑分布式，

###

实际上这种爬虫不使用scrapy完全可以写，就是自己搞定这些事情就可以了，

###

 

 

 

 

#####

标签：####,全站,提取,翻页,--,爬虫,爬取,scrapy,需要
来源： https://www.cnblogs.com/andy0816/p/15257291.html