其他分享
首页 > 其他分享> > 爬虫日记(10):爬取国外名人名言

爬虫日记(10):爬取国外名人名言

作者:互联网

经过前一个例子的学习,已经对scrapy写爬虫之简单,代码量之少,感觉到非常吃惊了吧。为了更进一步了解scrapy的运行机制,以及它的实际工作过程,再来学习一个的爬取国外名人名言的例子,透过这个例子再次地加深scrapy的理解。

 

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等等的程序中。

 

其最初是为了实现网页抓取所设计的, 现在也可以应用于通过API获取数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

 

我们首先来了解需要抓取数据的网站,如下:

http://quotes.toscrape.com/

标签:10,名人名言,抓取,爬虫,爬取,scrapy,例子
来源: https://blog.csdn.net/caimouse/article/details/114604625