一.什么是爬虫

　　爬虫的概念:

通过编写程序,模拟浏览器上网,让其去互联网上爬取数据的过程.

　　爬虫的分类:

• 通用爬虫:爬取全部的页面数据.
• 聚焦爬虫: 抓取页面中局部的页面数据
• 增量式爬虫:爬取网站中更新出的数据

　　反爬机制

门户网站会通过制定相关的技术手段阻止爬虫程序进行数据的爬取  

　　反反爬策略:

 第一个反爬机制: 
    robots.txt协议:   防君子不防小人的协议

标签：反反,反爬,request,爬虫,爬取,初识,数据,页面
来源： https://www.cnblogs.com/tjp40922/p/10437762.html