网络爬虫协议robots.txt

bobots.txt 文件位置：

网站根目录：/var/www/html/robots.txt

文件内容：

User-agent: * 
Disallow: /?* 
Disallow: /pop/*.html 
Disallow: /pinpai/*.html?* 
User-agent: EtaoSpider 
Disallow: / 
User-agent: HuihuiSpider 
Disallow: / 
User-agent: GwdangSpider 
Disallow: / 
User-agent: WochachaSpider 
Allow: /

若某网站无robots.txt文件，即默认对于爬虫无限制

而实际上，robots协议只是一个说明文件，指出需遵守的爬虫协议，并没有实际的限制效果

标签：爬虫,robots,agent,Disallow,html,User,txt
来源： https://www.cnblogs.com/p36606jp/p/15113878.html