其他分享
首页 > 其他分享> > 网络爬虫反反爬小技巧(六)奇淫技巧

网络爬虫反反爬小技巧(六)奇淫技巧

作者:互联网

前面讲到了无头浏览器、JS逆向、模拟登录、验证码,除这些之外,爬虫过程中我们可能还会遇到:请求头验证、封禁 IP、封账号等等,这里就不展开说了。

不过在这里分享几个之前看到的爬虫技巧:

1、有时候我们爬取某个 Web 网站,被各种反爬搞得头发掉一地,这个时候我们可以换个角度,去看看人家有没有移动端或者插件,说不定可以发现新世界;

2、有时候我们可以看看目标网站的 robots.txt,看看其声明什么东西是可以爬取,什么东西是不允许被爬的,并且给什么搜索引擎爬;

例如:https://www.aliexpress.com/robots.txt

3、有时候我们想爬取整个网站的url,可以找到网站的 sitemap.xml ,因为网站一般想让 Google 或 Baidu 快点收录他们的网站,所以他们会把自己网站的 url 生成 sitemap 提交。

例如:https://www.aliexpress.com/siteindex/https-en-ugc-desktop-xml-sitemap-index.xml

标签:xml,技巧,反反,爬虫,爬取,网站,https,奇淫,sitemap
来源: https://blog.csdn.net/qq_36957681/article/details/111242301