其他分享
首页 > 其他分享> > 爬取网页做数据分析,遭遇反爬的规避方法

爬取网页做数据分析,遭遇反爬的规避方法

作者:互联网

requests中所有能加的都加上了,一直是412错误。使用selenium打开网页为空白,下了个八爪鱼采集器尝试,也是打不开网页。IDM直接下载网页失败,手机端ADM下载网页失败,Firefox插件Downthemall下载网页失败

最后突发奇想使用chrome的Downthemall插件,可以批量添加任务,把所有网页下载下来,以供分析数据。

标签:数据分析,插件,网页,爬取,采集器,失败,Downthemall,下载
来源: https://www.cnblogs.com/haaiso/p/15005318.html