编程语言
首页 > 编程语言> > Python爬取百度相关词出现人机安全验证,解决的方法,亲测

Python爬取百度相关词出现人机安全验证,解决的方法,亲测

作者:互联网

最近要爬取一部分词根的百度相关词用,然后就直接用python上手了,但是发现在爬取的过程中会存验证码的问题,怎么解决呢?也看了很多文章,后面测试了6万词根,出数据比较稳定了,就到专栏来给大家分享一下,

1、请求网址

百度相关词请求网址,使用这个样式的

https://www.baidu.com/s?wd=关键词&usm=3&rsv_idx=2&rsv_page=1

2、请求头需要加入Accept

"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",

3、cookies填写【重要】

cookies填写时,使用百度滑块手动验证完之后的cookies,然后再去测试数据

4、使用随机UA

python引入随机UserAgent

from fake_useragent import UserAgent
ua = UserAgent()
#在请求头中使用随机抽取
"User-Agent":ua.random,

为了保证效率,淘小白在测试的时候,没有做时间sleep,截止发文前,6万词根,已经获取到接近3万相关词。

如果你在爬百度的过程中,出现了人机验证,可以按照上面的几个点来修改测试下,有效果或者有问题,记得评论区留下你宝贵的反馈。

标签:cookies,请求,Python,爬取,application,UserAgent,词根,百度,亲测
来源: https://blog.csdn.net/u012917925/article/details/122876513