python如何伪装浏览器爬取网站
作者：互联网
有的网页在爬取时候会报错返回
urllib.error.HTTPError: HTTP Error 403: Forbidden
这是网址在检测连接对象，所以需要伪装浏览器，设置User Agent
在浏览器打开网页 ---> F12 ---> Network ---> 刷新
然后选择一项 就是在 header 看到 User-Agent
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36
标签：浏览器,python,Agent,爬取,537.36,User,伪装,网页 来源： https://blog.csdn.net/fei347795790/article/details/95094878