网页采集器+User-agent

简介

请求载体的身份表示

UA伪装

门户网站的服务器会检测对于请求的载体身份标识，如果检测到请求的载体身份标识为某一款游览器，说明该请求是一个正常的请求。但是如果检测到的载体身份标识不是基于某一款游览器的，则识别为爬虫。

操作

将游览器的User-agent复制到爬虫程序中

网页采集器

import requests
url='https://www.sogou.com/web'
kw=input('输入关键字')
param={
    'query':kw
}
headers={
    'User-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
}
response=requests.get(url=url,params=param,headers=headers)      #发送request请求
page_text=response.text            #返回字符串形式的响应数据
print(page_text)
with open('sougou.html','w',encoding='utf-8') as fp:
    fp.write(page_text)

标签：请求,url,text,游览器,agent,采集器,User
来源： https://www.cnblogs.com/sjj123/p/15070009.html