python爬虫随心所欲地爬取百度图片!
作者:互联网
一、前言
之前爬取了很多静态网页的内容,包括:小说、图片等等,今天我来尝试一下动态网页的爬取。众所周知,百度图片就是一个动态网页。那么,冲!冲!!冲!!!
二、需要导入的库
import requests
import json
import os
三、实现过程
1、下载链接分析
首先,打开百度,搜索一个内容,这里搜索的是男神(本人 )——彭于晏
然后,打开抓包工具,选择XHR选项,按Ctrl+R,然后你会发现,随着你鼠标的滑动,右侧会出现一个又一个的数据包。
(这里没滑动太多,一开始因为滑动太多,录的GIF超5M了)
然后,选一个包,查看它的headers,如图:
截取之后,粘贴在记事本上,作为一个URL,后文会用到。
这里有很多很多的参数,我也不知道具体哪些是可以忽略的,后文就索性全复制下来了,具体看后文。
到这里,能够直接观察到的内容就结束了,接下来,借助代码,帮我们打开另一个世界的大门
冲就完事了!
2、代码分析
首先:把上述中的“其它参数”组在一起。
自己做的话,最好复制自己的“其它参数”。
之后,我们可以先提取一下试试,并且把编码格式改成'utf-8'
url = '百度图片-发现多彩世界
param = {
'tn': 'resultjson_com',
'logid': ' 7517080705015306512',
'ipn': 'rj',
'ct': '201326592',
'is': '',
'fp': 'result',
'queryWord': '彭于晏',
'cl': '2',
'lm': '-1',
'ie': 'utf-8',
'oe': 'utf-8',
'adpicid': '',
'st': '',
'z': '',
'ic': '',
'hd': '',
'latest': '',
'copyright': '',
'word': '彭于晏',
's': '',
'se': '',
'tab': '',
'width': '',
'height': '',
'face': '',
'istype': '',
'qc': '',
'nc': '1',
'fr': '',
'expermode': '',
'force': '',
'cg': 'star',
'pn': '30',
'rn': '30',
'gsm': '1e',
}
# 将编码形式转换为utf-8
response = requests.get(url=url, headers=header, params=param)
response.encoding = 'utf-8'
response = response.text
print(response)
运行结果如下:
看上去挺乱的哈,没事,我们给包装一下!
在上面的基础上加上:
# 把字符串转换成json数据
data_s = json.loads(response)
print(data_s)
运行结果如下:
和上面相比,已经明晰很多了,但依旧不够明确,为什么呢?因为它打印的格式不方便我们观看!
对此,有两种解决办法。
①导入pprint库,接着输入pprint.pprint(data_s),就能打印啦,如下图
②使用json在线解析器(自行百度),结果如下:
解决掉上一步,我们会发现,想要的数据都在data里面!
那么就提取吧!
a = data_s["data"]
for i in range(len(a)-1): # -1是为了去掉上面那个空数据
data = a[i].get("thumbURL", "not exist")
print(data)
结果如下:
到这里,已经成功90%啦,剩下的就是保存和优化代码了!
近期有很多朋友通过私信咨询有关Python学习问题。为便于交流,点击蓝色自己加入讨论解答资源基地
标签:utf,python,彭于,爬虫,随心所欲,json,data,response,百度 来源: https://blog.csdn.net/weixin_43881394/article/details/114438562