先图片开路

环境介绍

• python 3.6 / 3.8
• pycharm 编辑器
• requests
• parsel
• os 文件操作
  在cmd里面就可以进行安装 pip install requests

无论是爬取那个网站 什么数据 都是可以按照这个流程去分析

一. 数据来源分析

1. 确定爬取的东西?

网址: 彼岸壁纸
网站数据: 壁纸图片

2. 壁纸图片 数据是来自于哪里

通过浏览器上面 开发者工具(F12/鼠标右键点击检查选择network)进行抓包分析
I. 需要所有图片的 ID
II. 获取图片ID之后, 才请求图片详情页url地址
III. 获取图片地址 以及 图片标题

如果你不知道数据来源, 就没法进行爬取

 

【付费VIP完整版】只要看了就能学会的教程，80集Python基础入门视频教学

 

点这里，跳转B站即可免费在线观看 

二. 代码实现的过程: 确定需求(查询数据来源分析) >>> 发送请求 >>> 获取数据 >>> 解析数据 >>> 保存数据

1. 发送请求 对于图片列表页发送请求
2. 获取数据 获取网页源代码
3. 解析数据 提取图片ID
4. 发送请求 把获取到的图片ID 出入图片详情页url中
5. 解析数据 提取图片地址 以及 图片标题
6. 保存数据
7. 多页爬取

1. 发送请求 对于图片列表页发送请求

url = f'http://www.netbian.com/meinv/index_{page}.htm'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
}
response = requests.get(url=url, headers=headers)

 

<Response [200]> <> python里面表示的是对象 返回的是response对象(响应体对象)
200 状态码 表示请求成功

2. 获取数据 获取网页源代码 >>>> 获取响应体的文本数据(字符串类型)

# 它给返回的数据 出现了乱码 >>> 转码
response.encoding = response.apparent_encoding # 自动识别编码
print(response.text) # html字符串数据

 

3. 解析数据 提取图片ID 解析数据方式: re正则正则表达式 css选择器 xpath

re正则正则表达式 可以对于字符串数据内容直接提取
css选择器 xpath 都是根据标签属性内容提取数据

img_ids = re.findall('<li><a href="/desk/(\d+).htm" title', response.text)
# 正则表达式匹配出来的数据内容 返回的是列表  列表里面每一个元素都是图片id

for img_id in img_ids:
    # 构建壁纸详情页的url地址
    # 字符串格式化方法 format()
    link_url = f'http://www.netbian.com/desk/{img_id}-1920x1080.htm'
    print(link_url)

 

4. 发送请求 把获取到的图片ID 出入图片详情页url中

response_1 = requests.get(url=link_url, headers=headers)
selector = parsel.Selector(response_1.text)

 

5. 解析数据 提取图片地址 以及 图片标题

img_url = selector.css('#endimg img::attr(src)').get()
title = selector.css('#endimg img::attr(title)').get()
print(response_1.text)

 

6. 保存数据

img_content = requests.get(url=img_url, headers=headers).content
with open('img\\' + title + '.jpg', mode='wb') as f:
    f.write(img_content)
    print(title, img_url)

 

7 .翻页爬取

for page in range(2, 11):
    print(f'正在爬取第{page}页的数据内容')

 

 

Python从零基础入门到实战系统教程、源码、视频，想要数据集的同学也可以点这里

最后运行完整代码

标签：美女壁纸,img,Python,爬取,超清,url,数据,response,图片
来源： https://www.cnblogs.com/qshhl/p/15225081.html