爬取豆瓣电影Top250
作者：互联网
大家好，我是一名非计算机专业但对python爬虫十分感兴趣的电子商务大二学生
这个代码是我用于日后回看以及给大家参考参考，一起交流交流用的
可以转载，但注明一下原创谢谢！
引用库：
re
bs4
xlwt
urllib
直接上完整代码：
# -*- coding = utf-8 -*-
# @Time : 2021/5/27 9:43
# @Author: 松松
# @file: pc_douban.py
# @Software: PyCharm 开发环境
from bs4 import BeautifulSoup
import re
import urllib.request,urllib.error
import xlwt
def main():
baseurl = "https://movie.douban.com/top250?start="
# 爬取网页
datalist = getdata(baseurl)
# 保存路径
savepath = "豆瓣电影TOP250.xls"
# 保存数据
savedata(datalist,savepath)
# askurl("https://movie.douban.com/top250?start=0") # 尝试执行单个页面的爬取
# 定义全局变量以及定义获取影片详情页规则
findlink = re.compile(r'<a href="(.*?)">') # 创建正则表达式对象，表示规则（字符串的模式）
# 影片图片
findimgsrc = re.compile(r'<img.*src="(.*?)"', re.S) # re.S 让换行符包含在字符中
# 影片的片名
findtitle = re.compile(r'<span class="title">(.*)</span>')
# 影片的评价
findrating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
# 评价的人数
findratingp = re.compile(r'<span>(\d*)人评价</span>')
# 金句评价
findinq = re.compile(r'<span class="inq">(.*)</span>')
# 相关内容
findbd = re.compile(r'<p class="">(.*?)</p>', re.S)
# 爬取网页
def getdata(baseurl): # 获取数据
datalist = [] # 获取的数据整合成一个列表
for i in range(0, 10): # 调用获取页面的函数
url = baseurl + str(i*25)
html = askurl(url) # 保存获取到的网页源码
# 2.逐一解析数据
soup = BeautifulSoup(html, "html.parser")
for item in soup.find_all('div', class_="item"): # 查找符合要求的字符串，形成列表（一定要在属性右下角标下划线）
# print(item) 测试查看电影item的全部信息
data = [] # 保存一个电影的全部信息
item = str(item)
'''这里是只拿出一个详情页的代码【html】方便观察
print(item)
break
'''
# 获取影片详情页
link = re.findall(findlink, item)[0] # re库用来通过正则表达式查找指定的字符串,[0]表示只要内容，不加的话就是一个个列表
data.append(link) # 添加链接
imgsrc = re.findall(findimgsrc, item)[0]
data.append(imgsrc) # 添加图片
titles = re.findall(findtitle, item) # 片名可能只有一个
if len(titles) == 2:
cntitle = titles[0]
data.append(cntitle) # 添加中文名字
ortitle = titles[1].replace("/", "") # 去掉无关的符号
data.append(ortitle) # 添加外国名字
else:
data.append(titles[0]) # 无论你有没有外文名字都打出来，防止乱序
data.append(' ') # 留空
rating = re.findall(findrating, item)[0]
data.append(rating) # 添加评价
ratingp = re.findall(findratingp, item)[0]
data.append(ratingp) # 添加评价人数
inq = re.findall(findinq, item)
if len(inq) != 0:
inq = inq[0].replace("。", "")
data.append(inq) # 添加金句评价
else:
data.append(" ") # 没有就留空
bd = re.findall(findbd, item)[0]
bd = re.sub('<br(\s+)?/>(\s+)?',"", bd) #去掉<br/>
bd = re.sub('/'," ", bd) #去掉/
data.append(bd.strip()) #去掉内容前后的空格
datalist.append(data) # 把一部电影的信息放到datalist中
# print(datalist)
return datalist
# 得到指定的一个网页的信息
def askurl(url):
head = { # 模拟浏览器头部信息，向豆瓣服务奇发送信息
"User-Agent": "Mozilla/5.0(Windows NT 10.0;Win64;x64) AppleWebKit/537.36(KHTML,like Gecko) Chrome/90.0.4430.212 Safari/537.36"
} # 用户代理，告诉豆瓣服务器我们可以接受什么类型的内容
request = urllib.request.Request(url, headers=head)
html = ""
try:
response = urllib.request.urlopen(request)
html = response.read().decode("utf-8")
except urllib.error.URLError as e:
if hasattr(e, "code"):
print(e.code)
if hasattr(e, "reason"):
print(e.reason)
return html
# 保存数据
def savedata(datalist,savepath):
print("开始保存中。。。。")
book = xlwt.Workbook(encoding="utf-8",style_compression=0) # 创建workbook对象，style_compression=0为样式的压缩效果
sheet = book.add_sheet('豆瓣电影Top250',cell_overwrite_ok=True) # 创建工作表，cell_overwrite_ok=True覆盖原来的单元cell
# 设定列的内容
col = ("电影详情链接","电影图片链接","电影中文名字","电影外国名字","评分","评分人数","金句评价","相关内容")
for i in range(0,8): # 因为excel也是从第0个开始
sheet.write(0,i,col[i]) # 写入列名
for i in range(0,250):
print("第%d条"%(i+1))
data = datalist[i]
for j in range(0,8): # 一行的内容放在一行
sheet.write(i+1,j,data[j]) # i+1是因为第一行为列名，j为对应的列数数据
book.save(savepath)
if __name__ == "__main__":
# 调用函数
main()
print("爬取完毕！")
结果展示：
【为了引起不必要的争议，我加了码，大家凑活着看吧】
以上是爬取豆瓣top250电影榜的全部
如果代码有什么可以优化的可以提出来哦
大家一起学习学习
标签：item,datalist,data,爬取,re,豆瓣,print,Top250,append 来源： https://blog.csdn.net/m0_57927801/article/details/117399686