首页 > 其他分享> > 我爬了《流浪地球》十万个短评得出以下结论

我爬了《流浪地球》十万个短评得出以下结论

2020-10-29 11:50:27 作者：互联网

前言

最近大家讨论最多的就是《流浪地球》了，偶尔刷逼乎，狗血的事情也是层出不穷，各种撕逼大战，有兴趣的小伙伴可以自行搜索。

截止目前，《流浪地球》累计票房43.94亿，豆瓣评分7.9分。博主是正月初七看的，票价有点小贵，整体效果还算可以，虽然剧情有点尴尬，各种镜头切换有时候看的稀里糊涂，但还是给了豆瓣四星好评。

爬取

逼乎上很多高手，对《流浪地球》在豆瓣的评分做了细思缜密的分析，有兴趣的也去自己搜索，这里主要是爬取《流浪地球》的好、中、差短评并分词分析。

爬取数据：

import osimport requestsimport codecsfrom bs4 import BeautifulSoup# 给请求指定一个请求头来模拟chrome浏览器global headers
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36',                  'cookie': 'network→www.douban.com→headers查看cookie'}
server = 'https://movie.douban.com/subject/26266893/comments'# 定义存储位置global save_path
save_path = os.getcwd()+"\\Text\\"+'短评_好评.txt'global page_max
page_max = 25global comments
comments = ''# 获取短评内容def get_comments(page):
    req = requests.get(url=page)
    html = req.content
    html_doc = str(html, 'utf-8')
    bf = BeautifulSoup(html_doc, 'html.parser')
    comment = bf.find_all(class_="short")    for short in comment:        global comments
        comments = comments + short.text# 写入文件def write_txt(chapter, content, code):
    with codecs.open(chapter, 'a', encoding=code)as f:
        f.write(content)# 主方法def main():
    for i in range(0, page_max):        try:
            page = server + '?start='+str(i*20)+'&limit=20&sort=new_score&status=P&percent_type=h'
            get_comments(page)
            write_txt(save_path, comments, 'utf8')        except Exception as e:
            print(e)if __name__ == '__main__':
    main()

最终发现，每个类型只能查询出 500 条短评，后面就看不到了，不知道是否豆瓣有意而为之给隐藏了，哈哈哈原来是没登录导致的(headers 设置下 cookie 就可以)。最后读了一下好评文本居然有40MB，不过最终还是按照500条采样。

# 好评500条，中评500条，差评500条，自行更换 percent_type 参数即可。# https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P&percent_type=h# https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P&percent_type=m# https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P&percent_type=l

分析

使用结巴中文分词第三方库来进行高频分析：

import jiebaimport os

txt = open(os.getcwd()+"\\Text\\"+"短评_差评.txt", "r", encoding='utf-8').read()
words = jieba.lcut(txt)
counts = {}for word in words:    if len(word) == 1:        continue
    else:
        counts[word] = counts.get(word, 0) + 1items = list(counts.items())
items.sort(key=lambda x: x[1], reverse=True)for i in range(0, 10):
    word, count = items[i]
    print("{0:<6}{1:>6}".format(word, count))

前十好评高频出现词汇：