其他分享
首页 > 其他分享> > 毕业设计 - 题目: 基于大数据的B站分析 - 弹幕情感分析

毕业设计 - 题目: 基于大数据的B站分析 - 弹幕情感分析

作者:互联网

文章目录

1 数据分析流程

运用文本挖掘技术,对最近热播剧《沉默的真相》弹幕数据进行深入分析
在这里插入图片描述

2 数据预处理

B站数据爬虫代码Demo


## 作者:丹成学长 Q746876041
import requests,csv,time
import sys
from bs4 import BeautifulSoup as BS

first_barrage_url = "视频地址"

'''获取网页内容'''
def request_get_comment(url):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)',
               'Cookie': 'LIVE_BUVID=AUTO7215383727315695; stardustvideo=1; rpdid=kwxwwoiokwdoskqkmlspw; '
                         'fts=1540348439; sid=alz55zmj; CURRENT_FNVAL=16; _uuid=08E6859E-EB68-A6B3-5394-65272461BC6E49706infoc; '
                         'im_notify_type_64915445=0; UM_distinctid=1673553ca94c37-0491294d1a7e36-36664c08-144000-1673553ca956ac; '
                         'DedeUserID=64915445; DedeUserID__ckMd5=cc0f686b911c9f2d; SESSDATA=7af19f78%2C1545711896%2Cb812f4b1; '
                         'bili_jct=dc9a675a0d53e8761351d4fb763922d5; BANGUMI_SS_5852_REC=103088; '
                         'buvid3=AE1D37C0-553C-445A-9979-70927B6C493785514infoc; finger=edc6ecda; CURRENT_QUALITY=80; '
                         'bp_t_offset_64915445=199482032395569793; _dfcaptcha=44f6fd1eadc58f99515d2981faadba86'}

    response = requests.get(url=url,headers=headers)
    soup = BS(response.text.encode(response.encoding).decode('utf8'),'lxml')
    result = soup.find_all('d')
    if len(result) == 0:
        return result
    all_list = []
    for item in result:
        barrage_list = item.get('p').split(",")
        barrage_list.append(item.string)
        barrage_list[4] = time.ctime(eval(barrage_list[4]))
        all_list.append(barrage_list)
    return all_list

'''将秒转化为固定格式:"时:分:秒"'''
def sec_to_str(second):
    second = eval(second)
    m,s = divmod(second,60)
    h,m = divmod(m,60)
    dtEventTime = "%02d:%02d:%02d" % (h,m,s)
    return dtEventTime


'''主函数'''
def main():
    sys.setrecursionlimit(1000000)
    url_list = []
    cid_list = [16980576,16980597,16548432,16483358,16740879,17031320,
           17599975,18226264,17894824,18231028,18491877,18780374]

    tableheader = ['弹幕出现时间', '弹幕格式', '弹幕字体', '弹幕颜色', '弹幕时间戳',
                        '弹幕池','用户ID','rowID','弹幕信息']

    '''最新弹幕文件'''
    for i in range(12):
        url = "https://comment.bilibili.com/%d.xml" % cid_list[i]
        url_list.append(url)
        file_name = "now{}.csv".format(i + 1)
        with open(file_name,'w',newline='',errors='ignore') as fd:
            comment = request_get_comment(url)
            writer = csv.writer(fd)
            # writer.writerow(tableheader)
            if comment:
                for row in comment:
                    print(row)
                    #writer.writerow(row)
            del comment

    '''按照集数,取出弹幕链接,进行爬虫,获取弹幕记录,并保存到csv文件'''

    for i in range(12):
        file_name = "d{}.csv".format(i+1)
        for j in range(1,13):
            for date in range(2):
                barrage_url = first_barrage_url.format(cid_list[i],"%02d" % j,"%02d" % (1 + date * 14))
                with open(file_name,'a',newline='',errors='ignore') as fd :
                    writer = csv.writer(fd)
                    writer.writerow(tableheader)
                    final_list = request_get_comment(barrage_url)

                    if final_list:
                        for row in final_list:
                            writer.writerow(row)
                    del (final_list)


if __name__ == "__main__":
    main()

3 数据清洗

3.1 导入数据分析库

#数据处理库

import numpy as np

import pandas as pd

import glob

import re

import jieba

#可视化库

import stylecloud

import matplotlib.pyplot as plt

import seaborn as sns

%matplotlib inline

from pyecharts.charts import *

from pyecharts import options as opts

from pyecharts.globals import ThemeType 

from IPython.display import Image

#文本挖掘库

from snownlp import SnowNLP

from gensim import corpora,models

3.2 合并弹幕数据

《沉默的真相》共12集,分集爬取,共生成12个csv格式的弹幕数据文件,保存在danmu文件夹中。通过glob方法遍历所有文件,读取数据并追加保存到danmu_all文件中。

csv_list = glob.glob('/danmu/*.csv')

print('共发现%s个CSV文件'% len(csv_list))

print('正在处理............')

for i in csv_list:

    fr = open(i,'r').read()

    with open('danmu_all.csv','a') as f:

        f.write(fr)

print('合并完毕!')

3.3 重复值、缺失值等处理

#error_bad_lines参数可忽略异常行

df = pd.read_csv("./danmu_all.csv",header=None,error_bad_lines=False)

df = df.iloc[:,[1,2]] #选择用户名和弹幕内容列

df = df.drop_duplicates() #删除重复行

df = df.dropna() #删除存在缺失值的行

df.columns = ["user","danmu"] #对字段进行命名

清洗后数据如下所示:

在这里插入图片描述

3.4 数据去重

机械压缩去重即数据句内的去重,我们发现弹幕内容存在例如"啊啊啊啊啊"这种数据,而实际做情感分析时,只需要一个“啊”即可。

在这里插入图片描述

#定义机械压缩去重函数

def yasuo(st):

    for i in range(1,int(len(st)/2)+1):

        for j in range(len(st)):

            if st[j:j+i] == st[j+i:j+2*i]:

                k = j + i

                while st[k:k+i] == st[k+i:k+2*i] and k<len(st): 

                    k = k + i

                st = st[:j] + st[k:]   

    return st

yasuo(st="啊啊啊啊啊啊啊")

应用以上函数,对弹幕内容进行句内去重。

df["danmu"] = df["danmu"].apply(yasuo)

3.5 特殊字符过滤

另外,我们还发现有些弹幕内容包含表情包、特殊符号等,这些脏数据也会对情感分析产生一定影响。

在这里插入图片描述
特殊字符直接通过正则表达式过滤,匹配出中文内容即可。

df['danmu'] = df['danmu'].str.extract(r"([\u4e00-\u9fa5]+)")

df = df.dropna()  #纯表情直接删除

另外,过短的弹幕内容一般很难看出情感倾向,可以将其一并过滤。

df = df[df["danmu"].apply(len)>=4]

df = df.dropna()

4 数据可视化

数据可视化分析部分代码本公众号往期原创文章已多次提及,本文不做赘述。从可视化图表来看,网友对《沉默的真相》还是相当认可的,尤其对白宇塑造的正义形象江阳,提及频率远高于其他角色。

4.1 整体弹幕词云

在这里插入图片描述

4.2 主演提及

在这里插入图片描述

5 文本挖掘(NLP)

5.1 情感分析

情感分析是对带有感情色彩的主观性文本进行分析、处理、归纳和推理的过程。按照处理文本的类别不同,可分为基于新闻评论的情感分析和基于产品评论的情感分析。其中,前者多用于舆情监控和信息预测,后者可帮助用户了解某一产品在大众心目中的口碑。目前常见的情感极性分析方法主要是两种:基于情感词典的方法和基于机器学习的方法。

本文主要运用Python的第三方库SnowNLP对弹幕内容进行情感分析,使用方法很简单,计算出的情感score表示语义积极的概率,越接近0情感表现越消极,越接近1情感表现越积极。

df['score'] = df["danmu"].apply(lambda x:SnowNLP(x).sentiments)

df.sample(10) #随机筛选10个弹幕样本数据

在这里插入图片描述

5.1.1 整体情感倾向

plt.rcParams['font.sans-serif'] = ['SimHei']  # 设置加载的字体名

plt.rcParams['axes.unicode_minus'] = False  # 解决保存图像是负号'-'显示为方块的问题

plt.figure(figsize=(12, 6)) #设置画布大小

rate = df['score']

ax = sns.distplot(rate,

            hist_kws={'color':'green','label':'直方图'},

            kde_kws={'color':'red','label':'密度曲线'},

            bins=20) #参数color样式为salmon,bins参数设定数据片段的数量

ax.set_title("弹幕整体情感倾向  绘图:「菜J学Python」公众号")

plt.show

在这里插入图片描述

5.1.2 观众对主演的情感倾向

mapping = {'jiangyang':'白宇|江阳', 'yanliang':'廖凡|严良', 'zhangchao':'宁理|张超','lijing':'谭卓|李静', 'wengmeixiang':'李嘉欣|翁美香'}

for key, value in mapping.items():

    df[key] = df['danmu'].str.contains(value)

average_value = pd.Series({key: df.loc[df[key], 'score'].mean() for key in mapping.keys()})

print(average_value.sort_values())

由各主要角色情感得分均值可知,观众对他们都表现出积极的情感。翁美香和李静的情感得分均值相对高一些,难道是男性观众偏多?江阳的情感倾向相对较低,可能是观众对作为正义化身的他惨遭各种不公而鸣不平吧。

在这里插入图片描述

5.1.3 主题分析

这里的主题分析主要是将弹幕情感得分划分为两类,分别为积极类(得分在0.8以上)和消极类(得分在0.3以下),然后再在各类里分别细分出5个主题,有助于挖掘出观众情感产生的原因。

首先,筛选出两大类分别进行分词。

#分词

data1 = df['danmu'][df["score"]>=0.8]

data2 = df['danmu'][df["score"]<0.3]

word_cut = lambda x:' '.join(jieba.cut(x)) #以空格隔开

data1 = data1.apply(word_cut)

data2 = data2.apply(word_cut)

print(data1)

print('----------------------')

print(data2)

123456789

首先,筛选出两大类分别进行分词。

#去除停用词

stop = pd.read_csv("/菜J学Python/stop_words.txt",encoding='utf-8',header=None,sep='tipdm')

stop = [' ',''] + list(stop[0])

#print(stop)

pos = pd.DataFrame(data1)

neg = pd.DataFrame(data2)

pos["danmu_1"] = pos["danmu"].apply(lambda s:s.split(' '))

pos["danmu_pos"] = pos["danmu_1"].apply(lambda x:[i for i in x if i.encode('utf-8') not in stop])

#print(pos["danmu_pos"])

neg["danmu_1"] = neg["danmu"].apply(lambda s:s.split(' '))

neg["danmu_neg"] = neg["danmu_1"].apply(lambda x:[i for i in x if i.encode('utf-8') not in stop])

其次,对积极类弹幕进行主题分析。

#正面主题分析

pos_dict = corpora.Dictionary(pos["danmu_pos"]) #建立词典

#print(pos_dict)

pos_corpus = [pos_dict.doc2bow(i) for i in pos["danmu_pos"]] #建立语料库

pos_lda = models.LdaModel(pos_corpus,num_topics=5,id2word=pos_dict) #LDA模型训练

print("正面主题分析:")

for i in range(5):

    print('topic',i+1)

    print(pos_lda.print_topic(i)) #输出每个主题

    print('-'*50)

结果如下:

在这里插入图片描述

最后,对消极类弹幕进行主题分析。

#负面主题分析

neg_dict = corpora.Dictionary(neg["danmu_neg"]) #建立词典

#print(neg_dict)

neg_corpus = [neg_dict.doc2bow(i) for i in neg["danmu_neg"]] #建立语料库

neg_lda = models.LdaModel(neg_corpus,num_topics=5,id2word=neg_dict) #LDA模型训练

print("负面面主题分析:")

for j in range(5):

    print('topic',j+1)

    print(neg_lda.print_topic(j)) #输出每个主题

    print('-'*50)

结果如下:

在这里插入图片描述

6 最后-毕设帮助

毕设帮助,开题指导,技术解答

标签:分析,df,list,danmu,毕业设计,print,import,弹幕
来源: https://blog.csdn.net/HUXINY/article/details/121183499