群聊斗神 - Python爬取斗图表情包 - 斗图之神的战斗神
作者:互联网
作为一个斗图狂魔,怎么能在群聊的时候认怂。不服就干,今天来爬一堆表情包,用于群聊的时候斗图使用。斗疯一个算一个,尽显群聊斗神本色。源码开始:
""" 用Python爬取斗图表情包 目标网址:https://www.xxx.com/的斗图表情包 """ import requests from bs4 import BeautifulSoup #解析网页用的 import os #用以存储文件的时候用的 import random #首先获取网页内容 def get_html_content(url): #定义一堆User-Agent(正常的) simpleUA = [ 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36', 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/537.75.14' 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0' 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.85 Safari/537.36 OPR/76.0.4017.94 (Edition utorrent)' 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.85 Safari/537.36 Edg/90.0.818.46' 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.0.0 Safari/537.36' 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36' ] myUserAgent = random.choice(simpleUA) #随机选择就好 headers = { 'User-Agent': myUserAgent, } #开始请求网页 r = requests.get(url, headers=headers) r.raise_for_status() r.encoding = r.apparent_encoding r.encoding = 'utf-8' #处理编码的 content = r.text #返回的内容 return content def parse_page(htmlContent): """ 解析网页内容 :param htmlContent: :return: """ web_content = BeautifulSoup(htmlContent, 'lxml') image_lists = web_content.findAll('img') #找到网页中所有的img标签 #将image_lists强制转换为列表类型,要不然它是bs4啥的啥的 image_lists = list(image_lists) #获取网页中所有的图片,当然也包括网站的logo,这个logo不是我们想要的 return image_lists def get_image_names(image_lists): image_names = [] #空列表以存储解析出来的图片名称 #我们这里的image_lists是包含logo的,所以我们要切片把它剔除 for i in image_lists[1:-1]: #遍历列表的第二项到最后一项 #其中这个i是bs4啥的,我们要强制转换成str类型方便操作 # print(i) #<img alt="问候沙雕网友是否吃饭_表情包图片" data-v-39bd7a82="" afind = str(i).find('"') #找到字符串中的第一个双引号 bfind = str(i).find('_') #找到字符串中的第一个下划线 image_name = str(i)[afind+1:bfind] #中间的部分就是我们要的图片名称 image_names.append(image_name) print(image_names) #用于查看和new_image_lists的前后区别 #这里还会存在一个问题就是,windows的标题名称是支持?中文的,但是不支持西文的,所以还得处理下标题里出现的西文符号 new_image_lists = [str(image_name).replace('?','?').replace('/', '反斜杠在此') for image_name in image_names] return new_image_lists def get_image_urls(image_lists): image_urls = [] #这里提取url只是方便下载图片 for i in image_lists[1:-1]: #处理方法跟取回文件名称一样 # print(i) # 查找字符串中的https之前的项目 afind = str(i).find('"h') # 再查找字符串的末尾url之前的"/ bfind = str(i).find('"/') # afind和bfind之间的就是我们需要的url image_url = str(i)[afind + 1:bfind] # 切片是包前不包后 # print(image_url) #打印看是否符合预期 image_urls.append(image_url) # 因为是逐项添加,所以不需要担心顺序的问题 return image_urls #如果怕出错,可以先操作一页 if __name__ == '__main__': url = 'https://www.xxx.com/img_lists/new/1' content = get_html_content(url) #解析网页 image_lists = parse_page(content) #解析网页后得到的图片信息列表 image_names = get_image_names(image_lists) #图片名列表 image_urls = get_image_urls(image_lists) #图片url列表 # print(get_image_names(image_lists)) 打印一下,对比一下image_names和new_image_names all_data = zip(image_names, image_urls) filePath = 'images' #当前文件文件夹下的images目录,我们要存储图片的目录 for image_name, image_url in all_data: if os.path.exists(filePath): #开始请求图片地址 rimg = requests.get(image_url) #这里就不用headers了,有些网站需要用的,不然请求不到信息 rimg.raise_for_status() # houzhui = image_url.split('.')[1] # print(houzhui) #开始以我们获取的文件名和处理的文件后缀进行图片存储 with open(os.path.join(filePath, image_name + '.' + image_url.split('.')[-1]), 'wb') as f: #这里我们是直接写入文件夹,所以要用到os.path.join,image_name就是文件名,.就是图片格式的.,image_url.split就是以.拆分并取最后一部分. f.write(rimg.content) #写入文件 f.close() #关闭文件 #我们这里只扫一页,如果要全部扫下来,就在url前面加个for循环。 # for page in range(1, 34): # url = f'https://www.xxx.com/img_lists/new/{page}'z最终
最终效果,爬了几千:
从此再也不怕群聊斗图了,放马过来。。
代码有几点说明下,以供斗神复习:
1,关于windows能存储文件格式名的问题,它不能包含特殊字符(也就是有些字符,比如说西文?,注意是西文的,不是中文的),所以在处理文件名的时候,要将这个处理掉。上面代码个人总结了三种方法处理。
-
-
- 第一种是,直接从get_image_name函数里直接处理,用表达式处理;
- 第二种是,在提取到了文件后开始写入之前,也就是在for image_name, image_url in all_data:做一段代码如if,re.sub()来处理;
- 第三种类似第二种,就是提取提取出来了文件名后,写一个函数专门处理,然后函数再返回给代码就行了。可以说是工厂模式么?
-
2,一般with open都是打开文件,而不是文件夹,所以这里用了os.path
3,就是字符串的切片了,无所不能,哈哈
4,要找下BeautifulSoup的资料。
标签:5.0,取斗图,群聊,Python,image,Mozilla,lists,537.36,Gecko 来源: https://www.cnblogs.com/mafu/p/15246549.html