第一个爬虫——斗鱼分类下的人气排行

from urllib import request
from io import BytesIO
import gzip
import re

class Spider():
	def __init__(self):
		self.url='https://www.douyu.com/g_LOL'
		self.root_pattern='<div class="DyListCover-info"><span class="DyListCover-hot is-template"><svg><use xlink:href="#icon-hot_8a57f0b"></use></svg>([\s\S]*?)</h2></div>'
		self.number_pattern='([\s\S]*?)</span>'
		self.name_pattern='</use></svg>([\s\S]*?)'

	def __fetch_content(self):
		headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36'}
		page1=request.Request(self.url,headers=headers)
		r=request.urlopen(page1)#加入浏览器信息
		htmls=r.read()#获取字节码
		buff=BytesIO(htmls)
		f=gzip.GzipFile(fileobj=buff)
		htmls=f.read().decode('utf-8')#数据被压缩过，我们要对数据进行处理。
		return htmls

	def __analysis(self,htmls):
		root_htmls=re.findall(self.root_pattern,htmls)
		anchors=[]
		for origin_html in root_htmls:
			new_html=origin_html.replace('</span><h2 class="DyListCover-user is-template"><svg><use xlink:href="#icon-user_c95acf8"></use></svg>','')
			anchors.append(new_html)
		print(anchors)

	def go(self):
		htmls=self.__fetch_content()
		self.__analysis(htmls)
		
spider=Spider()
spider.go()

以前觉得爬虫很难，完成了一个小目标之后，觉得有点小放松。

但内心却似乎感觉很朦胧。

只是冰山一角而已。

• 点赞 1
• 收藏
• 分享
• • 文章举报

小云同学 发布了46 篇原创文章 · 获赞 9 · 访问量 893 私信 关注

标签：__,pattern,self,爬虫,htmls,排行,import,斗鱼,root
来源： https://blog.csdn.net/weixin_45850939/article/details/104570098