首页 > TAG信息列表 > 小说网
对纵横小说网签约作家作品数据进行爬取与分析
(一)选题背景 当今世界电子小说阅读走进千家万户,其中各大网络电子小说网站更是琳琅满目,为了 探寻网站签约作家的各小说作品的热度对比。 我选择了纵横小说网的无罪作家来作为我本学期爬虫程序设计作业。 (二)主题式网络爬虫设计方案 1.主题式网络爬虫名称:12-爬取小说网实战
我们把小说名、是否完结、男主名字、女主名字都给爬取下来 import requests import re url = "http://m.pinsuu.com/paihang/nanpindushi/" headers = { "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko)根据名称搜索小说并下载到本地【全书小说网】
''' 获取全书网的任意一本书的正文,每个章节为一个txt文件(如果章节太多可以获取前5章),这些文件全部放在以书名命名的文件夹中 ''' import os import re from urllib.parse import quote import requests class QuanShu: def __init__(self, name=''): name = quo