爬取人人贷网上部分借贷信息以及数据可视化

一.主题式网络爬虫设计方案：爬取人人贷网上部分借贷信息

1.主题式网络爬虫名称：爬取人人贷网上部分信息
2.主题式网络爬虫的内容与数据特征分析：爬取人人贷部分信息数据，借贷信息

3.主题式网络爬虫设计方案概述（包括实现思路与技术难点）：找到该网站的网址，然后F12分析该网址的源代码，找到自己所需要的数据所在的位置，提取相关的数据分析，进行数据上的处理和数据可视化的操作.

二.二、主题页面的结构特征分析
主题页面的结构与特征分析：打开网址找到我们需要的数据所在位置

 

然后摁F12提取相关的数据源代码

 

 

 

 

三、网络爬虫程序设计

1.数据爬取与采集

首先爬取网页通用框架

 

 

 

 

 

 然后再将该内容进行解析

 

 

 

 选择需要绘制的最大值与最小值的柱状图数据

 

 

 

 

 

 绘制饼图

from pyecharts import Pie

def drawRRDPie (data) :

绘制饼状图.

 

 

 

 

四.

附上完整程序代码

i mport requestsi mport json

def getRRDInfo(startPage, endPage) :

解析jison文件，获取数据’

data=0_ #统计数据

for page in range (startPage, endPage) :

responseFrequests. post (ur1). textur1=' https://www. renrendai. com/1 oan/1ist/1oanLi st?star tNum=O&1imi t=10'

list=. json.1oads(response). get(' data' ).get(' 1ist')

for item in list:

title=item. get(' tit1e' )

amount=i tem. get(' amount' )

if title not in data. keys():

data[tit1e]=[]

data [title]. append (amount)

#打印数据

print(" *************************** )

print("借款标题: %s" % tit1e)

print(" Hà: %sT" % amount)

return data

if_ name_ =="

main_ ." :

data-getRRDInfo(0, 1)

def bs(text):

#将读取到的网页解析

return soupsoup = bs4. Beauti fulSoup(text,' html. parser')

def main():

url = 'https:/ /www. bilibili. com/ ranking?'# pE pE# A #FfTiisome = get_ url(url)

soup = bs some )

with open( 'try2.txt' , ' W', encoding-'utf-8' ) as f:

f . write( soup. text)# it5fH4iI##Æ FШf#

main( )

from pyecharts import Bar

) def drawRRDBar (data) :

绘制柱状图”

attr=1ist (data. keys (())

min_ _amount=[]

max_ _amount=[]

for item in data. keys(:

min_ amount. append(min(data[i tem]))

max_ amount. append(max (data[i tem]))

bar =Bar("人人贷”，”借款类型最小值/最大值")

bar. add("最小值”，attr , min_ amount , is_ 1abel_ show=True)bar. add("最大值",attr，max_ amount, is_ 1abel_ show=True)bar. render ()

if_ _name__main_”:

data=getRRDInfo(0, 10)

drawRRDBar (data)

from pyecharts import Pie

def drawRRDPie (data) :

绘制饼状图.

attr=list (data. keys())

va1ue=[]

for item in data. keys() :

value. append(sum(data [i tem]))

bar =Pie(”人人贷”， ”借款类型所占比例")

bar. render ()bar. add("" , attr , value , is_ 1abel_ _show=True)

if _ _name__ =="_ main__" :

dr awRRDPie (data)data=getRRDInfo(0, 10)

标签：bar,get,借贷,爬取,keys,amount,可视化,data
来源： https://www.cnblogs.com/laiqunshi/p/12736477.html