51job招聘爬虫&数据分析

招聘爬虫+数据分析 1.爬虫： 采用Scrapy 分布式爬虫技术，使用mongodb作为数据存储，爬取的网站Demo为51job，数据我目前爬了有几千条
2.数据处理： 采用pandas对爬取的数据进行清晰和处理 2.数据分析：
采用flask后端获取mongodb数据，前端使用bootstrap3.echarts以及D3的词云图

###注意：1. pymongo安装版本 <=3.0 建议 pip install pymongo==2.8### 2.
如果scrapy安装不上，在这上面查找 [ https://www.lfd.uci.edu/~gohlke/pythonlibs/

](https://www.lfd.uci.edu/~gohlke/pythonlibs/) 先安装对应版本 twisted ，再安装scrapy就没问题。
3.mongodb启动，进入安装mongodb的文件夹的bin目录下面，输入 mongod --dbpath= data文件夹路径

关于项目启动

1. 爬虫：

1.cd 目录 2. pip install pymongo==2.8 3. scrapy crawl zlzp

2. 数据可视化

1. 激活虚拟环境 cd venv/Scripts activate
2. python zlzpView.py

项目源码： [ https://github.com/Frank-qlu/recruit ](https://github.com/Frank-
qlu/recruit)

![](https://www.icode9.com/i/ll/?i=2019032617384230.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2MTE0ODYy,size_16,color_FFFFFF,t_70)

![](https://www.icode9.com/i/ll/?i=20190326173928997.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2MTE0ODYy,size_16,color_FFFFFF,t_70)

![](https://www.icode9.com/i/ll/?i=20190326173947707.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2MTE0ODYy,size_16,color_FFFFFF,t_70)

![](https://www.icode9.com/i/ll/?i=20190326174000577.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2MTE0ODYy,size_16,color_FFFFFF,t_70)

![](https://www.icode9.com/i/ll/?i=20190326174013215.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2MTE0ODYy,size_16,color_FFFFFF,t_70)


标签：数据分析,cn,img,text,51job,爬虫,blog,csdnimg,https
来源： https://www.cnblogs.com/gc2770/p/14932133.html