其他分享
首页 > 其他分享> > 爬虫部署-2,基于Docker的Scrapy+Scrapyd+Scrapydweb部署

爬虫部署-2,基于Docker的Scrapy+Scrapyd+Scrapydweb部署

作者:互联网

####

scrapy对接docker的思路,

###

涉及到四个部分,

Scrapy

Scrapyd

Scrapydweb

Docker

####

首先你思考一下,如果只有Scrapyd怎么docker部署?

1、把Scrapyd独立成为一个项目

1.1 编写Scrapyd的配置文件

新建一个scrapyd.conf文件,填写配置内容,默认使用官网上的就可以。

1.2 新建一个requirements

当前目录下有两个文件,一个是scrapyd的配置文件,另一个是pip下载模块的文件。

1.3 Dockerfile文件

FROM python:3.6
ADD . /code
WORKDIR /code
COPY ./scrapyd.conf /etc/scrapyd/
EXPOSE 6800
RUN pip3 install -r requirements.txt
CMD scrapyd

这个构建成为一个容器

然后启动容器,这个是可以直接访问到的,我们打开 http://localhost:6800 就能看到Scrapyd服务。

######

然后部署scrapydweb

2,把scrapydweb独立成为一个项目,

FROM python:3.6
ADD . /scrapydweb
WORKDIR /scrapydweb
COPY ./ .
EXPOSE 5000
RUN pip3 install -r requirements.txt
CMD scrapydweb

 

###

最后是容器编排的问题

docker-compose.yaml

前面两步只要能运行成功了,这一步就简单了,

####

 

 

 

 

 

 

 

 

 

 

#####

标签:Scrapydweb,scrapydweb,requirements,部署,####,Scrapy,docker,Scrapyd,scrapyd
来源: https://www.cnblogs.com/andy0816/p/15391630.html