scrapy添加图片管道

1，首先，开启scrapy自带图片管道，在settings.py文件里加上如下代码：

ITEM_PIPELINES = {
   'zhibo8.pipelines.Zhibo8Pipeline': 300,
   'scrapy.pipelines.images.ImagesPipeline': 301 #开启图片管道

}
#获取当前项目路径
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
#设置图片保存路径
#IMAGES_STORE = '/www/crawl'
IMAGES_STORE = os.path.join(BASE_DIR,'images')
# 图片的下载地址 根据item中的字段来设置哪一个内容需要被下载
IMAGES_URLS_FIELD = 'image_urls'

2，在你的爬虫里添加相应的字段

    #使用ImagesPipliene 下载图片时，需要使用image_urls字段,
    # 一般是可迭代的列表list类型
    imageUrl = response.xpath('//*[@id="signals"]/div[1]/div[1]/img/@src').extract() #此处是你的xpath路径，根据自己情况修改
    imageUrl[0] =  'https:'+imageUrl[0] #给图片地址加上完整链接
    item['imageUrls'] = imageUrl

    item['images'] = [] #下载图片之后，保存到本地的文件位置

3，运行项目
scrapy crawl 爬虫名 -o 文件名.json

4，如如所示：

标签：imageUrl,管道,item,scrapy,添加,path,os,图片
来源： https://www.cnblogs.com/stronger-xsw/p/14151299.html