有同学在使用spider crawl xxx.jsonlines 的时候出现中文乱码问题,出现这个问题是因为爬虫的编码不一致导致的错误如下:
<ignore_js_op>
而要解决这个问题,就是要规定好爬虫的编码:
在启动爬虫命令后加上 -sFEED_EXPORT_ENCODING=UTF-8
更多技术资讯可关注:gzitcast
标签:编码,jsonlines,xxx,爬虫,spider,乱码,crawl
来源: https://www.cnblogs.com/heimaguangzhou/p/11689922.html