亿牛云API优质代理使用中出现的问题
作者:互联网
(1) 代理提取失败
停止程序访问,直接使用IE浏览器访问代理API,截图看看错误提示:
如果页面访问失败
注意API链接是否复制正确;爬虫服务器是否有防火墙禁止网络访问;服务器是Linux提取api,是需要转义,&符号前面要加\
页面访问成功,返回错误信息,需要看看错误信息内容
您的IP: 125.69.47.134 没在白名单( 125.69.44.227 222.209.8.0 )中
原因:ip白名单不对,需要添加,注意看看对方服务器IP是不是电信或联通的IP
修改IP白名单太频繁
原因:1、ip白名单不对,需要添加,注意看看对方服务器IP是不是电信或联通的IP,同时注意对方是不是开启了IP自动更新选项,如果对方有多个网络出口,就会导致ip自动更新频繁。
False,没有获取到任何代理,速率超过限制
原因:一条代理API链接只能按照指定时间间隔进行访问,注意程序是不是有多个线程访问或一个服务器下有多个软件运行,超出了代理链接提取速度,请用浏览器访问代理API链接,看看中文提示错误描述。如果服务器每秒请求超过一次,会被判断为DDOS***行为,直接黑名单处理,停止该行为一段时间后会自动恢复访问许可。
(2) 代理提取之后,代理不能访问或访问失败率很高
原因:提取和使用代理IP的机器是不是都绑定了IP白名单,注意看看对方服务器IP是不是电信或联通的IP;
(3) 代理能访问,偶尔出现访问失败或提取失败
原因:注意看看对方服务器IP是不是电信或联通的IP,同时询问对方是不是多个IP白名单的情况下,开启了IP自动更新出现了冲突;对方是否控制了代理IP的使用时间,超出了2-10分钟,导致IP失效。
(4) 代理能访问,出现大量429
原因:要求对方控制每个代理IP的请求数,最好一个代理IP一个线程,避免出现阻塞,同时建议客户增加IP提取量
(5) 代理能访问,出现大量403、504或503
原因:爬虫程序的采集行为被网站标识并拒绝服务,求对方控制每个代理IP的请求数,并且增加IP提取量。
(6) 提取的代理IP都是相同IP
原因:部分地区为保证网络速度、降低网络延迟,提供IP隧道代理,该代理通过固定IP+随机端口,在一个时间点上随机分配一个外网IP(又称:公网IP),因此统计代理IP的重复率是不准确的。
标签:亿牛云,提取,IP,代理,访问,API,白名单,服务器 来源: https://blog.51cto.com/14201222/2362540