关于爬虫IP代理服务选择的注意事项

关于IP代理服务的选择，要着重注意一下几个指标：

1.白名单数限制

这个指标决定了可以使用几台机器

2.代理IP的请求频率限制

出于目标网站的反扒策略，某些IP代理服务会对IP的请求频率做限制，比如快代理的私密代理产品对IP的请求频率限制就有如下规则：

(1) 用同一个代理IP对同一个网站的请求建议不要超过1秒1次；
(2) 对同一个代理IP的请求频率不要超过1秒5次；

规则(1)相对好控制，但是规则(2)在通过浏览器请求目标网站时就难以控制了，比如通过“Selenium + Chrome”方式访问目标网站时，打开网站会同时发出很多请求，因为需要加载很多资源。

3.提取代理IP的频率限制

有些代理服务会对提取代理IP的频率做限制，这也会影响到业务。

标签：限制,请求,IP,代理,爬虫,频率,代理服务
来源： https://www.cnblogs.com/nuccch/p/15081165.html