爬虫小插曲：关于代理参数-proxies那些事

代理参数-proxies

定义及分类

	【1】定义 : 代替你原来的IP地址去对接网络的IP地址
	
	【2】作用 : 隐藏自身真实IP,避免被封

普通代理

	【1】获取代理IP网站
	   快代理、全网代理、代理精灵、... ...
	
	【2】参数类型
	   proxies = { '协议':'协议://IP:端口号' }
	   proxies = {
	    	'http':'http://IP:端口号',
	    	'https':'https://IP:端口号',
	   }

普通代理 - 示例
使用快代理中的免费IP地址测试是否可用：

	# 使用免费普通代理IP访问测试网站: http://httpbin.org/get
	import requests
	
	url = 'http://httpbin.org/get'
	headers = {'User-Agent':'Mozilla/5.0'}
	# 定义代理,在代理IP网站中查找免费代理IP
	proxies = {
	   'http':'http://182.116.239.37:9999',
	   'https':'https://182.116.239.37:9999'
	}
	html = requests.get(url,proxies=proxies,headers=headers,timeout=5).text
	print(html)

如果我们运行这个代码的话，肯定是会报错的，因为并不是所有的IP地址都是有效的，所以会报错

代理IP池建立
我们使用的是快代理这个网站的IP地址，我们去花钱购买IP地址，然后在去运行测试代码，但是，我就不在这买了，如果有需要的自己去网上看一下快代理IP地址购买及使用，我这里就是测试你购买的IP地址是否可用

"""
建立开放代理的代理ip池
"""
import requests

class ProxyPool:
    def __init__(self):
    	# api_url地址，注意，这个是购买快代理IP地址之后的地址，这个填自己的
        self.api_url = 'http://dev.kdlapi.com/api/getproxy/?orderid=999955248138592&num=20&protocol=2&method=2&an_ha=1&sep=1'
        # 测试IP地址可否用的网站
        self.test_url = 'http://httpbin.org/get'
        # 请求头
        self.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36'}

    def get_proxy(self):
    	# 响应体
        html = requests.get(url=self.api_url, headers=self.headers).text
        # proxy_list: ['1.1.1.1:8888','2.2.2.2:9999,...]
        proxy_list = html.split('\r\n')
        for proxy in proxy_list:
            # 测试proxy是否可用
            self.test_proxy(proxy)

    def test_proxy(self, proxy):
        """测试1个代理ip是否可用"""
        proxies = {
            'http' : 'http://{}'.format(proxy),
            'https': 'https://{}'.format(proxy),
        }
        # 我们用try方法，测试IP地址，如果测试出不可用的话，他不会报错，不会导致下一个能用的也测试不了
        try:
            resp = requests.get(url=self.test_url, proxies=proxies, headers=self.headers, timeout=3)
            if resp.status_code == 200:
            	# \033 这个就是给字体价格颜色
                print(proxy,'\033[31m可用\033[0m')
            else:
                print(proxy,'不可用')
        except Exception as e:
            print(proxy, '不可用')

    def run(self):
        self.get_proxy()

if __name__ == '__main__':
    spider = ProxyPool()
    spider.run()

私密代理+独享代理

【1】语法结构
   proxies = { '协议':'协议://用户名:密码@IP:端口号' }

【2】示例
   proxies = {
	  'http':'http://用户名:密码@IP:端口号',
      'https':'https://用户名:密码@IP:端口号',
   }

私密代理+独享代理 - 示例代码

	import requests
	url = 'http://httpbin.org/get'
	proxies = {
	    'http': 'http://309435365:szayclhp@106.75.71.140:16816',
	    'https':'https://309435365:szayclhp@106.75.71.140:16816',
	}
	headers = {
	    'User-Agent' : 'Mozilla/5.0',
	}
	
	html = requests.get(url,proxies=proxies,headers=headers,timeout=5).text
	print(html)

标签：http,插曲,IP,self,代理,爬虫,proxy,proxies
来源： https://blog.csdn.net/Yxh666/article/details/111504184