Python爬虫-Fiddle
作者:互联网
1 Fiddler抓包
在我看来Fiddler的对于python爬虫的最大意义就是抓包,当然FIddler不止这一个意义,只是我没说,不代表没有。
1.1 fiddler简介
- 位于客户端和服务器之间的HTTP代理
- Fiddler为什么可以作为一个代理,是如何实现的?(这就是Fidder的原理)
- 在浏览器开启代理的前提下,客户端发送的所以请求都会先经过Fiddler,再转发到相应的服务器,同理响应也是相同的道理。而Fiddler就是通过代理的接口捕获相应的请求和响应的
1.2 Fiddler的下载
- 这里就不细说了,网上教程还是比较多,下面配置就从安装好第一次打开开始
1.3 Fiddler页面
要想精通学会Fiddler,就需要在这里面每一个操作都需要了解
1.3.1 主界面介绍(6大块)
- 分别是1. 菜单栏 2. 工具栏 3. 会话区(数据报文、数据包) 4. 功能页签 5. 命令行 6. 状态栏
1.3.2 菜单栏
-
file栏
-
edit栏
-
rules栏
-
tools栏
-
help栏
略
1.3.3 工具栏
1.3.4 数据报文
- 一般只看到URL就行了,后面的都是一般不需要的资源
1.3.5 功能页签
-
在功能页签有4个最主要的功能
- 查看,自动调试,接口请求,过滤器
-
统计
-
查看
-
自动调试
-
接口请求
-
Fiddler脚本
-
过滤器
1.3.6 命令框
- 可以输出一些常用命令
1.3.7 状态栏
1.4 抓包
- 选择过滤器,在第二个下拉框选择
show only the following Hosts
:仅展示主机的包
- 例如:
- 仅展示在这个地址下面的包。用英文分号结束
- 通过快捷键
shift+F5
缓存刷新获得目标页面- 因为浏览器一般默认通过缓存加载页面,不刷新可能得不到目标页面
- 找到目标包
- 找包技巧:一般图片这些就直接跳过,找链接包,再通过包的请求头之类的查找是不是目标包
1.5 抓取HTTPS包(抓手机包)
在Fiddler中,抓取HTTPS包是需要做一点小设置的,通过设置HTTPS顺便讲一点点手机抓包
1.5.1 设置Fiddler
- 在
Tools
里面打开Options
中的HTTPS
Canure HTTPS CONNECTS
:捕获HTTPS链接Decrtypt HTTPS traffic
:解密HTTPS报文
- 再在
Connections
中
Allow remote computers to connect
:允许外部电脑连接到FIddler- 因为我们要连接手机
1.5.2 安装证书生成器
- 官网下载地址:http://www.telerik.com/fiddler
- 作用就是生成证书
1.5.3 更新Fiddler证书
- 然后根据弹窗选择“是的/yes”
1.5.4 安装手机证书
要是不明白可以在网上查找相关文档
-
要求:
- 手机电脑处于同一局域网
-
步骤:
-
手机电脑连上同一局域网
-
打开浏览器下载证书
-
连上同一局域网,在浏览器输入
http://IP地址:Fiddler代理端口/
- 例如:\(http://192.168.10.2:8888/\)
-
注意:
- 加载不进网页的问题:排除输入的问题多半就是Fiddler更新证书后没有重启
-
-
手机设置FIddler代理服务器IP地址
- - 为的是Fiddler能够捕获手机的HTTPS
-
下载完成后,重启FIddler,开始抓包
-
标签:1.5,Fiddler,1.3,Python,证书,爬虫,Fiddle,HTTPS,抓包 来源: https://www.cnblogs.com/handsome-black/p/15611055.html