编程语言
首页 > 编程语言> > 我在B站上课,某博士教我如何PYTHON爬虫 上课笔记 (1)

我在B站上课,某博士教我如何PYTHON爬虫 上课笔记 (1)

作者:互联网

Python爬虫知识点整理

mongodb数据库 介于关系型数据和非关新型书库

依据关系模型创建的数据库 1-1 1- 对多 多-多

特点 安全 但是不节省空间 仍要分配空间

非关系模型 HBASE 列

文档类模型 MongoDB 缺点转存到磁盘中

键值对

在这里插入图片描述

Win10
www.mongodb.com/try/download/community

下载好mongodb 之后,确定用nvicat链接

在这里插入图片描述

Netstat -an

在这里插入图片描述

出现这个27017的端口 MONGO就安装完了

Requests模块支持的服务

GET:当客户端向 WEB服务器请求一个资源的时候使用

GET
Requests模块支持的http方法

PUT:当客户端向Web服务端URL发送一个替换的文档或者上传一个新文档的时候使用

Response

GET: 当客户端向Web服务器请求一个资源的时候使用
Get方法是最简单最常用的请求方法
他被用来访问静态资源 html文档或图片

HEAD 当客户端向Web服务器请求一个资源的一些信息而不是资源的全部信息的时候使用
主要用于确认URL的有效性以及资源更新的日期时间等

POST 当客户端向服务端发送信息或者数据的时候使用,表单提交
PUT 一般指客户端向Web服务端指定URL发送一个替换的文档或者上传一个新文档的时候使用

DELETE 尝试从WEB服务端删除一个由请求URL唯一识别的文档使用

在这里插入图片描述
在这里插入图片描述

request header请求头 数据

外网IP地址为

117.100.126.51

在这里插入图片描述

通过百度搜索查询到的

这是内网IP 如果是 阿里云服务器 或者腾讯服务器的IP就不再是以192.开头了

在这里插入图片描述在这里插入图片描述在这里插入图片描述

提交密码的时候常见

在这里插入图片描述

以下是求出过程
在这里插入图片描述

通过 JSON求IP地址
在这里插入图片描述

Print(response.status_code) 传回状态码

200 成功 302 跳转 404 错误 500 遇到了一些闻所未闻的状态

请求超时: 设置?

在这里插入图片描述

异常 如果遇到连接问题 会抛出connnection异常
设置代理,隐藏请求

通过get请求访问登录页面还没有填用户名密码

在这里插入图片描述

-t时间戳

代理
找到IP地址的方法 http://pv.sohu.com/cityjson 通过这个URL访问IP地址也可以

在这里插入图片描述

#1 挑选代理厂商 阿布云 知名代理 快代理
把代理信息设置到代码中
Proxy ={
“http”:”http://”

不写了 还有好多才看到第八个视频

/.当前节点 /。。当前副标题
/spon
在这里插入图片描述

标签:Web,上课,请求,PYTHON,URL,文档,教我如何,IP地址,客户端
来源: https://blog.csdn.net/emberblue/article/details/118909778