首页 > TAG信息列表 > Http

掌握 HTTP:使用 Requests 库进行 Web 抓取的 Python 之旅

介绍 HTTP,即超文本传输​​协议,是万维网上通信的支柱。它控制数据在 Web服务器和客户端之间的传输方式,促进信息的无缝交换。在我们日益数据驱动的世界中,网络抓取已成为一种从网站中提取有价值见解的强大技术。这就是Python 的 Requests 库发挥作用的地方 - 它就像一个值得信赖的助

使用Power Automate Cloud抓取网页

Web抓取一直是Power Automate Desktop功能,但您知道您也可以使用Power Automate Cloud吗?让我举出几个重要的注意事项:云方法并不适用于所有网站,它仅适用于静态或php生成的html文件。客户端上渲染的任何内容都不起作用,因此您需要无头浏览器或完整浏览器(这就是Power Automate Desktop发

REST API概述与设计规范

一、REST API REST、RESTful、REST API API: 是应用程序编程接口,是预先定义好的函数,可以供应用程序或开发人员访问调用 REST(Representational State Transfer,表述化状态转移):指的是一组架构约束条件和原则。 RESTful:满足REST约束条件和原则的设计规范或者架构风格 REST API:是北向接

HTTP 与 HTTPS

HTTP 与 HTTPS 有哪些区别? 1. HTTP 是超文本传输协议,信息是明文传输,存在安全风险的问题。HTTPS 则解决 HTTP 不安全的缺陷,在 TCP 和 HTTP 网络层之间加入了 SSL/TLS 安全协议,使得报文能够加密传输。2. HTTP 连接建立相对简单, TCP 三次握手之后便可进行 HTTP 的报文传输。而 HTTPS

http-server基本使用

1.什么是http-server http-server是一个简单的零配置的命令行http服务器(基于nodejs),它足够强大便于生产和使用,用于本地测试和开发。 一般我们打开一个网页都是通过files协议本地打开的方式,当前端项目打包之后想在本地查看发布效果的时候,这时需要在本地开启一个服务,此时http-server

如何分发大文件、大文件传输解决方案-vue

​ 一、概述   所谓断点续传,其实只是指下载,也就是要从文件已经下载的地方开始继续下载。在以前版本的HTTP协议是不支持断点的,HTTP/1.1开始就支持了。一般断点下载时才用到Range和Content-Range实体头。HTTP协议本身不支持断点上传,需要自己实现。   二、Range    用于请求头中,

什么是跨域?跨域解决方法

一、什么是跨域 CORS全称Cross-Origin Resource Sharing,意为跨域资源共享。当一个资源去访问另一个不同域名或者同域名不同端口的资源时,就会发出跨域请求。如果此时另一个资源不允许其进行跨域资源访问,那么访问就会遇到跨域问题。 跨域指的是浏览器不能执行其它网站的脚本。是由浏

VBA访问网络

Private Sub CommandButton1_Click() uploadData1 ("http://192.168.1.77:66/api/mes/TVbox?a=" + TextBox1.Text + "&b=" + TextBox2.Text + "&c=" + TextBox3.Text + "&d=" + TextBox4.Text + "&el=Excel

使用 node.js 搭建一个 本地 https 服务

使用 git客户端msysgit , 其中已包含了 openssl 程序   # 生成私钥 key 文件 openssl genrsa -out privatekey.pem 1024   # 通过私钥生成CSR证书签名openssl req -new -key privatekey.pem -out certrequest.csr   # 通过私钥和证书签名生成证书文件openssl x509 -req -in ce

http 请求 完整链路, web请求

写在前面 作为程序员的我们每天都在和网络请求打交道,而前端程序员接触的最多的就是HTTP请求。平时工作中,处理网络请求之类的操作是最多的了。但是一个请求从客户端发出到被服务端处理、再回送响应,再被客户端接收这一个闭环的底层细节可能并没有深究过,本篇文章是我的一篇读书笔记,总

常见类库和工具

主要参考 https://studygolang.com/articles/35293 还有 http://github.com/fatih/structs struct结构解析 http://github.com/mitchellh/mapstructure struct与map的互相转换 http://github.com/stretchr/stew 一些方便的map,string 操作包 http://github.com/imdario/mergo struc

羊了个羊使用 HTTP Debugger 修改回复规则通关

原因有: Android 7 以上版本APP默认不信任用户证书,只信任系统证书,修改需要手机root。 新版PC端微信更新了小程序的架构,Fiddler全局抓包抓不到了。 HTTP Debugger能抓到PC小程序的请求,所以可以使用HTTP Debugger自动回复规则来修改。步骤:打开HTTP Debugger后,PC微信启动羊了个羊小

XDomainRequest

ie8 、ie9跨域使用XDomainRequest XDomainRequest 是在 Internet Explorer 8 和 9 中,使用 HTTP 访问控制(CORS)的实现。它在 Internet Explorer 10 中已被删除,应改为使用 XMLHttpRequest 以及配置相应的 CORS;如果您的目标是 Internet Explorer 10 或更高版本,或者希望支持任何其他浏

Let's Go系列--实战Cookie与Session

在Gin中使用Cookie 下面代码是如何使用Cookie的样例,包括创建Cookie、获取Cookie和删除Cookie。 package main import ( "fmt" "net/http" "github.com/gin-gonic/gin" ) func main() { router := gin.Default() router.GET("/set-cookie", func(ctx *g

gRPC与REST对比

gRPC类型 ​ gRPC有四种类型: 1. UNARY: 单一的请求响应; 2. CLIENT STREAMING: 客户端流式发送,服务端单一响应; 3. SERVER STREAMING: 客户端单一请求,服务端流式响应; 4. BIDIRECTIONAL STREAMING: 双工流式请求响应 gRPC VS REST gRPC REST HTTP/2 most used HTTP/1.1 Protoc

spring cloud gateway 访问方式

1、通过网关路由配置来访问服务 http://网关地址:端口/路由断言Path/具体服务的url 1 spring: 2 cloud: 3 gateway: 4 discovery: 5 locator: 6 enabled: true 7 lower-case-service-id: true 8 routes: 9 - id:

XML文档里面的标签属性

什么是XML? XML曾一度是互联网上存储和传输结构化数据的标准。 ——《Javascript高级程序设计》 XML 被设计用来传输和存储数据,不用于表现和展示数据,HTML 则用来表现数据。 ——《XML教程 | 菜鸟教程》 可扩展标记语言(英语:Extensible Markup Language,简称:XML)是一种标记语言,是从标

Android——使用http访问网络——使用HttpURLConnection

1. 在过去,Android上发送HTTP请求有一般两种方式:HttpURLConnection和HttpClient。不过在安卓6.0系统以后,HttpClient的功能已经被完全移除了。 所以本次只学习HttpURLConnection的用法。 ①:获得HttpURLConnection的实例  URL url = new URL("https://www.baidu.com");HttpURLConnec

RESTful风格

Restful就是一个资源定位、资源操作的风格。不是标准也不是协议,只是一种风格。基于这个风格设计的软件可以更简洁,更有层次,更易于实现缓存等机制。 资源:互联网所有的事物都可以被抽象为资源资源操作:分为POST、DELETE、PUT、GET四种方法,使用不同方法对资源进行操作(增、删、改、查  

cometd源码阅读-长轮询处理消息过程(八)

我们的配置 这个servlet除了完成我们comted的初始化,还是会处理处理长轮询请求 <!-- CometD Servlet --> <servlet> <servlet-name>cometd</servlet-name> <servlet-class>org.cometd.annotation.server.AnnotationCometDServlet</servlet-class> <!

Gin实践 连载九 优化配置结构及实现图片上传

优化配置结构及实现图片上传 一天,产品经理突然跟你说文章列表,没有封面图,不够美观,!)&¥!&)#&¥!加一个吧,几分钟的事 你打开你的程序,分析了一波写了个清单: 优化配置结构(因为配置项越来越多) 抽离 原 logging 的 File 便于公用(logging、upload 各保有一份并不合适) 实现上传图片接口(需限制文件

HTTP Error 503.2 - Service Unavailable 正在超过 serverRuntime@appConcurrentRequestLimit 设置的值。

服务器IIS基本都用的默认设置,为了避免下次再次出现此类错误,找了相关配置,提高IIS并发数量设置 1. 修改IIS应用程序池队列长度 高级设置里,队列长度修改为 65535 2. 修改IIS的 appConcurrentRequestLimit 设置  默认值是5000,修改为50000(或者更大的值) c:\windows\system32\inet

Linux下的nginx配置ssl证书实现http跳转https

操作场景说明: 证书名称以cloud.tencent.com为例子。 Nginx 版本以 nginx/1.14.0 为例。 当前服务器的操作系统为 CentOS 7.6,由于操作系统的版本不同,详细操作步骤略有区别。 安装 SSL 证书前,请您在服务器上开启 “443” 端口,避免证书安装后无法启用 HTTPS。 如果是腾讯云服

SharePoint 2019 用 PowerShell将启用发布功能站点网站集另存为模板

在SharePoint里开启Publish功能后,网站设置里的另存为模板选项就没了。记得之前可以自己拼url来实现,但是在SharePoint 2019却不可以。 解决办法: 首先 #查看 $web = Get-SPWeb http://xxxx/abc$web.AllProperties["SaveSiteAsTemplateEnabled"]$web.Dispose() 如果返回false,则不允许

Selenium - 基础知识介绍

Selenium - 基础知识介绍 介绍 Selenium是ThoughtWorks员工在业余时间开发并维护的开源项目,并且在ThoughtWorks的项 目中被广泛应用。 简单地说,Selenium是一个自动化的web应用功能测试工具。 Selenium是目前最流程的一种自动化测试框架,它有如下特征: 开源: 跨平台:支持Linux、