首页 > TAG信息列表 > 537.36

requests 爬虫基础

import requests #导入 requests 包 先看请求的方法是什么，比如 get，proct然后有些内容是通过异步加载的，所有我们要找到异步加载的文件 ，异步加载：执行过程同时加载查找的方法是 ，检查，找到网络 ，点XHR 就可以看到异步数据，，请求标头有 X-Requested-With: XMLHttpRequest，要用post的里面的

爬虫网易课堂

import requests herd={ 'accept': 'application/json', 'accept-encoding': 'gzip, deflate, br', 'User-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)

Nginx配置-日志格式配置

配置通过Nginx进行访问入口，默认的日志是没有请求时间的，因此需要配置一下，将每一次的请求的访问响应时间记录出来，备查与优化使用. 一、默认的日志格式默认的日志格式如下(默认是注解掉的，系统也自动会使用)： #log_format main '$remote_addr - $remote_user [$time_local] "$request"

apache访客日志的各个字段含义

示例： 192.168.169.1 - - [07/Jun/2022:11:42:40 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36" log_format access # 定

windows10下的浏览器userAgent

windows10 下各浏览器userAgent版本号自行理解 8 -。- 浏览器 userAgentChrome Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36360极速 兼容模式 Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C;

博客园做Typora的图床

新建一个py文件 import requests from sys import argv uploadUrl = 'https://upload.cnblogs.com/imageuploader/processupload?host=www.cnblogs.com' headers = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36

python爬取ajax

import requests url = 'https://api.bilibili.com/x/v2/reply/main?csrf=056718067a9e03b351569ee0294e4a1e&mode=3&next=2&oid=813963991&plat=1&type=1' header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win6

Apache Unomi 远程表达式代码执行漏洞（CVE-2020-13942）

Apache Unomi 是一个基于标准的客户数据平台（CDP，Customer Data Platform），用于管理在线客户和访客等信息，以提供符合访客隐私规则的个性化体验。在Apache Unomi 1.5.1级以前版本中，存在一处表达式注入漏洞，远程攻击者通过MVEL和OGNL表达式即可在目标服务器上执行任意命令。 参考链接： ht

爬虫--requests模块

requests模块的get操作 1.导包    import requests 2.get操作的三个参数       requests.get(url,params,headers) url params :get请求携带的参数 heraders:UA伪装 url = 'https://www.sogou.com/web' param = { 'query':'RMB' } headers = { 'User-A

CVE-2022-22947(Spring Cloud Gateway)远程代码执行漏洞复现

一、漏洞概述 2022年3月1日，VMware官方发布漏洞报告，在使用Spring Colud Gateway的应用程序开启、暴露Gateway Actuator端点时，会容易造成代码注入攻击，攻击者可以制造恶意请求，在远程主机进行任意远程执行。   二、影响版本 Spring Cloud Gateway 3.1.x < 3.1.1Spring Cloud Gateway

Fetch API 获取 response cookie、模拟登录获取 cookie

在尝试 Fetch API 模拟登录时，碰到一个很纳闷的事。就是明明浏览器的 Response Headers 中可以看到 set-cookie 字段。但却无法获取。     尽管我最终运行环境是在 Nodejs 下使用 node-fetch 运行的。但为了调试方便，我还是习惯先在浏览器控制台中使用 fetch 调试一下。 这就是

spring_cloud_rce(CVE-2022-22947)漏洞复现

漏洞简介 Spring Cloud Gateway 提供了一个库，用于在 Spring WebFlux 之上构建 API 网关。 在 3.1.0 和 3.0.6 之前的版本中使用 Spring Cloud Gateway 的应用程序在启用、暴露和不安全的 Gateway Actuator 端点时容易受到代码注入攻击。远程攻击者可以发出恶意制作的请求，允许

JavaScript【操作BOM对象（重点）】

操作BOM对象（重点） 浏览器介绍 javascript诞生就是为了能够让他在浏览器中运行 BOM：浏览器对象模型 三方 window window代表浏览器窗口 Navigator Navigator 封装了浏览器的信息 navigator.appName 'Netscape' navigator.appVersion '5.0 (Windows NT 10.0; Win64; x64) AppleWe

MeterSphere PluginController Pre-auth RCE

　　原文：https://xz.aliyun.com/t/10772 　　稍微了解了下，https://metersphere.io/ 　　官网：MeterSphere 是一站式开源持续测试平台, 涵盖测试跟踪、接口测试、性能测试、 团队协作等功能，全面兼容 JMeter、Postman、Swagger 等开源、主流标准，有效助力开发和测试团队充分利用云弹性

HTTTP协议

  request与response 1.request:它有三部分： request: line request: headers request: body   Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9 Accept-Encoding: gzip, deflate, b

操作BOM对象

浏览器介绍 JavaScript和浏览器关系? JavaScript 诞生就是为了能够让他在浏览器中运行! BOM:浏览器对象模型 IE 6~11 Chrome Safari FireFox 三方 QQ浏览器 360浏览器 window window代表浏览器窗口 window.alert(1) undefined window.innerHeight 150 window.innerWidth 1

【爬虫实践】获取某城市天气数据

功能需求 获取山东济南城市每天的天气情况。 需要获取四个数据：天气、温度、风向、风级。 url地址：http://www.weather.com.cn/weather/101120101.shtml 思路分析 该界面通过get请求，得到html数据，包含七天图示数据，故可用bs4对页面进行解析 功能一：获取今日天气 import os import

记录一个Python爬虫实践

import requests import os from bs4 import BeautifulSoup # 保存图片 def downloadImg(image_src): tempfileName=os.path.basename(image_src) with open (f"爬虫图片/{tempfileName}","wb") as fout: fout.write(requests.get(i

爬虫被目标网站拒绝？来看看scrapy的请求头设置！

　　内容简介 　　使用scrapy写爬虫的时候，会莫名其妙的被目标网站拒绝，很大部分是浏览器请求头的原因。 　　现在一起来看看scrapy的请求头，并探究设置方式 　　工具准备开发环境python2.7 + scrapy 1.1.2测试请求头网站：httpbin/get?show_env=1json在线解析：json/浏览器请求头大全： us

JavaScript-BOM对象

Browser Object Model 浏览器对象模型 7.1、window 代表浏览器窗口  window.alert(1)  undefined  window.innerHeight  760  window.innerWidth  743  window.outerHeight  864  window.outerWidth  1536  //获取浏览器的宽度和高度，根据调整随时发生改变 7.2、Navig

javascript操作BOM对象

浏览器介绍 IE、Chrome、Safari、FireFox、Opera（内核） window对象（代表浏览器窗口） window.alert(1) window.innerHeight //内部高度 150 window.innerWidth //内部宽度 1366 window.outerHeight //外部高度 728 window.outerWidth //外部宽度 1366 Navigator对象 Navigator封装了

使用request爬取豆瓣

import requestsurl='https://movie.douban.com/j/search_subjects?'param={ "type": "movie", "tag": "热门", "page_limit": 50, "page_start": 0}headers={"User-Agent": &qu

爬取Macy网用户评价日志（1）： 爬取首页分类目录

1. Macy网域名：https://www.macys.com/。 经过selenium测试，Macy网对selenium作了反爬，selenium只能打开一级页面，如果继续进行下一级操作，则该网站拒绝进入下一级url。 2. 根据分析，首先要爬取第一页的分类：   3. 将爬取到的首页分类url存放到rank_1_url表中。     初次建立数据库各

【小工具的制作】制作一个用于联网的自动登录小工具

目录 1.前言2. 分析2. 编码2.1 Python版2.1.1 编写Python脚本2.1.2 下载Python转EXE程序工具2.1.3 打包成EXE程序 2.2 Java版2.2.1 编写代码 3. 最后一步 1.前言   由于学校机房联网时，总是需要登录个人账号。为实现快速登录，我们就此问题给出了自己的解决方案。 2. 分

使用代码获得知乎文章的标题和 url

我有个需求：将我知乎主页下全部 2514 篇文章的名称和链接使用代码解析出来。 https://www.zhihu.com/people/jerrywang_sap/posts 使用 postman 测试，发现不需要任何 Authentication，就可以直接返回该网页的 HTML 源代码： 这个 class type 为 ContentItem 和 ArticleItem 的 di