首页 > TAG信息列表 > python-requests

python-使用beautifulsoup4进行抓取时数据丢失

实际上,我是使用Python Beautifulsoup4进行解析的新手.我正在抓取this website.我需要在首页上显示“当前每百万价格”. 我已经花了3个小时了.在互联网上寻找解决方案时.我知道有一个PyQT4库,它可以像Web浏览器一样模拟并加载内容,然后在完成加载后就可以提取所需的数据.但是我坠毁

使用python request.post函数时出现错误的请求错误400

我试图通过Python的请求库发出一个简单的发帖请求,但我的URL正确时,我得到了一个错误的请求错误(400),因为我可以用它来执行获取.我是REST请求的新手,我阅读了许多教程和文档,但我想仍然有一些我不了解的东西,所以我的错误可能是基本的.也许我应该通过POST发送的网址类型缺乏了解.

python-为Kivy-ios编译自定义模块

我终于有了一些想法,如何借助Kivy-ios在Xcode中构建Kivy应用程序.但是Xcode和mac环境对我来说是新的.我的问题是：如何编译我的应用程序所需的其他python模块. “ kivy-ios / tools”中有一个“ build-all.sh”,它可以构建标准的东西,但是如何添加其他模块.特别是,我需要Requests模块

无法使用Python请求会话模块登录网站

我只是从网络抓取开始.对于我的第一个项目,我试图使用request.Session()登录artofproblemsolving.com并访问另一个用户的帐户.这是我的代码： import requests LOGIN_URL = 'https://www.artofproblemsolving.com/Forum/ucp.php?mode=login' DATA_URL = 'https://www.artofproblems

Mavericks上python中的SSL证书验证失败

我陷入了持续的SSL验证问题. SSL：CERTIFICATE_VERIFY_FAILED 我在构建让用户使用Mozilla Persona进行身份验证的Django应用程序时发现了错误. (python3.4)> import requests (python3.4)> requests.get('https://verifier.login.persona.org') 我得到一个SSL：CERTIFICATE_VERIFY_FA

python-使用lxml处理请求中的html. TypeError：无法腌制_ElementUnicodeResult对象

我正在尝试在页面上的特定xpath上找到数据.我可以通过请求到达页面.通过使用r.text将源代码打印到屏幕上,并将显示的文本与我要查找的文本进行比较,我已经验证我处于正确的页面. r.text返回的字符串很难提取我想要的信息.我被告知lxml是通过xpath搜索信息的一种方式.不幸的是,我收

python-ValueError：数据不得为字符串

我正在尝试对请求执行以下操作： data = {'hello', 'goodbye'} json_data = json.dumps(data) headers = { 'Access-Key': self.api_key, 'Access-Signature': signature, 'Access-Nonce': nonce, '

Python从Web爬网URL下载数据文件

我正在尝试开发一个自动化脚本,以将以下数据文件下载到实用程序服务器,然后进行ETL相关处理.寻找pythonic建议.对urllib,urllib2,漂亮的汤,请求,机械化,硒等之间的此类过程的当前最佳选择不熟悉. The Website “完全替代每月NPI文件” The Monthly Data File 文件名(和后续URL)每月

用Python解析HTML-有些页面可以工作,有些不能…？

使用以下脚本： from lxml import html import requests gameUrl = 'http://store.401games.ca/catalog/2415520/caylus' page = requests.get(gameUrl) tree = html.fromstring(page.content) stock = tree.xpath('//*[@id="stock"]/span[1]/div/*/text

Wikidata API wbsearchentities：为什么Python中的结果与Wikidata中的结果不同？

我在python请求中使用wbsearchentities(wikidata api),我想知道为什么返回的结果与Wikidata上看到的结果不同.例如,Python中的以下命令： url = "https://www.wikidata.org/w/api.php?action=wbsearchentities&search=%s&format=json&limit=50&formatversion=2&language=en" % (

我为什么不能在“请求”中循环通过“有效载荷”来迭代我的网页抓取？

摘要：我想遍历请求有效负载,以便可以更改每个刮板的登录ID号. 我正在使用请求&美丽的汤做网刮. 要登录该页面,我需要输入唯一的ID号；我有一个这样的数字列表,称为hit_list. 对于任何给定的ID号,此脚本都可以正常工作.但是我想做的是自动化它,使其贯穿我的整个hit_list 换句话说,我希

python-使用http.client登录网站

我正在尝试使用以下代码在Python中使用http.client登录到网站： import urllib.parse import http.client payload = urllib.parse.urlencode({"username": "USERNAME-HERE", "password": "PASSWORD-HERE",

Python请求,PUT空数据

这个问题已经在这里有了答案：            >            Post JSON using Python Requests                                    6个 我正在尝试使用请求这样放置一些数据, r = requests.put( url, da

python中的request.get提供连接超时错误

语言版本：Python 3.6.3 IDE版本：PyCharm 2017.2.3 我试图解析一个天气网站以打印某个地方的天气.当我学习Python时,以前我使用urllib.request.urlopen(url).read()并成功了.现在,我正在将代码修改为BeautifulSoup4和request模块.下面是我的代码： from bs4 import * import requests u

我如何从instagram标记中查找下一页数据

我可以输入以下网址,通过/请求以下端点来获取所有带有#losangeles标签的IG帖子： https://www.instagram.com/explore/tags/losangeles/?__a=1 在从该URL返回的json数据中,我可以看到page_info属性,并且其中包含has_next_page属性,并且该属性设置为true.我的问题是如何修改上面的UR

如何解决TypeError get()在使用get方法的Python请求中恰好接受2个参数(给定3个)

在Python中使用Request对象时出现错误. 下面是我的代码. class APIDOC(Document): def request_api(self): method_type = self.method_type api = self.api parameters = self.parameters session_object = requests.session() self

爬网：输出与原始数据不同

我正在尝试对一个显示倒数计时器的网站进行网络抓取(目的是最终使一个不和谐的bot在请求时显示计时器剩余的剩余时间).但是,在打印数据时,输出与原始源不同. 环顾四周,我找不到解决问题的方法.我敢肯定我错过了一些东西,但是对于它到底是什么一无所知(我只是作为一个个人项目来做,

使用Flask显示stackOverflow API JSON数据

我一直在尝试从StackOverflow API检索的JSON数据中显示我的用户名和信誉. 我正在使用python模块请求检索数据. 这是代码 from flask import Flask,jsonify import requests import simplejson import json app = Flask(__name__) @app.route("/") def home(): uri = "https

如何通过API创建标题为Imgur的相册？

我可以使用请求和oauth-hook模块很好地创建相册,但是似乎无法使名称生效.在这里查看文档：http://api.imgur.com/resources_auth#account_albums.我正在使用Windows7x64 Python2.7,请求版本0.21.1和oauth-hook版本0.4.0 奇怪的是,在我上载图像时使用相同的方法命名图像,该脚本可以正

python-如何调试请求库？

我正在尝试将python脚本从通过os.system()发出curl命令转换为使用请求.我以为我会用pycurl,但this question还是说服了我.问题是我从服务器返回错误,使用r.text(from this answer)时可以看到,但我需要更多信息.是否有更好的方法调试发生的情况？ 对于值得的事情,我认为这个问题围绕将

使用Requests模块登录网站的Python 3脚本

我正在尝试编写一些Python(3.3.2)代码以使用“请求”模块登录网站.这是登录页面的表单部分： <form method="post" action="https://www.ibvpn.com/billing/dologin.php" name="frmlogin"> <input type="hidden" name="token" value="236647d2da

如何使用python请求模块流传输上载(包括文件和数据)？

我有以下代码python requests代码段(部​​分)将文件和一些数据上传到服务器： files = [("FileData", (upload_me_name, open(upload_me, "rb"), "application/octet-stream"))] r = s.post(url, proxies = proxies, headers = headers, files = files, data = data) 由于这

Python请求将多个值分配给参数中的键

我正在使用python的请求库从API执行“ GET”操作.这是我的代码的一部分： payload = { 'topicIds':'128487', 'topicIds':'128485', 'topicIds': '242793', 'timePeriod':'10d', }

Python请求如何在发布之前调用js函数以计算一些值？

我使用请求(2.2.1)登录URL http://tx3.netease.com/logging.php?action=login,但是此URL的登录逻辑与Django的csrf令牌机制不同,即： >当您获取此URL时,html文本中有两个导入值formhash和sts,这两个导入值都将在js函数do_encrypt中使用(在文件http://tx3.netease.com/forumdata/cache

Python-使用请求发送帖子消息

我使用邮递员向Jetstar网站发送了原始请求,以获取航班详细信息.我想使用python脚本使用请求库执行相同的操作,但是我无法获得正确的响应. 这是我在邮递员中所做的事情： 还有一个我用来发送帖子请求的简单脚本： import requests files = {'file': open('PostContent.txt', 'rb')} if