需要JavaScript支持的页面上的cURL请求
作者：互联网
我需要获取pinnaclesports.com的HTML源.问题是它检测是否启用了cookie和JS,如果未启用,则仅返回一些页面
This site requires JavaScript and Cookies to be enabled. Please change your browser settings or upgrade your browser.
使用cURL时,有什么方法可以欺骗JS支持？
编辑：我可以使用无头浏览器,该浏览器既可以作为Perl / Ruby模块运行,也可以用PHP编写
解决方法:
我知道了
如果您使无cookie的请求返回一个页面,则该页面将使用javascript设置cookie,而您正在使用curl来获取该cookie.
像这样再打个电话
curl https://www.pinnaclesports.com/ --cookie "YPF8827340282Jdskjhfiw_928937459182JAX666=122.167.231.139"
即您必须打两次电话
1)减少cookie调用,读取并使用正则表达式查找cookiename.
2)在设置好cokie名称后发出第二个请求.
那将解决您的问题.
要么
只需使用YQL
select * from html where url="https://www.pinnaclesports.com/"
将您的卷发指向here
标签：spoofing,cookies,curl,web-scraping,javascript 来源： https://codeday.me/bug/20191127/2076067.html