javascript-阻止来自我的网站的cURL请求
作者：互联网
我有一个包含大量产品和价格数据库的网站.
我一直在不断要求价格.
我曾想通过< noscript>来防止它标记,但是我能做的就是隐藏内容,机器人仍然可以抓取我的内容.
有没有一种运行JS测试的方法,以查看是否禁用了JS(以检测机器人)并重定向这些请求(可能在黑名单中).
这样做会阻止google访问我的网站吗？
解决方法:
由于CURL只是一个html请求,因此您的服务器无法区分,除非您限制某些URL的访问或检查引荐来源URL并为未在本地引用的任何内容实现过滤器.可以在此处找到有关如何建立支票的示例：
标签：curl,screen-scraping,javascript,php 来源： https://codeday.me/bug/20191121/2053340.html