javascript – Robots.txt否认,#！网址

我正在尝试向robots.txt文件添加拒绝规则,以拒绝访问单个页面.

网站网址的工作方式如下：

> http://example.com/#!/homepage
> http://example.com/#!/about-us
> http://example.com/#!/super-secret

然后,Javascript根据URL交换显示的DIV.

我如何请求搜索引擎蜘蛛不列出以下内容：

> http://example.com/#!/super-secret
> http://example.com/index.php#!/super-secret

提前致谢

解决方法:

你实际上可以通过多种方式实现这一目标,但这里有两个最简单的方法.

您必须排除Googlebot要获取的网址,这不是AJAX hashbang值,而是转换后的网址？_escaped_fragment_ = key = value

在robots.txt文件中指定：

Disallow: /?_escaped_fragment_=/super-secret
Disallow: /index.php?_escaped_fragment_=/super-secret

如有疑问,您应始终使用Google网站管理员工具»“Fetch As Googlebot”.

如果该网页已被Googlebot编入索引,则使用robots.txt文件不会将其从索引中删除.您应用robots.txt后必须使用Google网站站长工具网址删除工具,或者您可以通过< meta>添加noindex command to the page.标头或HTTP标头中的X-Robots-Tag.

它看起来像：

<meta name="ROBOTS" content="NOINDEX, NOFOLLOW" />

要么

X-Robots-Tag: noindex

标签：robots-txt,javascript
来源： https://codeday.me/bug/20191002/1843671.html