php – 如何没有索引特定的URL？
作者：互联网
我正在搜索如何没有索引特定的URL,但我没有找到有关以下内容的任何具体信息.
通过添加以下内容
<?php if(is_single(X)): ?>
<meta name="robots" content="noindex,nofollow">
<?php endif; ?>
我将无法索引(X),其中X可以是帖子ID,例如“Hello World”的帖子标题,或者“hello-world”的帖子.
如果可以指定所有以相同的帖子slug或title开头的URL,例如,如下例所示？
www.test.com/REF-123-mytest.html
www.test.com/REF-123-yourtest.html
www.test.com/REF-123-histest.html
我可以省略所有以REF-123开头的网址吗？
解决方法:
通过使用robots.txt,您可以禁止抓取.
通过使用元机器人(或HTTP标头X-Robots-Tag),您可以禁止索引.
如果您打算禁止索引,you shouldn’t会禁止robots.txt中的网址,否则机器人将永远不会知道您不希望将这些网址编入索引.
如果您想禁止抓取,可以使用此robots.txt：
User-agent: *
Disallow: /REF-123
这适用于路径以REF-123开头的所有URL(区分大小写！).
如果您想禁止索引,可以向所有这些页面添加此元素
<meta name="robots" content="noindex">
或发送相应的HTTP标头X-Robots-Tag：
X-Robots-Tag: noindex
标签：robots-txt,php,noindex 来源： https://codeday.me/bug/20190929/1833179.html