php – Robots.txt和Google日历

我正在寻找最好的解决方案,我可以确保我正确地做到这一点：

我的网站上有一个日历,用户可以在其中使用日历iCal Feed并将其导入到他们偏好的外部日历中(Outlook,iCal,Google Calendar等).

为了阻止坏人抓取/搜索我的网站上的* .ics文件,我设置了Robots.txt以禁止存储订阅源的文件夹.

因此,基本上,iCal Feed可能如下所示：webcal：//www.mysite.com/feeds/cal/a9d90309dafda390d09/feed.ics

据我所知,上面仍然是一个公共URL.但是,我有一个功能,用户可以根据需要更改其Feed的地址.

我的问题是：除Google日历外,所有外部日历都无法导入/订阅日历Feed.它会抛出消息：由于robots.txt限制,Google无法抓取该网址. Google’s Answer to This.

因此,搜索后,我发现以下工作：

1)设置一个PHP文件(我正在使用),它本质上强制下载文件.它基本上看起来像这样：

<?php
$url = "/home/path/to/local/feed/".$_GET['url'];
 $file = fopen ($url, "r");
 if (!$file) {
    echo "<p>Unable to open remote file.\n";
    exit;
  }
 while (!feof ($file)) {
  $line = fgets ($file, 1024);
 print $line;
}
fclose($file);
?>

我尝试使用此脚本,它似乎与Google日历一起使用,没有任何问题. (虽然,我不确定它是否更新/刷新.我还在等着看它是否有效).

我的问题是：有没有更好的方法来解决这个问题？我想保留当前的Robots.txt以禁止抓取我的目录以获取* .ics文件并保持文件隐藏.

解决方法:

在我看来你有两个问题：

>防止坏行为机器人
访问该网站.
>之后
安装robots.txt,允许
Googlebot访问您的网站.

robots.txt无法解决第一个问题.正如Marc B在评论中指出的那样,robots.txt是一种纯粹的自愿机制.为了一次性阻止坏机器人,我建议你使用某种行为分析程序/防火墙来检测坏机器人并拒绝来自这些IP的访问.

对于第二个问题,robots.txt允许您将特定机器人列入白名单.以http://facebook.com/robots.txt为例.注意到谷歌以不同的名称识别他们的机器人(用于广告,搜索,图像搜索,移动搜索),如果谷歌日历机器人使用通用的谷歌机器人名称,我不是.

标签：robots-txt,php,google-calendar-api,icalendar
来源： https://codeday.me/bug/20190827/1737773.html