php – 我如何服从robots.txt

我正在创建一个偶尔抓取网站的应用程序,我希望它能够遵守/尊重被抓取网站的robots.txt.我该如何开始呢？有什么想法怎么做？

提前致谢.

解决方法:

This article详细解释了它.

标签：php,robots-txt
来源： https://codeday.me/bug/20190518/1128895.html