搜索引擎爬虫正在增加我的系统负载

由于像谷歌这样的搜索引擎需要解析您的网站以确定要搜索的内容，如果您的网站上有大量数据，那么如果抓取时间很短，这通常会给系统带来很高的负载。

 

通过在您的public_html文件夹中创建robots.txt文件，您可以指示这些搜寻器放慢速度。

 

示例robots.txt可能如下所示：

它告诉所有爬虫在每次请求前等待300秒。

没有它，爬行程序可能会每秒发出多个请求，从而增加系统负载。