由于像谷歌这样的搜索引擎需要解析您的网站以确定要搜索的内容，如果您的网站上有大量数据，那么如果抓取时间很短，这通常会给系统带来很高的负载。
通过在您的public_html文件夹中创建robots.txt文件，您可以指示这些搜寻器放慢速度。
示例robots.txt可能如下所示：
User-agent: *
Crawl-delay: 300
它告诉所有爬虫在每次请求前等待300秒。
没有它，爬行程序可能会每秒发出多个请求，从而增加系统负载。
搜索引擎爬虫正在增加我的系统负载
