为什么服务器日志对SEO很重要

服务器日志分析可以为抓取优先级提供无与伦比的洞察力，使 SEO 团队能够微调他们的抓取预算管理以获得更好的排名。大多数网站运营商都没有意识到网络服务器日志的重要性。他们不记录，更不用说分析他们网站的服务器日志了。尤其是大品牌，无法利用服务器日志分析，并且无法挽回地丢失未记录的服务器日志数据。

选择将服务器日志分析作为其正在进行的 SEO 工作的一部分的组织通常在 Google 搜索中表现出色。如果您的网站包含 100,000 个或更多页面，并且您希望了解服务器日志如何以及为什么会带来巨大的增长机会，请继续阅读。

为什么服务器日志很重要

每次机器人请求托管在 Web 服务器上的 URL 时，都会自动创建一个日志记录条目，以反映该过程中交换的信息。当覆盖一段较长的时间时，服务器日志成为接收请求和返回响应历史的代表。

服务器日志文件中保留的信息通常包括客户端 IP 地址、请求日期和时间、请求的页面 URL、HTTP 响应代码、服务的字节量以及用户代理和引用者。

虽然在每次请求网页时都会创建服务器日志，包括用户浏览器请求，但搜索引擎优化只关注机器人服务器日志数据的使用。这与涉及GDPR / CCPA / DSGVO等数据保护框架的法律考虑有关。由于 SEO 从未包含任何用户数据，原始、匿名的 Web 服务器日志分析仍然不受其他可能适用的法律法规的限制。

值得一提的是，在某种程度上，基于Google Search Console Crawl stats的类似见解是可能的。然而，这些样本在数量和覆盖时间跨度上是有限的。与仅反映最近几个月数据的 Google Search Console 不同，它是专门的服务器日志文件，提供清晰、全面的长期 SEO 趋势图。

服务器日志中的宝贵数据

每次机器人请求服务器上托管的页面时，都会创建一个日志实例，记录许多数据点，包括：

• 请求客户端的 IP 地址。
• 请求的确切时间，通常基于服务器的内部时钟。
• 请求的 URL。
• HTTP 用于请求。
• 返回的响应状态码（例如，200、301、404、500 或其他）。
• 来自请求实体的用户代理字符串（例如，搜索引擎机器人名称，如Googlebot/2.??1）。

典型的服务器日志记录示例可能如下所示：150.174.193.196 - - [15/Dec/2021:11:25:14 +0100] "GET /index.html HTTP/1.0" 200 1050 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)" "www.example.ai"

在这个例子中：

• 150.174.193.196是请求实体的 IP。
• [15/Dec/2021:11:25:14 +0100]是时区以及请求的时间。
• "GET /index.html HTTP/1.0"是使用的 HTTP 方法 (GET)、请求的文件 (index.html) 和使用的 HTTP 协议版本。
• 200是返回的服务器 HTTP 状态码响应。
• 1050是服务器响应的字节大小。
• "Googlebot/2.1 (+http://www.google.com/bot.html)"是请求实体的用户代理。
• "www.example.ai"是引用 URL。

如何使用服务器日志

从 SEO 的角度来看，Web 服务器日志提供无与伦比的洞察力的主要原因有以下三个：

协助从来自合法机器人（如 Googlebot、Bingbot 或 YandexBot）的理想搜索引擎机器人流量中过滤掉对 SEO 没有意义的不受欢迎的机器人流量。
提供有关抓取优先级的 SEO 见解，从而使 SEO 团队有机会主动调整和微调他们的抓取预算管理。
允许监视并提供发送到搜索引擎的服务器响应的跟踪记录。

虚假的搜索引擎机器人可能会令人讨厌，但它们很少影响网站。有许多专业的服务提供商，如 Cloudflare 和 AWS Shield，可以帮助管理不良机器人流量。在分析 Web 服务器日志的过程中，假搜索引擎机器人往往扮演次要角色。

为了准确衡量网站的哪些部分在主要搜索引擎之外被优先考虑，在执行日志分析时必须过滤机器人流量。根据目标市场，重点可以放在搜索引擎机器人上，例如 Google、Apple、Bing、Yandex 或其他。

特别是对于内容新鲜度是关键的网站，这些网站被重新抓取的频率会严重影响它们对用户的有用性。换句话说，如果内容变化没有足够迅速地被采纳，用户体验信号和自然搜索排名就不太可能充分发挥其潜力。

虽然 Google 倾向于抓取所有可用信息并定期重新抓取已知的 URL 模式，但其抓取资源并非无限。这就是为什么对于包含数十万个着陆页的大型网站，重新抓取周期取决于 Google 的抓取优先级分配算法。

这种分配可以通过可靠的正常运行时间、高度响应的 Web 服务得到积极的刺激，并专门针对快速体验进行了优化。仅这些步骤就有利于SEO。但是，只有通过分析涵盖较长时间的完整服务器日志，才有可能确定所有可抓取登录页面的总量之间的重叠程度，通常较少的相关、优化和可索引 SEO 登录页面在站点地图以及 Google 经常优先考虑的抓取、索引和排名。

这样的日志分析是技术 SEO 审计不可或缺的一部分，也是揭示抓取预算浪费程度的唯一方法。无论是可爬网过滤、占位符还是精简内容页面、开放的登台服务器或网站的其他过时部分，都会继续损害爬网并最终影响排名。在某些情况下，例如有计划的迁移，尤其是通过 SEO 审计（包括服务器日志分析）获得的洞察力，通常会决定迁移的成功与否。

此外，日志分析为大型网站提供了关键的 SEO 见解。它可以提供Google 需要多长时间重新抓取整个网站的答案。如果该答案恰好是决定性的长 - 几个月或更长时间 - 可能需要采取行动以确保可索引的 SEO 登录页面被抓取。否则，网站的任何 SEO 改进很有可能会在发布后的几个月内被搜索引擎忽视，这反过来又会导致排名不佳。

服务器响应对于提高 Google 搜索的可见性至关重要。虽然 Google Search Console 确实提供了对最近服务器响应的重要一瞥，但 Google Search Console 提供给网站运营商的任何数据都必须被视为具有代表性但有限的样本。虽然这对于识别严重问题很有用，但通过服务器日志分析，可以分析和识别所有 HTTP 响应，包括任何可能危及排名的定量相关的非 200 OK 响应。如果它们过多，可能的替代响应可以指示性能问题（例如，503 Service Unavailable 计划停机时间）。

从哪里开始

尽管服务器日志分析具有潜力，但大多数网站运营商并没有利用所提供的机会。服务器日志要么根本没有记录，要么经常被覆盖或不完整。绝大多数网站不会在任何有意义的时间段内保留服务器日志数据。对于任何愿意（与竞争对手不同）收集和利用服务器日志文件进行搜索引擎优化的运营商来说，这都是个好消息。

在计划服务器日志数据收集时，值得注意的是，服务器日志文件中至少必须保留哪些数据字段才能使数据可用。以下列表可被视为指南：

• 请求实体的远程 IP 地址。
• 请求实体的用户代理字符串。
• 请求方案（例如，是对 http 或 https 或 wss 或其他东西的 HTTP 请求）。
• 请求主机名（例如，HTTP 请求是针对哪个子域或域）。
• 请求路径，通常这是服务器上的文件路径作为相对 URL。
• 请求参数，可以是请求路径的一部分。
• 请求时间，包括日期、时间和时区。
• 请求方法。
• 响应http状态码。
• 响应时间。

如果请求路径是相对 URL，服务器日志文件中经常忽略的字段是请求的主机名和方案的记录。这就是为什么请务必与您的 IT 部门核实请求路径是否是相对 URL，以便主机名和方案也记录在服务器日志文件中。一个简单的解决方法是将整个请求 URL 记录为一个字段，其中包括一个字符串中的方案、主机名、路径和参数。

收集服务器日志文件时，包括源自 CDN 和网站可能使用的其他第三方服务的日志也很重要。请咨询这些第三方服务，了解如何定期提取和保存日志文件。

克服服务器日志分析的障碍

通常，为了应对保留服务器日志数据的迫切需求，提出了两个主要障碍：成本和法律问题。虽然这两个因素最终都取决于个人情况，例如预算和法律管辖权，但都不必构成严重的障碍。

云存储可以是一个长期的选择，物理硬件存储也可能会限制成本。大约 20 TB 硬盘的零售价低于 600 美元，硬件成本可以忽略不计。鉴于存储硬件的价格多年来一直在下降，最终存储成本不太可能对服务器日志记录构成严重挑战。

此外，还会产生与日志分析软件或提供服务的 SEO 审计提供商相关的成本。虽然这些成本必须计入预算，但鉴于服务器日志分析提供的优势，再次证明其合理性是很容易的。

虽然本文旨在概述服务器日志分析对 SEO 的内在好处，但不应将其视为法律建议。此类法律建议只能由符合法律框架和相关管辖权的合格律师提供。GDPR / CCPA / DSGVO等多项法律法规可适用于此。尤其是在欧盟运营时，隐私是一个主要问题。但是，出于 SEO 的服务器日志分析的目的，任何与用户相关的数据都无关紧要。任何无法根据 IP 地址最终验证的记录都将被忽略。

关于隐私问题，不得使用任何未经验证且不是已确认搜索引擎机器人的日志数据，而是可以根据相关法律建议在规定的时间段后删除或匿名化。一些最大的网站运营商定期采用这种久经考验的方法。

什么时候开始

剩下的主要问题是何时开始收集服务器日志数据。答案就是现在！服务器日志数据只能以有意义的方式应用，并在足够多的情况下提供可操作的建议。服务器日志对 SEO 审核有用的临界质量通常在 6 到 36 个月之间，具体取决于网站的大小及其抓取优先级信号。

需要注意的是，后期无法获取未记录的服务器日志。今天开始的任何保留和保存服务器日志的努力很可能最早在明年取得成果。因此，收集服务器日志数据必须尽早开始，并在网站运行期间不间断地持续下去，并旨在在自然搜索中表现良好。