当搜索引擎尝试访问您网站上的页面但失败时，就会出现抓取错误。我们先来谈谈爬行。抓取是搜索引擎尝试通过机器人访问网站所有页面的过程。搜索引擎机器人找到您网站的链接并开始搜索所有公共页面。该机器人会抓取页面，为 Google 搜索中使用的所有内容编制索引，并将这些页面上的所有链接添加到仍需要抓取的页面。作为网站所有者，您的主要目标是允许搜索引擎机器人访问您网站的每个页面。如果此过程失败，就会发生所谓的抓取错误。

目标是让网站上的所有链接成功指向实际页面。例外的是，如果您设置了重定向等，设置为重定向的原始页面不会导致任何问题，但您需要小心确保重定向的页面正常显示而不会出现错误。

Google 将抓取错误分为两类：

1. 站点错误尝试尽快解决站点错误，因为它们意味着无法对整个站点进行爬网。
2. URL 错误URL 错误相对容易修复，因为它们仅与单个目标 URL 相关，但就像网站错误一样，请尝试尽快修复它们。

因此，让我们更深入地研究一下，看看如何修复它。

站点错误

网站错误是指阻止搜索引擎机器人访问您的网站的任何抓取错误。造成这种情况的原因可能有很多，但最常见的是：

• DNS 错误这意味着您的搜索引擎无法与您的服务器通信。例如，服务器可能已关闭。这意味着该网站根本无法访问。如果你明白了这个问题，那这只是暂时的问题，我们先解决它，不要着急。无论如何，Google 都会再次返回您的网站并抓取您的网站。如果您在 Google Search Console 中看到类似的通知，则可能意味着 Google 尝试抓取它几次，但仍然失败并出现抓取错误。
• 服务器错误如果您在 Search Console 中看到服务器错误，则意味着机器人无法访问您的网站。您的请求可能已超时。仅举几例，搜索引擎尝试访问您的网站，但加载时间太长，并且服务器向您显示错误消息。当您的代码存在阻止页面加载的缺陷时，也可能会发生服务器错误。这也可能意味着您的网站有太多访问者，以至于您的服务器无法处理所有请求。其中许多错误通常显示以 5 开头的 5xx 状态代码，例如 500 和 503 状态代码。
• 机器人抓取失败在抓取之前，Googlebot 还会尝试抓取您的 robots.txt 文件。这是为了查看您的网站中是否存在您不希望编入索引的区域。如果该机器人无法访问 robots.txt 文件，Google将推迟抓取，直到可以访问robots.txt 文件。所以robots.txt是一直可用的，需要时不时的检查一下它的写法是否有问题。

以上是与整个站点相关的爬行错误的描述。
现在让我们看看特定页面上发生了什么样的抓取错误。

网址错误

如上所述，URL 错误是指搜索引擎机器人尝试抓取您网站的特定页面时发生的抓取错误。当我们谈论 URL 错误时，我们倾向于首先谈论爬行错误，例如 404 Not Found 错误。您应该经常检查这些错误（使用 Google Search Console 或 Bing 网站管理员工具）并修复它们。如果您在其他页面上有类似的内容，请改用 301 重定向。确保您的站点地图和内部链接也是最新的。

顺便说一句，我发现许多 URL 错误都是由内部链接引起的。其中许多错误都是您自己造成的。如果您在某个时候从网站中删除了某个页面，请同时调整或删除该页面的任何入站链接。这些链接不再有用。如果该链接保持不变，机器人就会找到它并跟踪它，结果却在网站上找到了死胡同（404 未找到错误）。内部链接需要不时维护。

另一种常见的 URL 错误是包含“已提交的 URL”字样的错误。一旦 Google 检测到不一致的行为，这些错误就会出现。另一方面，由于您提交了用于索引的 URL，因此您是在告诉 Google：“我希望您将此页面编入索引。” 与此同时，还有其他东西告诉谷歌，“不要索引这个页面。” 可能的原因是 robots.txt 文件阻止了该页面。或者，页面可以通过元标记或 HTTP 标头标记为“noindex”。这也应该尽快解决。如果您不修复该问题，Google 将不会在您的网站上对该 URL 编制索引。

其中一些常见错误可能包括特定 URL 的 DNS 或服务器错误，因此如果您找不到问题，请考虑这一点。然后重新检查该 URL 并查看错误是否已消失。如果出现问题，请立即修复并在 Google Search Console 中将错误标记为已修复。

特殊网址错误

某些 URL 错误是仅适用于特定站点的特殊错误。我想你不会轻易遇到这个错误，但我想单独介绍一下这些错误。

• 特定于移动设备的 URL 错误这是指现代智能手机上发生的特定于页面的爬网错误。如果您使用的是响应式网站，您不太可能看到这些。如果您使用的是使用子域而不是响应式单独分隔 URL 的方法（例如 sp.example.com 或 example.com/sp/ ），则可能会出现此错误。例如，如果桌面站点错误地重定向到其移动站点。您也可能使用 robots.txt 等内容屏蔽了该移动网站的部分内容。
• 恶意软件错误如果您在 Google Search Console 或 Bing 网站管理员工具中收到恶意软件错误，则表示 Bing 或 Google 在该 URL 检测到恶意软件。例如，这可能意味着我们发现了用于“收集受保护信息或干扰常见操作”的软件。您应该调查该页面并删除恶意软件。
• Google News Error这也比较特殊，不常见，但还有一个错误叫Google News Error。如果您的网站是新闻发布网站（例如 Google 新闻部分中显示的网站），则可能会出现这些抓取错误。它们的范围从缺少标题到页面似乎不包含任何新闻文章的错误。请务必亲自检查这是否适用于您的网站。

[总结]一定要修复抓取错误

我想在本文中告诉您的最重要的事情是修复您遇到的任何爬网错误。
作为网站维护计划的一部分，您应该不时检查抓取错误。
检查 Google Search Console 和 Bing 网站管理员工具对于 SEO 措施至关重要，我每天都会尝试检查它们。
它会给你各种提示，让你的网页变得完美，所以请养成经常检查的习惯。

如果您需要SEO，请交给我们。
我们提供最新的SEO对策服务。