博客 / 技术 SIO / 17 常见 谷歌索引问题 : 如何识别和修复它们

17个常见 谷歌索引问题 : 如何识别和修复它们

SE Ranking的SIO和内容营销专家专门从事关于SIO和AI趋势的行业研究.

SE Ranking的SEO专家. Ivanna在内容营销、技术SEO、建立和执行成功的SEO战略方面具有经验

总结此博客文章:

你是否尽力创造高质量的内容, 不管你如何优化搜索引擎, 你的内容仍然是隐形的。 令人沮丧, 网站索引编制问题可能要责备。

本指南将概述阻碍搜索引擎对您的网页进行索引的最常见问题,并提出解决问题的办法。 解决这些索引编制方面的挑战,可以确保您的网站出现在SERPs中并充分发挥其潜力.

关键外卖

** 网页索引问题** 妨碍搜索引擎查找网页,并将其列入搜索索引。 因此,这些网页不能在紧急救援系统中出现或排位。

但还有一张不应编制索引的页清单。 其中包括重复/替代内容页、私人页(有机密信息的日志页/帐户页/页)、分类/过滤页等。

以下是索引问题的一些可能原因**:

• 内容质量差(内容细或重复)。
  技术问题(robots.txt屏蔽,错误的犬形标记,或像404s这样的HTTP状态代码问题).
  站点结构与速度(内部连接差,站点加载速度慢,或封锁JavaScript,CSS,和图像等基本资源).
• 处罚(来自Google的人工处罚可以完全屏蔽索引).
• 其他因素(可疑代码、超过爬行预算、新网站或Google方面的索引问题)。

最常见的索引编制问题**是:

• ** 服务错误(5xx)* 页:1
• ** 直接错误**
• 隐藏页 (URL标记为“noindex”; URL被机器人屏蔽.txt)
• ** 遗漏内容或访问权限**(软件404;因未经授权的请求而封存(401);未找到(404);因禁止访问而封存(403);因其他4xx问题而封存的URL;服务器错误(5xx))。
• ** 冲突索引信号**(重复,不用用户选择的cononic;重复,Google选择了不同的cononic;Page带有重定向;索引,虽然被机器人屏蔽. txt; 无内容的页面索引).

通过将Google搜索控制台(GSC)与SE Ranking等专用的SEO工具结合使用,SEO pros ** 检测索引问题

了解网站索引问题

让我们从基础开始,

索引是搜索引擎如何发现、分析和存储您网站内容的信息的。 但谷歌是怎么找到这些页面的?

Google的网络爬行者跟随现有网页的外部链接, 这确保了Google可以构建全网网页索引.

如果您还没有设置站点地图( 或者不确定您的站点地图是否优化), 请查看我们创建站点地图的指南 。 它涵盖了包括什么,如何构建,以及如何将其妥善提交搜索引擎.

如果您的网站存在索引问题, 搜索引擎将无法识别 。 这意味着潜在的访问者将无法通过有机搜索找到您的网站.

Google的算法分析每个网页的关联性和质量, Google观察了广泛的因素,包括内容的目标,新鲜度,清晰度,以及符合E-E-A-T标准,以及内部连接,加载速度,犬形标记,机器人元标记和X-Robots-Tag.

内容质量是一个主要因素。 低质量的内容是最有可能被忽略的. 低质量内容的一些例子包括内容提供很少或没有价值,生成的内容完全是为了操纵排名,或者内容缺乏原创性/可信度/魅力/专业知识. 另一方面,通过创建符合E-E-A-T标准的高质量内容,并具有相关网站的回路链接,可以提高你的指数化和排名潜力.

技术SEO问题也经常引起Google索引问题. 机器人们 txt文件封锁重要页面,错误配置的站点地图(或根本没有站点地图)可以混淆搜索引擎,影响其爬行和索引您网站的能力. 诸如关键词填充等不道德的SEO做法会令您的网站受到处罚,并完全从SERP中移除.

我们将在文章中详细探讨索引问题最常见的原因。

为何有些页面不应该被索引

我们已澄清Google索引问题会损害网站的整体存在、知名度和排名, 事实上,一些网页如果被故意隐藏在搜索引擎之外,将受益更多。

这里有一些页面类型, 您可以在搜索引擎索引中排除这些类型, 而不伤害您的 SIO :

. ^ **1. 隐藏在登录后的页面。 页:1

想想你的网上购物车或账号 这些页面只供你的眼睛使用;搜索引擎不做爬行。 它们经常被隐藏在登录和密码后面,这导致谷歌收到"4·01"的状态代码响应,而忽略了页面内容.

. ^ **2. 复制或替代页。 页:1

一些网站包含多个版本的相同内容,由过滤器或排序选项产生. 搜索引擎更喜欢独特的内容,因此它们可能只索引一个版本(cononic URL),而将其余内容留出. 这是完全正常的行为,你从GSC看到的这些页面的警告证实了Google找到了正确的页面.

页:1 网站搜索. 页:1

网站一般通过用户搜索动态创建搜索页面. 这些用户生成的搜索页面一般不值得索引,因为它们的功能更像地图,帮助用户在网站上找到具体内容. 使用“ noindex” 标记从搜索引擎中封锁这些页面 。 这有助于搜索结果关注您独特而有价值的内容.

页:1 行政页。 **

您网站的后端是用于管理内容和设置,而不是用于公众观看. 行政页面经常被机器人屏蔽. txt文件,它告诉搜索引擎不要爬它们. 警告这些没什么可担心的。

底线是,如果一个页面出于正当理由被故意从搜索引擎中封锁,搜索控制台警告就是一个好兆头. 他们证实搜索引擎尊重你的指示,并专注于你网站中值得在SERPs上看到的部分.

索引问题可能的原因

许多因素可以阻止搜索引擎对您的页面进行索引. 我们将在本节探讨最常见的原因。

复制内容

多页内容相同或相似导致排名和流量损失。 因为Google无法分辨哪些页面与特定搜索最相关, 它不知道哪一个优先。 更糟糕的是,如果Google认为你正在制作重复的内容来操纵SERP结果,那么它可能会将你的页面完全从它的搜索索引中删除.

• 内容质量低

内容质量多年来一直是一个重要的排名因素,但"帮助内容"系统的引入大大提高了它的重要性. 目前,缺乏独创性或相关性的内容不太可能排好,甚至更不可能编制索引。 因此,一定要减少非原始的,无关紧要的内容,这些内容为用户提供很少到没有价值,并且(或者)是为了改善排名而创建的. 包括人工智能生成的内容,

被机器人挡住了 页:1

机器人的主要功能. txt文件是指示搜索引擎您网站的哪些部分可以和不能爬行. 不允许爬行时, 搜索引擎 bots 无法访问并索引您的内容 。 您可以检查您的 URL 是否已被机器人封锁 。 txt文件通过使用机器人. txt测试器.

被无索引标签或信头屏蔽

也可以指示搜索引擎使用机器人元标记和X-Robots-Tag HTTP头来索引特定页面. 这对某些有私人信息、管理区域、重复内容和其他低值页面的网页有用。 小心点 如果将这些标记添加到重要页面,它们会完全从SRP中消失.

错误的条形标记

通用标记通常用来告诉搜索引擎(在内容相似或相同的网页中)哪一页用于索引的排序。 Google将自行决定, 这偶尔会导致严重的犬科标记问题. 例如,它可能索引错误的网页版本.

QQ HTTP 状态代码问题

4xx和5xx类中的HTTP状态代码通常意味着访问内容存在问题. 当Google遇到4xx错误时, 这包括已经索引的URL上的任何内容,现在显示4xx错误. 5xx错误(服务器问题)可能暂时减缓谷歌的爬行速度. 但如果这些问题继续存在,Google可能会从其搜索结果中删除先前的索引页面.

• 内部联系问题

具有良好内部链接的坚实网站结构不仅可以增强用户的经验,而且有助于 Google爬行并索引网站的页面。 内部链接问题如断开链接或孤页(没有内部链接指向它们的页面)会混淆搜索引擎,使他们更难找到和理解你的内容.

慢速加载页面

由于Google始终致力于提供积极的用户体验,所以缓慢的加载页面导致索引问题的事实并不令人惊讶. 缓慢的加载时间令用户感到沮丧,增加了他们在对您的业务采取重要行动之前离开的机会. 高弹跳率向Google表示,你的内容缺乏价值或相关性. 缓慢的网站加载时间也伤害了你的核心Web Vitals的分数,这直接影响搜索排名. 为检查网站速度,您可使用PageSpeed Insights或SE Ranking网站速度测试。

QQ 屏蔽 JavaScript、 CSS 和图像文件

JavaScript,CSS,和图像文件提供了视觉布局,互动功能,甚至内容本身(像图像)的关键信息. 被封锁的资源可以使网页显示为破解搜索引擎. 这使得谷歌无法完全渲染页面. 这可能导致索引不准确和搜索排名降低.

超额预算

每个网站都有专门的爬行预算(在具体的时间范围内可以爬行的页数bots). 超额预算可能会阻止你的一些页面被爬行和索引. 大型网站(10 000页或以上)最有可能面临这一问题。

要保持在限制下,管理您的 URL 库存,方法是合并重复内容,用404或410状态代码标出已删除的页面,使您的站点地图不断更新,并避免长期重定向链条. 您还应当优化您的网站以快速加载时间, 不断监控其爬行以适应可用性问题, 通过在 XML 网站地图中设定优先级来优先排序现有页面 。

新网站

即使你完成了新网站的设置,Google可能需要时间爬行并索引. 由于Google有大量的积压,以不同的速度爬行网站,搜索引擎可能需要几个小时到几周的时间才能找到您的新网站.

同时,注重三项关键战略。 一,继续将相关内容添加到您的网站上. 之后,在所有的优化中,遵循最佳的SIO做法. 最后一项战略涉及从受信任的高授权网站建立质量回路。 这些高质量的回路可以表明您网站对Google的重要性,

可疑代码

要了解您的网站内容, Google 必须能看到它的所有内容, 包括文本、链接和格式。 Google无法以其他方式正确索引它。 如果您有意或无意地让Google的bots难以访问您的文件(例如通过攻击性隐形),这可能会阻止Google有效索引您的网站. 如果黑客篡改您网站的代码,如插入恶意脚本或添加隐藏链接,问题就变得更加严重.

始终优先安排网站安全,保持您的代码干净易读. 忽略这可能会损害您的搜索排名,甚至会从搜索索引中丢掉您的页面.

手动行动处罚

虽然Google的惩罚不会直接从SERP中移除你的网站,但严重的人工行为(例如那些与垃圾邮件或欺骗行为相关的行为)可能导致暂时或永久的去索引. 这是因为Google优先考虑用户体验,旨在保护用户免受潜在有害内容的影响. 另外,在评论期间限制索引可以让Google收集证据,防止网站所有者操纵搜索结果.

谷歌索引问题

Google端的技术故障会延迟索引。 这增加了你的内容在SERPs中出现的时间. 请记住,全球供应链从Google的指数中获得数据。 因此,在索引编制过程中,全球供应链可能显示不完整或不准确的信息。 此事发生后,

如何发现网站索引问题

您可以使用多种方法在您的网站上检查索引问题。 最有效的措施包括使用全球供应链或可靠的标准电子平台。 让我们详细探讨每种方法。

谷歌搜索控制台

GSC 可以提供您网站索引状态的有见地的SEO信息。 它的索引__覆盖报告(_Page Indexing)_帮助您追踪您网站的URL中Google成功爬行和索引的哪个. 报告还列出了可能妨碍其他网页索引化的问题。

在探索此报告时, 关注带有 _ Not Indexed_ 状态的 URL 。 向下滚动以查看“为什么Pages不是索引的”一节。 这可以让你了解 Google 为何决定不给某些 URL 索引 。

最常见的原因如下:

. ^ *1. 无相应错误的索引页总数 页:1

如果你注意到自己的网站有更少的索引页面,没有新的错误消息,你可能无意中封锁了Google访问你现有的一些内容.

试试这个把戏: 在_ Not Indexed_ URL中查找一个与索引页的下降相吻合的跳转 。 可能表明谷歌无法看到你的内容

. ^ *2. 非索引页数超过索引页数 页:1

您可能遇到一些没有在搜索结果中出现(没有索引)的页面多于没有索引的页面的情况。 这通常有两个原因。 第一,你的网站有一个规则 意外地阻断搜索引擎 移动重要部分。 二是您的网站有重复的内容(例如来自过滤或排序选项),搜索引擎认为其价值较低.

页:1 错误标记* 页:1

你偶尔会遇到突然发生的错误 其原因如下:

• 如果您最近更新了您网站的设计, 可能会在新模板中出现错误 。
• 如果您最近提交了网站地图, 它可能包含Google无法访问的页面(因为被机器人. txt屏蔽, 并用“noindex”标签隐藏,

4\。 404个错误

Googlebot可能很难到达你的网页。 这一般发生在网页被从网站删除之后,或者指向它的内部链接已经断开(指向一个不存在的页面)时. Googlebot无法处理您的页面,

** 5⁄4 ̄ ̧漯B 服务器错误**

搜索 bots 需要与您的服务器进行平稳的交互, 以高效索引您的网站 。 如果服务器出错,爬行者可能会把它们视为低质量或不稳定网站的标志. 这可能导致您的网站在索引编制上被取消优先排序,甚至完全从搜索索引中删除.

虽然URL检查工具可以帮助您诊断_Page Indexing_报告报告的服务器错误,但这些错误可能是暂时的. 这意味着即使Google早些时候遇到服务器问题,你的测试还是有机会取得成功.

*6、缺少的页数或网站 页:1

以下是一些可能阻止页面在 _Page Indexing_报告中显示的情况:

• Google可能还没有意识到新网页(发现这些网页需要时间).
• Google需要找到一个链接到你的页面,或者有一个网站地图提交来知道它的存在.
• Google可能无法到达您的页面(需要登入,封杀访问等).
• 页面可能有一个“noindex”标签,专门告诉Google不要将其索引。

除了_Page Index_ report,SEOs还定期检查_Security & Manual Action_的章节. 为什么? 因为在那里发现的任何惩罚,如垃圾邮件战术或网站名声滥用,都会导致排名降低甚至完全从搜索结果中删除.

报告列出Google上的人文审查人员发现的问题, 通常与试图欺骗Google搜索系统而非直接伤害用户有关. 而_Security Issues report_则警告您网站中可能存在黑客或有害内容, 如钓鱼攻击、恶意软件安装或用户电脑上不想要的软件。

总之,在任何这类报告中列名,都会造成重大的后果。 Google为您的网站索引问题.

SE排名

使用GSC等工具跟踪你的索引状态是有用的,但比Googlebot有更快的查找和解决索引问题的方法.

例如,SE Ranking的网站审计工具可以根据需求进行SEO审计,并在几分钟内提供一份深入的索引报告,允许您立即开始解决发现的问题。

审计报告一旦准备好,请浏览_Overview_一节,滚动至_Page Indexa_容量块。

您将会看到一个带有图表的仪表板, 显示您的页面数量和百分比, 可以与那些无法索引的页面相比。 仪表板还提供了对页可能没有索引的见解,例如机器人。 txt 屏蔽, meta noindex 标签,非卡通的 URL 等. 点击图表探索详细的_ crawed Pages_ report.

这份报告分解了单个页面,包含参考页面,检测出的问题数量,状态代码,机器人等参数. txt指令,canonic URL,还有更多。

SE Ranking的功能可以方便地过滤页面_blocked by noindex_和_blocked by X-Robots-Tag_. 由于这些页面一开始甚至不应该被索引,你可以从“fix”列表中删除。

_Crawling_在_Issue Report的章节中提供了类似的索引信息.

您也可以使用此报告来通过错误来排序识别出的洞察力,并审查一个分类清单,列出可能影响您网站上索引的问题,如内容重复,HTTP状态代码问题,以及有重定向,站点速度,CWV等问题.

使用SE Ranking的索引状态检查器,

在解决索引问题后,下一步是监控您网站的搜索引擎性能. 这将帮助你理解你的改进是如何促进 排名,知名度,和有机交通。 这是Rank Tracker可以帮助的地方. 这个工具在Google(桌面 & mobile),Bing,Yahoo,甚至YouTube等搜索引擎上具有精确的每日排名更新功能.

Google 搜索控制台中的索引错误(+ 简单的固定提示)

现在你知道如何检测网站索引问题, 让我们回顾一下你可能面临的最常见问题,

QQ 服务器错误( 5xx)

服务器错误通常发生在Googlebot无法访问网页时. 这是由于崩溃、超时或服务器故障时间等问题造成的。

如何纠正:**
首先,使用GSC Inspect URL工具来查看错误是否持续. 如果解决了,请重新编制索引。 如果错误仍然存在,则解决方案将取决于具体错误. 您通常需要完成一些任务, 如减少动态页面请求的页面加载过多, 验证您的服务器健康( 是否下线、 超载或配置错误), 以及确保您不会意外封锁 Google 爬行器 。

解决问题后,请求重新索引,以促使Google重排页面.

QQ 重定向错误

以下是重定向错误列表 Google可能会在您的网站上发现:

• 引线链太长了
• 回转循环
• 超过重定向 URL 长度
• 重定向链中中断或不完整的 URL

如何纠正:**
使用SE Ranking Free Rediction Checker等专用工具, 此工具可以让你看到您 URL 的重定向次数, 识别重定向类型, 找到重定向链, 并发现短加密的 URL 导致 。

URL被机器人封锁. 页:1

此错误意味着搜索引擎无法访问您网站上的特定页面 。 它发生在你机器人内部的指示。 txt文件限制访问页面. 这可能是有意的,也可能是档案本身的错误。

如何纠正:**
页:1 确认仅列出要封锁的页面 。 如果您要找到被屏蔽的索引页, 请修改机器人的规则 。 txt文件允许访问这些页面. 这可以通过删除或编辑特定行或添加_allow_指令来实现.

QQ URL 标记“ 无索引 ”

Google遇到“无索引”指令, 如果这是你想要的,那么一切都如预期一样。 如果您想要 Google 索引此页面, 请删除此指令 。

如何纠正:**
页:1 删除要爬行者查找和索引的重要页面的“ 无索引” 标记 。 反之,对于不想搜索引擎发现的页面,请按原样保留(使用“无索引”标记)。

软404

当用户降落在显示信息显示缺少页面的URL上时,会出现软性404错误. 在这种情景下,根据服务器发送的成功代码(200),页面在技术上存在. 这可能出于各种原因,包括服务器文件缺失,连接问题,内部搜索结果页面,JavaScript文件存在问题,等等.

如何纠正:**
请检查URL是否真的缺少内容, 如果有, 请返回一个正确的 404 代码 。 如果内容依然相关, 请确保页面反映这一点,

因未经批准的请求被封禁(401)

401错误意味着Googlebot未能到达特定的网页,需要授权.

如何纠正:**
如果您希望这些页面在 SERPs 中找到,要么允许 Googlebot 访问,要么让页面公开访问.

未找到( 404)

这个错误意味着Google在您的网站上发现了返回一个404未找到的网页(它们已经不存在). 这些 URL 可能已经链接到其他网站, 或者以前存在于您的网站上 。

如何纠正:**
如果有任何密钥页面返回此错误, 您必须恢复原始内容, 或者使用 301 方向器将 URL 发送到相关的选项 。

因禁止进入而受阻(403次)

此错误代码意味着用户代理提供了证书,但缺乏访问此资源的权限. 由于您网站的安全设置不慎阻碍Googlebot浏览您的内容,

如何纠正:**
如果您希望此页面被索引,则给予所有公共用户访问权限或只是Googlebot(但双重检查其身份).

QQ URL 由于其他 4xx 发行而被封禁

这个错误意味着您的网页受到 4xx 之一的影响 除了401,403,404或Soft 404之外,HTTP响应代码.

如何纠正:**
使用 URL 检查工具来查看是否可以复制错误 。 如果您想要搜索引擎找到这些重要页面, 您必须调查错误的原因( 如您网站代码中的错误或您的网络服务器的临时问题) 并修复它 。

缩写 — 目前没有索引

正如这个错误的名称所示, URL已经爬行, Google需要时间来优先排序哪些网页索引,所以你的页面可能只是等待它的转向.

如何纠正:**
不需要重新编号。 在Google为您的网页编制索引时等待(假设没有屏蔽指令阻止它).

已发现 — 目前没有索引

Google已经发现了你的网页, 这一错误通常发生在Google重排爬行时,通常是为了避免网站超载.

如何纠正:**
也需耐心等待Google爬行,

带有正版条形标签的替代页面

返回此信件的 URL 并没有被索引, 因为它是重复的语句页面 。

如何纠正:**
页:1 这页指的就是"教条"页,所以你不需要做什么.

复制,不使用用户选择的词汇

此 URL 是您网站上另一个网页的复制 。 Google为您选择了另一个版本。

如何纠正:**
页:1 如果您不同意 Google 选用 Cononic URL, 请告诉搜索引擎您喜欢哪个 URL 。 Google的文档中描述了一些用于指定犬类URL的常用方法. 如果你认为这页在搜索结果方面值得自己的空间, 而不是Google选择的另一页,

复制, Google 选择了不同于用户的方言

此消息表示您将本页面标为首选版本,但谷歌选择了不同的版本. 它索引了非首选版本.

如何修复:**
页:1 使用URL检查工具来检查URL Google认为这个网页的主版本是哪个.

重定向页面

这是一个非名称的 URL,它发送访问者到另一个页面,该页面可能或可能不包含在SRP中. Google 将不会对返回此消息的网页进行索引 。

如何修复:
为了识别与这个网页相关的canonic URL的索引状态,使用URL检查工具对其进行分析. 尽管如此,要铭记 并非所有转线都得到搜索引擎的平等对待。 ** 当需要302时使用301(反之亦然)会影响一个页面是否被索引,以及链接权益是如何传递的. 了解我们301对302方向指南的区别.

但被机器人挡住了 页:1

即使你用机器人封锁了这个URL txt文件,它仍然出现在SERPs中. 而搜索引擎通常跟随机器人. txt 指令,如果您的页面被其他网站链接,他们仍然可以找到. Google可能不会直接爬行被封锁的页面,但它可以使用链接到它的网站的信息来理解你被封锁的页面的内容,并将其纳入SERPs.

如何修复:**
为防止此页面出现在SERPs中,在页面中添加一个“noindex”标记,而不是机器人.txt. 要让 Google 编辑此页面,请编辑您的机器人. txt文件允许访问它.

无内容的页面索引

这个错误意味着URL已经被列入Google的搜索索引,但Google却找不到任何信息. 此错误可能发生的原因如下:

• 呻吟着 *
• 内容不足
• 无法正确装入的阻塞内容

如何修复:**
要了解Google如何查看您的URL,手动审查网页,并在GSC中使用URL检查工具. 解决任何问题,如缺失或阻碍内容。 修复后,请谷歌重新索引URL.

如何要求 Google 验证固定索引问题

假设你已经解决了一个问题, Google说你的网页已经准备好重新索引了 以下是如何做到这一点:

• 打开_页索引_报告并选择问题细节页。
• 点击_Validate Fix_让 Google知道你已经处理了页面上列出的问题。

验证可能需要一些时间(通常在两周左右,但有时更长). Google将在进程完成后通知您. 如果验证成功,恭喜! 您想要的 URL 现在可以被索引并出现在 SERP 中 。

如果验证失败, 您可以看到哪些 URL 被指责 。 点击议题细节页面上的 _See Details_按钮即可. 然后,再次修正索引问题,以确保所有更改都应用到每个列出的URL上. 现在你可以尝试重新启动验证.

总之

看到你的网页还回索引错误,尤其是对于对你的SEO策略至关重要的URL来说,可能是神经崩溃. 好消息是,全球供应链发现的大多数索引问题都是简单的。

底线? 了解哪些页面应该和不应该编制索引是关键。 只有那样你才能使用机器人 txt 和 “ noindex” 标记引导搜索引擎进入您喜欢的网页进行索引 。

若遇到索引问题, 审查每个问题的简要说明,并遵循本指南中描述的固定提示,以快速解决.

Yulia是SE Ranking的SEO和内容营销专家,她在那里潜入了SEO,AI和数字营销的世界. 她的激情使工业研究变得容易理解,对日常营销实用. 除工作外,尤利娅享受长途跋涉,与朋友共度舒适的夜晚,并通过食物和旅行探索不同的文化.