问一个SEO：为什么我的页面没有被索引？

本周的问题来自Xaris，谁问：

“为什么，即使我正确组成并将站点地图链接到客户的网站，我已经检查了所有内容，我是否在某些文章中遇到了索引问题，即使在对Google和Google搜索控制台的重复请求后，我都不是全部。

这远非一个独特的问题；我们都经历过！“我已经完成了我能想到的一切，但是Google仍然没有索引我的页面。”

绝对没有索引？

要检查的第一个方面是该页面是否确实没有索引，或者只是排名不佳。

可能是因为您找不到有关相关关键字的内容，因此该页面似乎没有索引。但是，这并不意味着它没有索引。

出于这个问题的目的，我将为您提供有关如何处理这两种情况的建议。

有什么问题？

在Google上，可能不会在Google上索引或排名良好的页面有很多原因。让我们讨论主要的。

技术问题

有技术原因，无论是错误还是有意识的决定，都可以阻止Googlebot到达您的页面并索引页面。

机器人在robots.txt中被阻塞

如果要了解页面的价值，并最终将其作为相关查询的搜索结果，则需要能够达到页面的内容。

如果GoogleBot被Bobots.txt被阻止访问这些页面，那可以解释为什么它不会索引它们。

从技术上讲，它仍然可以为无法访问的页面索引一个页面，但是它将无法确定页面的内容，因此必须使用反向链接等外部信号来确定其相关性。如果它无法抓取页面，即使它通过SiteMap知道它存在，它仍然不太可能排名。

页面无法渲染

以类似的方式，如果机器人可以爬网，但不能呈现内容，则可能会选择不索引它。肯定不太可能对页面进行排名，因为它无法读取页面的内容。

页面有一个无指数标签

一个明显但经常被忽略的问题是，已将Noindex标签应用于页面。这实际上将指示Googlebot不要索引页面。

这是一个指令，也就是说，GoogleBot致力于制定。

服务器级机器人阻止

您的服务器级别可能会有一个问题，可以阻止GoogleBot爬行您的网页。

您的服务器或CDN级别可能已经设定了规则，这些规则阻止Googlebot再次爬行您的网站并发现这些新页面。

当SEO中不熟悉的团队负责网站的技术维护时，这可能是一个很普遍的问题。

非2000服务器响应代码

您已添加到站点地图的页面很可能返回使GoogleBot混淆的服务器状态代码。

例如，如果页面正在返回4xx代码，尽管您能够在页面上查看内容，则GoogleBot可能会决定它不是直播页面，并且不会索引它。

加载缓慢的页面

可能是您的网页加载非常缓慢。结果，对其质量的看法可能会降低。

也可能是他们花了很长时间才能加载，以至于机器人必须优先考虑它们爬网的页面，以至于您的新页面没有被爬行。

页面质量

网站本身的内容也可能阻止页面被索引。

较低的内部链接暗示低价值页面

Google将确定一个页面是否值得高度排名的方式之一是通过指向它的内部链接。您网站上页面之间的链接既可以表示要链接到的页面的内容，又可以表示页面是否是您网站的重要组成部分。一个几乎没有内部链接的页面似乎不够有价值，无法排名良好。

页面不增加价值

Google没有索引页面的主要原因之一是，它的质量不足。

Google不会爬网和索引每一页。Google将优先考虑独特的，引人入胜的内容。

如果您的页面很薄，或者并没有真正为Internet增加价值，那么即使在技术上可能会索引它们也可能不会被索引。

它们是重复的或附近重复的

以类似的方式，如果Google认为您的页面确切或非常接近现有页面的重复版本，则可能不会为您的新页面索引。

即使您通过将其包括在XML站点地图中并使用自我引用的规范标签来表明该页面是唯一的，但Google仍然会对页面是否值得索引进行自己的评估。

手动动作

您的网页也有可能执行手动操作，这就是为什么Google没有索引它的原因。

例如，如果您试图让Google索引的页面是它考虑的“薄会员页面”，则由于手动惩罚，您可能无法对它们进行排名。人工操作相对较少，通常会影响更广泛的站点区域，但值得检查搜索控制台的手动操作的报告以限制这一点。

确定问题

知道您的问题的原因只是战斗的一半。让我们看一下如何将问题缩小，然后如何解决问题。

检查Bing网站管理员工具

我的第一个建议是检查您的页面是否在bing中索引。

您可能不会专注于SEO策略中的BING，但这是确定这是否是以Google为中心的问题，例如手动动作或排名差，而不是在您的网站上进行的一些问题，而不是在您的网站上阻止页面被索引。

转到Bing网站管理员工具，然后在其URL检查工具中输入页面。从这里，您将看到Bing是否为页面索引。如果是这样，那么您知道这只是影响Google的东西。

检查Google搜索控制台的“页面”报告

接下来，转到Google搜索控制台。检查页面，看看它是否确实标记为未索引。如果没有索引，Google应该对原因做出解释。

例如，该页面可能是：

被“ noindex”排除在外

如果Google在页面上检测到NOIndex标签，则不会索引它。在URL检查工具结果下，它将告诉您“没有索引页面：被'noindex'标签排除在外”

如果这是您在页面上获得的结果，那么下一步将是删除NoIndex标签并重新提交GoogleBot.DISCOWER的页面 - 目前尚未索引

检查工具可能会告诉您“页面未索引：目前尚未索引”。

如果是这种情况，您可以肯定地知道这是一个索引问题，而不是排名差的问题，这导致您的页面不出现在Google搜索中。

Google解释说，显示为“发现的 - 目前未索引”的URL是：

“该页面是由Google发现的，但尚未爬行。通常，Google想爬网址，但预计这将超载该网站；因此Google重新安排了爬网。这就是为什么上次爬网日期在报告中为空的原因。”

如果您看到这种状态，Google很有可能在您的网站上查看了其他页面，并认为它们不值得添加指数，因此，并没有花费资源来爬上这些其他页面，因为它希望它们具有低质量。

要解决此问题，您需要表示页面与Googlebot的质量和相关性。现在是时候仔细研究您的网站，并确定Google是否认为您的页面质量低的原因是否有原因。

有关如何改进页面的更多详细信息，请阅读我的前面文章：“为什么我的页面发现但未被索引？”

爬行 - 目前未索引

如果您的检查页面返回“爬行 - 目前尚未索引”的状态，则意味着Google知道该页面已将其抓取，但在将其添加到索引中没有看到价值。

如果您获得此状态代码，最好寻找提高页面质量的方法。

您可能会看到您检查的页面的警报，该页面告诉您此页面是“重复，Google选择了不同的规范与用户”。

这意味着它将URL视为现有页面的关闭重复，并且正在选择要在SERP中显示的另一页而不是检查页面，尽管您正确地设置了规范性标签。

鼓励Google在SERP中显示这两个页面的方法是确保它们是独特的，具有足够的内容，以便对读者有用。

本质上，您需要给Google一个索引这两个页面的理由。

解决问题

尽管由于一个或多个原因，您的页面可能不会被索引，但修复程序都是非常相似的。

网站可能存在技术问题，例如错误的规范标签或机器人。

或者，页面质量存在问题，这导致Google认为它的价值不够有价值。

首先审查潜在的技术原因。这些将帮助您快速识别您或您的开发人员可以改变的“快速”修复。

一旦排除了技术问题，您就很可能正在研究质量问题。

根据您现在认为该页面不出现在SERP中的内容，可能是该页面本身具有质量问题，或者网站的更大部分。

如果是前者，请考虑E-E-E-A-T，在Internet范围中对页面的唯一性，以及如何表示页面的重要性，例如通过相关的反向链接。

概括

需要进行一些调查来确定您的页面是否确实没有索引，或者Google只是选择不为您认为相关的查询而不对其进行排名。

一旦确定了这一点，就可以开始关闭它是影响您页面的技术还是质量问题。

这是一个令人沮丧的问题，但是修复程序非常合乎逻辑，调查应该有望揭示更多改善网站爬行和索引的方法。