Meta Tag 机器人和 X- Robots- Tag 页眉指南

机器人的元标记和X-机器人塔格都清楚了，SE Ranking的SEO和内容营销专家. Anna将行业经验和平台专业知识结合起来,在技术SEO,战略成长,以及AI搜索方面创建可操作的内容.

SE Ranking的SEO专家. Olena在市场研究、网站绩效改进、调查和解决技术性的机会均等问题方面具有专门知识

总结此博客文章:

机器人元标记和X-Robots标记用来指示爬行者如何索引一个网站的网页,并在用户搜索结果中显示。机器人元标记可以在网页的HTML代码中找到,而X-Robots标记则包含在一个URL的HTTP标题中.

一旦机器人找到一页,索引编制过程便开始. 见以下步骤:

装入内容。
搜索引擎机器人分析.
决定是否将该页列入数据库(搜索索引)。

以上步骤表明,您可以同时使用机器人元标记和X-Robots标记来控制哪些内容出现在SERP中以及如何出现.

现在,让我们来谈谈细节。

*机器人meta标签和X-Robots-Tag都用于控制页面索引和在搜索结果中服务,但后者在机器人爬行页面前提供指令,保存爬行预算.

*机器人.txt文件指示如何爬行页面搜索bots,而机器人元标记和X-Robots-Tag则影响内容如何被纳入索引. 所有三个组成部分都对技术优化至关重要。

如果机器人.txt阻止bots爬行一个页面, 机器人的元标记或x-robot指令不会奏效,

使用元机器人指令,将某些页面排除在搜索结果之外,如重复内容或测试页面。他们帮助管理您网站的爬行预算和页面的链接汁。

*在需要屏蔽非HTML文件索引时使用X-Robots-Tag,优化大站点的爬行预算,设置全站指令. 请检查本地搜索引擎是否支持,

两种机器人标记都支持不同的指令,如索引/noindex,nospite,max-shippet等. 搜索引擎在指令冲突时遵循最严格的指令。您可以为不同目的使用尽可能多的标签,或者将多个指令合并为一个标签,用于同一搜索引擎. 对于特定的爬行者,您需要单独的标记,但您仍然可以在每个标记中组合指令。
您可以通过 CMS 管理面板、 HTML 编辑或插件添加机器人元标记。 X-Robots-Tag 需要您编辑网站根目录中的配置文件。

*您可以用多种工具检查您的机器人指令执行,包括Google搜索控制台的URL检查以获取其索引状态的细节,SE Ranking的网站审计以获得全面的可爬性检查,SE Ranking的索引状态检查器以监控索引状态.

当使用机器人指令时要小心. 避免用机器人添加无索引指令. txt. 在网页启用时删除临时的无索引标签,在网站地图中保留无索引的页面直到完全解码,并在进行站点更改后总是监控索引状态.

*在配置机器人元标记和X-Robots-Tag时出现错误,可能导致索引问题和网站性能问题. 仔细设定指令或将任务委托给经验丰富的网站管理员.

^ X-Robots-Tag对元机器人标签: 主要差异

控制搜索引擎如何处理网页至关重要。它允许网站所有者影响其内容是如何在SERPs中发现,索引和呈现的. 两种常用的控制方法包括实施X-Robots-Tag和元机器人标记. 这两种选择都具有相同的目的,但在执行和功能方面有所不同。

让我们探讨每个特征,并肩比较它们。

机器人标记 * 机器人队页:1
- – - - - - - - - - - - - - - – -
** Type| HTML 元标记| HTTP 头
** ScopeQQ 专门应用到 HTML 页面中,它包含在 HTTP 响应中,用于多种文件类型,包括 HTML, CSS, JavaScript, 图像等.
** 在哪里设置在页的 " 标题 " 一节内在服务器一侧
** 控制页面索引对对
** Allows 批量编辑这有可能, 对
** 控制文件类型索引 * ** 没有对
** 兼容性广受支持有限公司
** 执行简况简单温和更适合技术
** 语法示例 QQ <meta name=“robots” 内容 =“ noindex, no follows” /X-Robots-Tag: noindex, no follows

让我们看看每种方法的利弊:

** Robots meta tag pros:**

提供直截了当的、颗粒的、页数级的管理指示方法。
可以轻松地添加到单独的HTML页面中.
得到各种搜索引擎的更广泛支持,甚至是当地和不太受欢迎的搜索引擎。

** Robots meta tag cons:**

仅限于HTML页面,不包括其他资源。
复杂的批量编辑过程。您可能需要在每页的 HTML 上手动添加它们。

. ^ robts-Tag pros:**

可用于HTTP响应中提到的任何资源,甚至非HTML响应中提及的任何资源。
允许管理多个页面或整个网站部分的索引指令。

X - Robots - Tag cons:

需要服务器级别的访问和关于服务器配置的知识,这对于对服务器设置没有直接控制或缺乏技术经验的网站所有者来说可能具有挑战性.
可能没有所有搜索引擎和网络爬行器的支持。

不管你选择哪种方法,正确配置机器人元标记和X-Robots-Tag至关重要,以避免意外后果。错误的配置可能导致指令冲突,并且可以阻断搜索引擎对您整个网站或特定页面的索引.

机器人队 txt 文件对元机器人标签

robots.txt和meta机器人标记经常因为看起来相似而相互混淆,但它们实际上服务于不同的目的.

机器人们 txt文件是一个位于网站根目录的文本文件. 它起到网络机器人的一套指令的作用,告知他们网站的哪些部分更适合他们访问和爬行.

Meta机器人标记和X-Robots-Tag给网络爬行者提供索引指示,说明哪些网页可以索引以及如何索引. 它们还可以规定网页或网站的哪些部分用于索引以及如何处理非HTML文件。

所以,机器人们。 txt文件作为单独的文件,并提供 crawling 指令以搜索bots. 另一方面,机器人元指令为特定网页、文件和网站部分提供索引指示。

通过战略性地使用这些方法,可以控制网站的可访问性和影响搜索引擎的行为.

为了更深入地了解这一点,我们建议观看这段视频指南,Google搜索开发者代言人马丁·斯普利特(Martin Splitt)解析了对机器人的指令是如何工作的,以及如何有效地使用它们来控制爬行者的访问.

视频

何时使用元机器人指令

让我们来看看机器人元标记和X-Robots-Tag如何协助搜索引擎优化,以及何时使用。

1. 控制页面索引

机器人元标记和X-Robots-Tag在控制页面索引方面给予你更大的灵活性,但并非所有页面都能吸引有机访问者. 有些页面甚至会损害网站的搜索能见度。因此, 在所有网页中, 有些人需要被屏蔽索引:

复制页
排序选项和过滤器
搜索和页码页
技术页
服务通知(关于报名程序、已完成的命令等)
为测试想法设计的登陆页
正在编制的页数
过时的网页,

这些指令不仅控制了整个HTML页面,还允许您管理其中特定段落的索引编制.

您也可以自由选择应用级别,无论是在页面级别使用机器人元标记,还是在站点级别使用X-Robots-Tags.

2. 管理链接权益

使用 _nofollow_指令屏蔽爬行者的链接,有助于维持页面链接汁。这使得它无法通过外部或内部链接传递到其他来源.

3⁄4 ̄ ̧漯B 优化滚动预算

一个网站越大,它越重要引导爬行者到最有价值的页面。如果搜索引擎在内部和外爬动一个网站,那么在bots到达对用户和SEO都有帮助的内容之前,爬动的预算就会结束. 这妨碍了重要页面的索引,或至少无法按时索引。

四. 控制片断

除了控制页面索引,元机器人标记还可以控制SERP显示的片段. 您可以得到一系列选项来微调您页面所显示的预览内容,提高您网站的整体可见度和搜索结果的吸引力。

以下是控制片段的标记的几个例子:

Nospet指示搜索引擎不要显示页面元描述.
** 最大片段:[数字]** 指定片段应持续多长时间(特征计数)。
max-video-preview:[数字]描述一个视频预览应该有多长(秒).
max-image-preview:[设置]定义了图像预览大小(无/标准/大).

您可以将多个指令合并为一个指令,例如:

然而,如果想要为不同的爬行者设置不同的限制,则为每个爬行者分别创建指令.

元机器人指令和搜索引擎兼容性

机器人元标记和X-Robots-Tag使用相同的指令指示搜索bots. 让我们仔细审查一下。

* 指令 * 其功能 GOGLE ** BING

** 索引/无索引用于不应该在 SERPs 中显示的页面. ++++
** 遵循/不遵循指示遵循/不遵循页面链接。+ + + -
** 存档/无存档 \\ 指示显示/ 不显示已缓存的网页版本以搜索。\ – +
nocache ** QQ 指示不要存储缓存页面。 QQ – +
all/noone ** __All_等于_index_,follow_用于索引文本和链接. _None_相当于_noindex,_nofollow_用于屏蔽文本和链接的索引. QQ+QQ –
* 指示不要在SRP中显示片段或视频。
* 限制最大片段大小。表示为 _max- 片段 : [数字] _ 其中 _ 数字 _ 是一个片段中的字符数。 _ + + +
max-image-preview 限制搜索中显示的图像的最大大小. 表示为 max-image-preview:[设置]_其中_seting_可以有_noone,标准,或_大_值. +++
max-video-preview 限制搜索中显示的视频的最大长度(秒). 它还允许设置静态图像(0)或解除任何限制(-1). 表示为_max-video-preview:[value]_. ++++
** 不翻译 ** 防止搜索引擎在搜索结果中翻译一页。 + + + –
noimageindex ** 防止页面上的图像被索引。 + + –
** 无法访问_ after ** 指定日期后请不要显示搜索页面。表示为_不可用_后: [日期/时间]_. + + -
**indexifembedded ** QQ 允许在页面上通过iframes或类似的HTML标记嵌入到另一页面时,使用无index标记的内容索引. 此指令必须同时有两种标记才能生效。 + + -

所有上述指令都可以与机器人元标记和X-Robots-Tag同时使用,以帮助搜索引擎bots理解您的指令.

请注意,搜索引擎会索引网站的全部页面,并默认跟踪链接,因此没有必要为此显示_index_和_遵循_指令。

** 冲突指令**

如果合并,Google将选择限制性指令而不是允许性指令。例如,meta name= “robots” 内容=“noindex, index”/_Q 指令意味着机器人会选择_noindex,,并且页面文本不会被索引.

当使用_noindex_指令时要小心——它可能会无意中阻止有价值的页面出现在搜索结果中. 若您看到意想不到的可见度下降, 我们的索引问题指南可以帮助您排除故障。

搜索引擎将考虑如果指定多个爬行者与不同的规则,那么适用的负面规则的累积效果. 例如:

这个指令意味着页面不会被索引,

** 注:** 如果您试图控制哪一版的页面索引,请记住`rel='canonical'。与元机器人一起扮演着关键的角色. 学习如何在我们的犬类标记指南中正确使用它,以避免向搜索引擎发送混合信号. 也可以探究犬科和hreflang标记的区别.

合并索引和现行规则

您可以单独使用尽可能多的元标记, 或者将它们组合成一个以逗号分隔的标记。例如:

<元名=“机器人”内容=“全部”/><元名=“机器人”内容=“noindex, follow”/> 表示机器人会选择_noindex_, 页面文本不会被索引,
_<元名=“机器人”内容=“全部”/><元名=“机器人”内容=“无存档”/> _表示将考虑所有指令。文本和链接将会被索引, 而导致页面复制的链接将不会被索引。
*QQ meta name="robots" 内容="max-spippe:20,max-image-preview: great" 表示文本片段将包含不超过20个字符,并使用大图像预览.

如果您需要为特定的爬行者设定指令, 创建单独的标记是必须的。但一个机器人内部的指示仍然可以合并. 例如:

** 机器人元标记:语法和使用**

机器人元标记被插入到页面的HTML代码中,并包含搜索bots的信息. 它被放在HTML文档的部分,并有两个强制属性:name_和_content. 简化后,看起来是这样的:

. QQ meta name="robots"内容="noindex"/QQ

名称属性

在_meta name="robots"_中,名称属性指定了指令所设计的bot的名称. 它与机器人.txt中的_User-agent_指令类似,它识别搜索引擎爬行器.

“机器人”值用于处理所有搜索引擎。但是如果你必须设定指示, 特别是针对谷歌, 其他一些谷歌爬行者包括:

googlebot-新闻
* Googlebot 图像
googlebot-视频

Bing爬行者包括:

宾博
* 辅助程序
* 检讨
微软评论.

其他一些搜索爬行者是:

*为雅虎口吻!
鸭子盒,鸭子盒
贝杜斯皮德

内容属性

此属性包含对页面内容及其在搜索结果中的显示进行索引的指示。上表解释的指令在_content_属性中使用.

注意:

两个属性都不区分大小写。
如果属性值没有包含或写错, 搜索机器人会忽略阻断指令。

* 使用机器人元标记* 页:1

** 方法1:在HTML编辑器中 * 页:1

管理页面类似于编辑文本文件. 您必须在编辑器中打开 HTML 文档, 在区域中添加机器人, 并保存。

页面存储在网站的根目录中,可通过您在主机提供者的个人账户或通过FTP(File Transfer协议)访问。在修改前保存源文档。

** 方法2:通过CMS管理小组**

CMS使得一个页面更容易从索引中阻断. 大多数CMS在其管理界面中提供内置选项来添加机器人元标记.

在WordPress中,导航到外观 > 您管理面板中的主题编辑器。选择主题头。 php文件 (中文(简体) ). 在部分,可以添加机器人元标记,以帮助管理搜索引擎爬行和索引行为.

在Magento中,导航到内容 > 设计 > 在您的管理面板中配置。在"搜索引擎机器人"(Search Engine Robots)下,可以定义爬行器访问和能见度设置. 在整个网站应用这些设置或根据需要为特定页面定制这些设置。

Shopify 让您通过主题文件编辑控制机器人元标记. 在主题中添加标签。液态文件的部分, 您可以在此指定搜索引擎如何与特定页面交互。

** Wix ** 允许您在 Pages & Menu 中管理机器人元标记 > SEO基础 > 高级SEO > 机器人元数据标记区域。您可以在此使用简单的复选框配置搜索爬行权限。也可以添加附加的标记,例如:notranslate,indifembed.

** 方法3:使用 CMS 插件* 页:1

使用插件通常是在您的网页上添加机器人元标记的最简单的方法,因为它通常不要求您编辑您的网站代码。您应该使用的插件取决于您正在使用的 CMS 。例如,Yoast SEO for WordPress就具有这个功能. 它允许您在编辑页面时屏蔽索引或防止链接的爬行.

_ 来源: 烟

-机器人塔格:语法和使用**

X-Robots-Tag是给定URL的HTTP响应的一部分,一般被添加到配置文件中. 它的作用与机器人元标记类似,并影响网页的索引。但有些情况下建议使用X-Robots Tag,具体用于索引指令.

以下是X-Robots-Tag的简单例子:

& > — Robots — Tag: 无索引, 无跟踪_

当您需要为页面或文件类型设定规则时, X- Robots- Tag 看起来像:

QQ 文件匹配“ 文件名 ” @
标题设置 X- Robots- Tag "noindex, no follow"
(英语)

使用正则表达式在网站上搜索文件的QQ文件MatchQ指令。如果您使用 Nginx_而不是 _Apache,此指令将被替换为 location:

位置 = 文件名 %
添加标题 X- Robots-Tag "noindex, no follow" ;
{\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}你觉得呢?

如果不指定机器人名称,指令会自动用于所有爬行者. 如果识别出一个独特的机器人,标记看起来是这样的:

_标题设置 X- Robots-Tag "googlebot: noindex, no follow" _

何时使用 X-机器人塔格

** 索引非HTML文件**

由于并非所有页面都有 HTML 格式和 "head " 部分,一些内容无法使用机器人元标记进行索引。这是X机器人来的时候

例如,当您需要屏蔽.pdf文档时:

QQ 文件匹配“.pdf$” QQ
标题设置 X- Robots - Tag "noindex"
(英语)

机器人元标记在页面加载后提供爬行指令,而x-机器人标记则在搜索bot到达页面前提供索引指令. 使用x-机器人可以帮助搜索引擎花费更少的时间爬行页面. 这优化了爬行预算,因此搜索引擎可以花更多的时间爬行重要内容,使得X-Robots Tag特别有利于大型网站.

整个网站的定位指令 * 页:1

通过在HTTP响应中使用X-Robots-Tag,可以建立适用于整个网站的指示,而不是单独的网页.

** 处理本地搜索引擎**

虽然最大的搜索引擎理解大多数限制性指令,但小型本地搜索引擎可能不知道如何在HTTP标题中读取索引指令. 若网站针对特定区域,

机器人元标记的主要功能是隐藏SERP的页面. 另一方面,X-Robots-Tag允许您为整个网站设定更广泛的指令. 你可以用它来通知搜索组在他们爬行网页和节省你的爬行预算之前

如何适用X-Robots-Tag

要添加 X- Robots-Tag 头,请使用网站根目录中的配置文件. 根据网络服务器的不同,设置会有所不同.

页:1

也建议编辑以下服务器文档:.htaccess_和_httpd.conf. 如果您需要防止所有.png和.gif文件在Apache网络服务器中被索引,请添加以下内容:

(png=gif)$ ( (
标题设置 X- Robots - Tag "noindex"
</文件 >

缩略语

编辑配置文件 conf也是必要的. 为了防止所有.png和.gif文件在Nginx网络服务器上被索引,添加以下内容:

地点\\\\(png\\gif)$ {
添加标题 X- Robts-Tag "noindex";
{\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}你觉得呢?

重要性:在编辑配置文件前,保存源文件,以消除网站性能问题,以防出现一些错误.

你需要同时使用机器人元标记和X机器人塔格吗?

简短的答案是否定的。使用适合你情况的方法没有必要执行这两项措施。搜索引擎将遵循你的索引指令,无论是使用元机器人标记还是X-Robots-Tag. 使用两者不会让爬行者更可能遵守你的规则。它还将对变化产生多大影响。

** 机器人元标记和X-Robots-Tag的例子**

** 无索引**

告诉所有爬行者不要在页面上索引文本, 不要跟随链接 :

X- Robots- Tag: 无索引, 无跟随

没有跟随*

告诉Google不要跟踪页面上的链接:

X-Robots-Tag:谷歌机器人: 无后续

没有

告诉Google不要索引并跟随HTML文档中的链接:

<元名="googlebot"内容="无"/>.
X- Robots- Tag: Googlebot: 无

** 无片段* 页:1

告诉搜索引擎不要显示页面片段 :

< meta name="机器人" 内容="nospipet" > >_
X- Robots- Tag: 无片段

*最大片段 页:1

将片段限制在35个符号内:

X-Robots-Tag:最大片段:35

** 最大图像审查* 页:1

告诉搜索引擎在搜索结果中显示大型图像版本:

X-Robots-Tag:最大图像审查:大

** 最大视频审查**

告诉搜索引擎显示没有长度限制的视频:

X-Robots-Tag:最大视频审查:1

** 未翻译。页:1

告诉搜索引擎不要翻译页面 :

+< meta name="robots" 内容="notranslate"/+>.
X- Robots - Tag: 无翻译

** 数字索引**

告诉爬行者不要索引页面上的图像 :

. QQ meta name="robots" 内容="noimageindex" />_.
X- Robts- Tag: 无名索引

** 之后无法使用**

告诉爬行者不要在指定日期之后(例如2025年2月1日)索引一页:

(中文(中国大陆) ). QQ meta name="robots" 内容="unopulations_after: 2025-02-01" QQ.
X-Robots-Tag: 无法使用_after: 2025-02-01

检查机器人指令

维亚谷歌搜索控制台

您可以使用 Google 搜索控制台的 URL 检查工具检查页面索引细节。此工具显示一个页面是否被屏蔽了索引, 并解释原因。

要访问URL检查工具,请向左侧边栏导航并点击“URL检查”。输入搜索栏中要查看的 URL 。在网页索引细节中的“缩略语”栏目下,你会看到该页是否是索引的,以及为什么。在提供的截图中, 由于机器人元标记中存在无索引指令, 页面没有索引。

如果一个页面被 X-Robots-Tag 屏蔽,则会像下面的截图一样在报告里显示.

要看到Googlebot从检查页面收到的HTTP回复全文,你有两种选择:

要获得实时数据,请点击_Test live URL_在同一站点下_URL检查_. 测试完成后,点击_View crawed page_. 有关HTTP响应的更多信息请访问_More info_。
页:1 要查看上次的爬行数据,请点击 HTTPS > 爬行 > 查看 HTTP 响应 直接在_ URL 检查_ .

使用网站审计工具

如果您在检查页面时发现机器人元标记无效, 请确认URL在机器人中没有被屏蔽。 txt文件 (简体中文). 你可以在地址栏上查看,或使用Google的机器人. txt测试器.

SE Ranking 还可以检查索引中哪些网页。为此,请访问_Index状态检查器_工具.

此外,升级后的网站审核2.0工具还具有更新的_Crawling & Indexing_类功能,在其中标记被机器人.txt,X-Robots-Tag屏蔽的页面,或者HTML或HTTP头中包含无索引或无后续指令的页面.

搜索引擎需要时间来索引或去索引一个页面。为了保证您的页面没有索引, 请使用网页主机服务或浏览器插件检查元标记( 例如, Chrome 1 CLICK中的SIO META) 。

使用机器人和 X- Robots- Tags 时常见错误

使用机器人和X-Robots-Tag可能很棘手, 进行技术性的标准作业程序审计有助于查明和解决这些问题。为了让大家更清楚地了解在分析你的网站时所期望的是什么,我们列出了一个最常见的问题的清单.

与机器人冲突.txt

官方的X-Robots-Tag和机器人指南指出,搜索机器人仍必须能够爬行意图从索引中隐藏的内容. 如果您在机器人中存在一些特定的页面,请访问disallow. txt文件,爬行者无法访问机器人指令.

如果一个页面有_noindex_属性,但在机器人中是_dispalled_. txt文件,可以在搜索结果中进行索引和显示. 一个例子是爬行者通过跟随另一个来源的回路找到它.

要管理您页面在搜索中的显示方式, 请使用机器人元标记和 x- 机器人。

在机器人中添加一页. txt 而不是使用无索引

有些人错误地使用机器人. txt文件 _ 作为_ 无索引指令的替代,因为错误地认为它会阻止一个页面被索引. 在机器人中添加一页. txt文件通常导致不允许爬行,而不是索引. 这意味着爬行者仍然可以索引那页(就像我们在上一节中提到的后链接).

所以,如果你不希望你的页面索引化,建议在机器人中允许它。 txt 文件并使用无索引指令. 另一方面,如果你的目标是防止搜索bots在网站爬行时访问你的页面,那么在机器人中就不允许访问. txt文件 (简体中文).

在机器人中使用机器人指令. txt 文件

在使用机器人元标记和X-Robots-Tags时的另一个常见错误是将它们包括在机器人中. txt文件 (简体中文). 这特别适用于无后续指示和无索引指示。

Google从未正式确认这种方法有效. 此外,搜索引擎通过其研究发现,使用这些指令可能与其他规则相冲突,可能损害网站的存在和搜索结果的地位。因此,自2019年9月以来,Google一直认为这种做法无效,不再接受机器人中的机器人指令. txt文件 (简体中文).

未及时删除无索引

在使用中转页面时,通常的做法是包括一个无索引机器人指令,以防止搜索引擎在搜索结果中对这些页面进行索引和显示。但必须记住一旦网页开始,

不这样做会导致流量下降, 如果你没有及时注意到, 如果这种不便得不到解决,就可能成为一个更大的问题。

** 从站点地图上移除一个 URL 后再解码 * 页:1

如果将_noindex_指令添加到页面中,那么立即从网站地图文件中删除该页面是坏做法. 这是因为您的站点地图可以让爬行者快速找到所有页面,包括打算从索引中删除的页面.

一个更好的选择是创建一个单独的网站map.xml,其中包含包含_noindex_指令的所有页面列表. 然后在文件被去索引时删除 URL. 如果你把这个文件上传到Google搜索控制台,机器人很可能会更快地爬过.

更多地了解小型和小型企业制图方面的共同问题和最佳做法。

在网站上更改后不检查索引状态

有时有价值的内容,甚至整个网站都会被错误地屏蔽索引. 避免, 请在修改后检查您的页面索引状态。

如何不使重要页面去索引

您可以使用 SE Ranking 的页面更改监视器来监视您网站代码的更改。此工具允许您跟踪主搜索引擎的 HTML 代码和索引状态。

当一个页面从搜索中消失时,你应该做什么?

当您的重要页面之一没有在 SERPS 中出现时, 请检查指令是否阻碍它被索引, 或是机器人中是否有_ disallow_ 指令。 txt文件 (简体中文). 另外,请查看URL是否包含在网站映射文件中. 您也可以使用 Google 搜索控制台告诉搜索引擎, 您需要将您的页面索引化, 并告知您域名更新的网址地图。

如果您允许与机器人元标记进行索引, 请确保内容易于解析, 包括使用合适的标题标记, 我们的HTML标题指南解释了如何有效地做到这一点。

总结

机器人元标记和X-Robots-Tag都被用于控制页面的索引和显示在搜索结果中. 但它们在执行上有所不同:机器人元标记包含在页面代码中,而X-Robots-Tag则在配置文件中指定.

在结束之前, 选择最适合您网站及其需要的方法。确保搜索引擎清晰理解并遵循您的索引指令,并定期检查一切正常运行.

Anna是SE Ranking的SEO及内容营销专家, 她的着眼点是写出准确,易懂,内容丰富的作品,这些作品将复杂的话题转化为吸引读者共鸣的叙事. 除工作外,她还享受伸展练习,锻炼,计划下一场旅行冒险,并与她心爱的猫女一起度过时光.