搜索网站所有网页的《标准环境指南》，SE Ranking的SEO专家. Olena在市场研究、网站绩效改进、调查和解决技术性的机会均等问题方面具有专门知识
总结此博客文章:
在标准环境世界,数据驱动知情的决定和有效的战略。 要成功,你应该专注于两件事:市场意识和对网站的透彻理解.
这篇文章的焦点是第二篇:了解你的网站,
SE Ranking的下载AI概览研究
获取免费副本了解AIOs如何在推出后进化,
你们都准备好了!
点击我们在电子邮件中发送的链接确认您的电子邮件
并获得由SE Ranking撰写的AI概览研究
让我告诉你一些可能的理由,为什么你可能需要找到一个网站的所有网页, 哪些工具可以帮助你有效地做到这一点, 以及具体是如何做到的。
- SE Ranking网站审计:
此工具爬行您的网站, 收集所有搜索引擎可以索引的 URL 。 它允许对特定站点部分进行扫描的定制,并提供错误,URL结构,索引状态等度量衡.
- 谷歌搜索控制台:
GSC显示Google的所有页面都在您的网站上索引,包括那些因错误而未索引的页面. 您可以导出数据以跟踪和提高您的网站的可见度 。
- 谷歌分析:
它记录了用户访问过的所有网页,对可能被忽略的网页提供了深刻的见解,但对标准业务干事或市场营销仍然很有价值。
*Bing网站主机 工具 :
这个工具揭示了所有由Bing索引的页面,提供了Google索引的替代方案,并帮助优化了您不同搜索引擎的网站.
- 命令行 :
使用Wget等工具,您可以从一个站点下载并列出所有URL,包括站点结构深处的URL.
- 项目:
通过访问 sitemap.xml 文件,可以找到网站所有者想要索引的所有页面.
*言语 按下插件 :
如列表所有 URL 和导出所有 URL 等插件简化了提取所有站点页面的过程,特别是对 WordPress 用户而言.
为什么我需要找到每一页? 页:1 页:1
搜索引擎定期更新算法,并对页面和网站实施人工处罚. 因此,不知道所有网站的网页都会让你处于危险之中。
为了避免重大挫折,你应该监视你网站的每一页. 这也会帮助你发现被遗忘或隐藏的页面,
在某一网址上找到所有网页至关重要时,有几种可能的情况:
- 改变网站架构
- 移动到新域或改变 URL 结构
- 寻找孤儿页面
- 查找重复页
- 查找404页
- 创建方向
- 创建网站 hreflang 文件
- 检查犬科和无索引标记
- 建立内部联系
- 创建 XML 站点地图或机器人。 txt 文件** 如何找到网站的所有网页* 页:1
现在,在找到所有属于单一网站的网页时,有以下选择:
- 使用SE Ranking网站审计查找所有可爬行的网页。
使用Google搜索控制台来发现只有Google能看到的页面.
使用Google分析器检测所有曾经访问过的页面.
*使用Bing Webmaster工具来捕捉只有Bing能看到的网页. - 使用命令行命令下载网页列表。
- 从siteap.xml摘录网站URL.
- 通过WordPress和其他插件查看网站的所有页面。
让我们探索如何使用这些工具扫描所有网页的网站。
** 通过SE Ranking网站审计查找可浏览网页**
让我们从收集所有用户和搜索引擎爬行者都可以访问的URL开始, 分析这些网页应该成为你的首要任务,因为它们最受关注。
为此,访问SE Ranking,打开网站审核工具并按_New Audition_按钮启动.
也可以在项目设置期间在高级设置中设置自动网站审核.
SE Ranking所有可用的工具和功能, 包括网站审核_。
接下来, 让我们配置这些设置, 以确保我们告诉爬行者通过正确的页面。 要访问网站审计设置,请点击右上角的_Gear_图标:
在设置下,__去_网站审核的页面来源_标签,让系统扫描_网站页面_,Subdomains,_QML网站地图_验证我们只是扫描已明确指定的内容,并且将网站的子域与其所有页面一并包括:
然后,到_规则扫描页面_,并启用_考虑机器人。 txt指令_可选择告诉系统遵循机器人指定的指令. txt文件 (简体中文). 当您完成时点击 QQpply 更改 :
如果您有基于 JS 的网站, 请访问 _ Parser 设置 _ , 并允许 JavaScript Rendering 确保工具扫描您网站上的动态加载内容 。
您也可以在启动网站审计向导的新审计时启用此功能 。
请注意, 我们现在提供网站审计2.0 您可以在“ 报告设置” 栏目中切换, 如果您有更旧的审计版本。 最新情况包括:
- 改进健康分数计算,既考虑到错误的严重程度,又考虑到受影响页数
- 新的综合检查,并有下列专用类别:爬行和索引、siteaps、Meta标签、内容、速度和性能、链接,以及更多
- 更新分析算法,根据这些问题对网站业绩和总体健康得分的实际影响,更好地确定问题的优先次序
现在,请回到_Overview_tab_,并用点击`重新开始审计'的新设置启动审计:
审计完成后,请访问_crawed Pages_查看所有可爬行页面的完整列表:
加上所有发现的URL列表,你会看到该网站的所有基本标准指标,包括:
- 参考页:您网站上链接到特定URL的页数。
- 每页技术问题的数量。
- 每页总流量。
- 各页排列的关键词总数。
- 指数状况。
- 页面URL中的字符数。
- URL协议的类型和版本。
- 页面是否在网址地图中。
- 页面上的服务器响应代码。
*该页面是否被机器人屏蔽. . - 还有更多
上述衡量标准将作为默认列出现在缩写页标签中。 然而,您可以通过添加其他参数来自定义报告以满足您的特定要求. 只需在右侧的表格上方的列部分,并按要求启用或禁用任何度量标准。
缩写页面可以按其包含的错误,警告和通知排序. 这将使您在固定问题时能够优先排序页面 。 一旦您对您的网站进行了至少两次审计,您也可以比较报告。 这可以帮助您观察您所爬行的页面随时间的变化.
也有可能使用过滤器按不同的参数来整理页面。 例如,如果您只想要看到200个状态码的页面,比如在正确工作的页面中,请添加这样的过滤器:
现在该是输出结果的时候了。 转到导出并选择以.xls或.csv格式保存数据。
通过 Google 搜索控制台查找所有页面
另一个可以在网站上找到所有页面的工具是Google搜索控制台. 不过,要记住,GSC只会显示谷歌可以访问的页面.
开始打开你的账户 然后转到索引标签 选择页面报告并选择“所有已知页面”而不是“所有已提交的页面”。
贴上“Indexed”标签的绿盒将给出Google索引的URL数量。 点击图表下的“关于索引页面的视频数据”。 从这里,你可以在谷歌索引的域上找到所有的URL,以及它们最后一次爬行的日期. 您可以在 Google 工作表中导出或下载为 .xls 或.csv 文件 。
现在,让我们回过头来检查一下没有索引的页面(没有索引的页面不会出现在谷歌中 ) 。 准备卷起袖子,做大量手工工作.
在下卷时, 你会看到一个清单,
您可以查看不同的分类, 例如方向错误、 被“ noindex” 标记排除在外的页面、 被 robots. txt 封锁的页面等 。
通过点击错误类别,您可以看到受影响的页面列表 。 每一个都会让你无过滤地访问 Google 在你的网站上发现的每一个页面
全球供应链中找到所有网页的另一个有用报告是搜索结果报告。 本报告显示所有在搜索结果中至少获得一个印象的页面。 要访问它,请在性能标签中查看搜索结果,设置尽可能大的时间段,并选择Pages. 最后,输出你的报告。
也可以使用Search Analytics for Sheets 加载的搜索解析器,根据要求从GSC获取数据,并在Google Sheets中创建自动备份.
** 通过Google分析查找所有页页 页:1
通过仔细研究你的Google分析账户中的数据,也可以找到所有网页. 只有一个条件:您的网站必须连接到您的Google Analytics账户,以便它能够收集幕后数据.
这里的逻辑很简单:如果有人曾访问过您网站的任何网页,Google Analytics将会有数据来证明. 由于这些访问是由人进行的,我们应确保这些网页服务于特别的SEO或营销目的。
开始为_Reports_ 约定_页面和屏幕_点击_页路径和屏幕类_.
您也可以点击 QQ Publications QQ, 使箭头指向并排序页面 URL 从最小到大多数页面视图 。 最终,访问最少的网页将列在榜首。
然后,共享或导出数据到 .csv 文件.
使用 Bing Webmaster 工具查找所有网页
Google被认为是搜索巨头,但Bing仍然是迄今为止第二流行的搜索引擎. 截止2025年1月,其全球搜索市场为4.04%,将适当优化你为Bing网站的智能策略.
也可以使用Bing Webmaster工具在由Bing索引的网站上查找所有页面. 这一过程是直截了当的,但在开始之前,要确保您已经添加并核实您的网站.
您的站点设置完毕后, 请前往左手导航栏的 Site Explorer , 选择使用“ 所有 URLs ” 过滤 。 报告将显示Bing在你的网站上看到的所有页面。 单击下载按钮导出数据。
使用命令行在网站上查找所有页面
在一个网站上找到所有页面列表的更技术的方法是使用命令行. 这种方法涉及通过文本命令与计算机交互.
要通过命令行从网站获取所有URL, 您首先需要安装 Wget 。 此命令行工具允许您从网络获取文件 。 安装过程因您使用的操作系统而异。 例如,macOS要求您在安装像Wget这样的命令行工具之前先安装Homebrew包管理器.
要安装Wget,请打开终端窗口并在以下命令中输入:
酿造安装 wget
接下来下载您的网站 。 输入 :
wget - r www. (英语).
Wget 会连续下载您的网站 。 从网站主页及其所有链接的网页、图像和其他文件开始。 从那里开始,它将跟踪这些网页上的链接,下载它们链接的网页,并将继续这一进程,直至下载整个网站。
网站下载后,您可以通过输入方式要求Wget列出URL:
见www.。
通过 Schiteap.xml 查找所有网页
XML网站地图也是在网站上找到所有页面的好方法,因为它提供了所有者想要搜索引擎索引的所有页面列表. 它的工作就像一个路线图,引导搜索引擎通过网站的结构,使他们更容易理解一切是如何组织的。
得到名单,遵循这些步骤:
网站地图通常可以在网站的根目录中找到,或者在网站URL末尾输入"/siteap.xml",如 如果网站有多个网站地图,它们将被列出在主网站地图文件中,这个文件通常被命名为网站地图-index.xml. 您可以在此找到网站地图列表, 并选择最相关的网页列表 。
- ** 从您的站点图中将 URL 扩展为 Google 工作表。 页:1
虽然这是另一种技术重的方法,但它会在几秒钟内将所有URL导入Google Sheets,从而节省你大量的时间和精力. 然而,你首先需要做一些准备工作。 开始创建新工作表, 然后转到扩展 。 接下来选择“ 附录脚本 ” 。
从这里,保存和运行测试。 编辑者会请求访问许可. 如果脚本执行成功, 将不会出现错误消息, 您将会看到执行已经开始并完成 。
现在你可以回去了 Google 工作表并输入以下公式:
=siteap ("Siteap Url","Namespace Url") 缩写为:
一旦您找到您的站点映射, 您应该手持站点映射 URL, 您可以从中直接复制Namespace URL 。 在下面的截图中,你可以看到这与SE Ranking的站点地图有什么关系:
*siteap URL位于浏览器地址栏.
* Namespace URL位于网站地图内容的第一行.
复制这些地址并将其粘贴为链接 。 这就是你最后应该得到的:
=sitemap("),").
将此公式粘贴到您的 Google 工作表, 并按 Enter 从您的站点图中提取所有 URL 。
通过 WordPress 插件查找所有网页
如果您的网站运行在WordPress上,则有插件可以帮助您找到其所有页面. 最常用的两个选项是:
要使用这些插件, 请下载并安装到您的“ /wp- content/ plugins/ ” 目录 。 一旦安装, 请从 WordPress 的插件页面中激活 。 一旦您完成激活, 您可以列出或导出您网站的所有 URL 。
如果您使用不同的 CMS, 请检查它是否有用于此目的的内置插件, 或者在扩展目录中有一个单独的插件 。 例如,Joomla有许多生成网站映射的插件来帮助您获得网页列表. 同样,Drupal有一个站点地图模块,在收集您的站点页面时可以方便地使用.
如何在 Google 上看到网站的所有页面
我们讨论过各种工具, 帮助您在您的网站上找到所有页面, 虽然这种方法最简单,但使用时必须小心.
谷歌你的网站,但做对了。 这意味着使用Google搜索操作员,这是根据设定的标准完善搜索的特殊命令.
直接到 Google 搜索和“网站:网站名称”类型, 您不需要添加 http:// 或 www, 但请确保操作员和查询之间没有空格; 否则结果会不正确 。
但Google的John Mueller确认, 这个命令并非是用来在您的网站上显示所有索引页面的。
约翰·穆勒
谷歌搜索律师
简短的回答是,一个网站:查询本意不是完整的,也不是用于诊断目的. 这个查询将结果限制在一个特定的网站上. 这并非是该网站所有网页的完整集合。
最后一条提示是使用Google搜索控制台,但与前几节解释的方式略有不同. 关注页面的印象(在搜索中显示页面的次数),但时间很短;例如,七天。
** 结束思想* 页:1
请访问InfoFinland上的官方网站, 通过这些数据,您可以识别需要改进的网页,更新过时的内容,找到所有网站链接并修复断开的链接,并优化总体内部链接结构.
通过使用这篇文章中描述的工具和方法,你能够迅速发现自己网站上的所有网页,并获得对其表现的宝贵见解. 所以,花点时间来汇编一个页面列表, 以保持你的SEO和营销努力之上。 从SE Ranking团队中取而代之:当你使用我们的工具时,
奥莱纳是SE Ranking的SEO专家. Olena在改善网站、审查博客文章、为SE Ranking的功能产生想法方面, 你可能已经看到 她在我们的社交媒体上的新闻摘要。 Olena是一个活跃的学习者,