站点地图可以帮助搜索引擎更快地抓取网页吗

您网站上的站点地图会向搜索引擎机器人发出信号,让其以智能方式抓取您的网站。

当您更新网站上的某个内容时,站点地图会自动更新与特定页面相关的存储数据。

下次 Google 爬虫访问您的网站时,站点地图会显示更新后的页面,以便立即重新抓取。因此,新内容会更新到 Google 的索引中。

如果您对内容质量做出了实质性的改进,Google 甚至可能会在重新抓取后将您的内容排名提高。

值得一提的是技术 SEO 专家Casey Henry(他也是SparkToro的联合创始人)在 2009 年所做的实验。

该实验仍然具有现实意义,因为谷歌现在比以前更加重视站点地图。

Casey Henry 的站点地图实验

和许多阅读此博客的人一样,Casey 对站点地图的必要性感到困惑。他不太相信 Google 提供的信息和最佳做法。

于是,他决定亲自检查一下。

首先,他联系了一位客户,并要求在使用Google XML Sitemaps Generator 的WordPress 网站上插入跟踪代码。

客户要求尽早继续发布文章。随着时间的推移,网站上添加了 12 篇文章,Henry 在其中更新了站点地图,添加了 6 篇文章,而其他 6 篇文章则被删除。

实验结束后,亨利惊讶地发现,通过站点地图提交的 URL 仅用了大约 14 分钟就被 Google 编入索引。

未添加到站点地图的其他 6 个 URL 需要 1375 分钟或 22 小时才能被抓取和编入索引。

实验结果如下

数据清楚地表明,在索引没有站点地图的新页面时,Google 的爬虫比 Yahoo 的爬虫速度更快。

考虑到这是 2009 年的数据,并且 Google 机器人已经变得更加复杂,不提交站点地图的抓取时间肯定减少了 50%。

 

添加站点地图后,Google 机器人能够在 14 分钟内抓取网页。不过,还有其他一些因素可能会影响抓取率。

一旦 Google 发现某个网站每天都在积极发布内容,其机器人就会更频繁地访问该网站以索引新页面。

除此之外,还有一些新闻网站会实时将文章纳入 Google 索引。

有助于加快新闻和杂志网站索引速度的是添加到 Google 新闻仪表板和 Google 新闻站点地图的 RSS 提要。

现在您知道了站点地图对于更快索引的重要性,让我们看看站点地图如何帮助更好地优化抓取预算

站点地图可以帮助优化抓取预算吗?

是的。保持站点地图整洁干净将确保搜索引擎机器人花更多时间抓取您网站上的重要页面

然而,大多数网站管理员并没有这样做!结果是 Google 机器人花费大量时间抓取和索引那些已规范化或未加索引标签的页面。

很少有人谈论这种随意创建的站点地图的严重性。这种杂乱的站点地图可能会导致搜索引擎机器人在无关页面上花费更多时间。

结果,网站上更重要的页面被爬虫程序遗漏,导致关键页面需要更多时间才能出现在Google SERP 上。

为了避免此类带宽损失,除了删除无索引、规范化和 404 错误页面之外,还要确保只将值得在 SERP 中显示的页面添加到站点地图中。

当机器人发现一连串有错误的页面时,它可能会跳过其余页面以节省抓取时间。优化站点地图文件并重点关注 robots.txt 文件中添加的例外情况必须列在您的优先列表中。

SEO 中的站点地图有哪些不同类型以及最佳实践?

Google 已确认接受各种格式的站点地图文件。不过,Google 将单个站点地图的大小限制为 50 MB。

但除非您是企业网站所有者,否则您无需担心。50MB 的大小足以容纳至少 50,0000 个 URL。

如果超出 50 MB 的基准,则必须将站点地图文件拆分为更小的集群,然后单独添加到搜索控制台,因为 Google 支持多个站点地图。

Google 支持的站点地图类型

  • XML 站点地图

XML 或基于扩展标记语言的站点地图是您在网络上可以找到的最常见的站点地图。

如果您正在运行 WordPress 网站并使用插件生成站点地图,那么这就是您可以生成的格式。

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注