泰安seo培训(seo优化不要禁止搜索引擎抓取)

2018.05.30 - 作者:谷歌官方教程+马慧SEO编辑 - 阅 1,644 推荐

泰安seo：如果我们的网站设置成为禁止搜索引擎蜘蛛抓取，那么页面根本就无法被收录，更别提什么优化关键词排名了。

今天，小小课堂网为大家带来的是谷歌官方《确保 Googlebot 未被阻止》教程。泰安seo希望对大家有所帮助。

泰安seo

泰安seo：确保 Googlebot 未被阻止前言

阻止 Googlebot 访问某个网站会直接影响 Googlebot 抓取该网站的内容并将其编入索引，还可能导致该网站在 Google 的搜索结果中失去排名。遗憾的是，许多网站站长无意间阻止了 Googlebot 访问他们的网站（因为 Googlebot 需要访问相应网站才能在其 robots.txt 文件中检索和保留该位置），他们甚至可能并不知道这一工具。

Google 检测到这个问题后，可能会使用 Search Console 通知经过验证的网站所有者，告诉他们 Googlebot 已被阻止。

一、诊断 Googlebot 被阻止的问题

如果您怀疑 Googlebot 可能已被阻止访问您的网站，或者如果您收到了表明可能已发生此类情况的消息，请在 Search Console 中检查以下内容：

1、抓取错误

此页列出了Googlebot最近在尝试抓取您的网站时遇到的错误。

2、Google 抓取方式

您可以通过此页要求 Google 抓取某个特定网页，并快速显示相关结果（包括错误）。

二、常见原因

下面列出了Googlebot可能被阻止访问您的网站的一些常见原因。

1、DNS 问题

我们在尝试访问您的网站时无法与 DNS 服务器通信。原因可能是DNS服务器不可用，或者到您网域的DNS路由存在问题。

要解决此问题，请确保您的DNS提供商未阻止Googlebot（泰安seo认为可能是无意中阻止的）。

2、防火墙

在某些情况下，防火墙或 DoS 防御系统（有时是网站的内容管理系统）配置不当也会阻止 Googlebot 抓取网站。防御系统是完善的托管服务的重要部分，通常配置为自动阻止级别过高的服务器请求。然而，由于Googlebot发出的请求通常要比普通用户多，因此会触发这些防御系统，从而导致它们阻止Googlebot访问并抓取您的网站。

要解决此类问题，请找出您网站上阻止 Googlebot 的相关基础架构部分，然后取消阻止。如果您没有控制防火墙的权限，就需要与您的托管服务提供商讨论此问题。

3、网站站长的特意阻止

某些网站站长可能会使用上述防火墙特意阻止 Googlebot 访问他们的网站。在这些情况下，他们的目的通常不是彻底阻止 Googlebot，而是控制其网站被抓取和编入索引的方式。如果是这种情况，请查看以下信息：

1）如果您想要控制 Googlebot 对您内容的抓取方式，请查看我们提供的关于使用漫游器排除协议（包括使用 robots.txt 文件和配置网址参数）的详细帮助。

2）如果您担心遇到使用 Googlebot 用户代理的流氓漫游器，则可以验证抓取工具是否确实是 Googlebot。

3）如果您想要更改 Googlebot 抓取您网站的频率，则可以在 Search Console 中验证您的网站并更改 Googlebot 的抓取速度。托管服务提供商也可以验证自己 IP 地址的所有权。

以上就是小小课堂网为大家带来的是谷歌官方《确保 Googlebot 未被阻止》教程。泰安seo感谢您的观看。优化培训认准小小课堂！

本文最后一次更新时间：2022年2月28日