SEO成功的7个编码障碍

Googlebot仅遵循特定的命令，忽略表格和cookie，仅对正确编码的链接进行爬网。因此，站点建设中的错误和疏忽会影响对其进行爬网和建立索引的能力。

很自然地假设搜索引擎可以访问人们在网站上看到的所有内容。但是事实并非如此。

据报道，Googlebot可以填写表格，接受Cookie并抓取所有类型的链接。但是访问这些元素将消耗看似无限的爬网和索引资源。

因此，Googlebot仅遵循某些命令，忽略表单和cookie，仅爬网使用适当的anchor标签和href编码的链接。

以下是阻止Googlebot和其他搜索引擎机器人抓取（和编制索引）您所有网页的七个项目。

1.基于位置的页面

具有支持区域设置的页面的站点会检测访问者的IP地址，然后根据该位置显示内容。但这不是万无一失的。比如：访客的IP似乎在波士顿，即使她住在纽约也是如此。因此，她会收到她不想要的有关波士顿的内容。

Googlebot的默认IP来自加利福尼亚州圣何塞地区。因此，Googlebot仅会看到与该地区相关的内容。

首次进入站点时基于位置的内容很好。但是后续内容应基于单击的链接，而不是IP地址。

有机搜寻成功的无形障碍是最难发现的障碍之一。

2.基于Cookie的内容

网站将cookie放置在Web浏览器上，以个性化访问者的体验，例如语言首选项或渲染面包屑的单击路径。访问者只能通过Cookie，而不是单击链接来访问的内容将无法被搜索引擎机器人访问。

例如，某些站点基于cookie提供国家和语言内容。如果您访问在线商店并选择以法语阅读，则会设置一个cookie，而您在网站上的其余访问都将以法语进行。URL与网站使用英语时的URL相同，但是内容不同。

网站所有者大概希望法语内容在自然搜索中排名，以将讲法语的人带到该网站。但是不会。如果URL不会随着内容的更改而改变，那么搜索引擎将无法抓取或排名其他版本。

3.不可抓取的JavaScript链接

对于Google来说，链接不是链接，除非它同时包含锚标记和指向特定URL 的href。锚文本也是可取的，因为它可以确定链接到的页面的相关性。

下面的假设标记着重说明了可抓取链接和不可抓取链接与Googlebot的区别：“将被抓取”与“不被抓取”。

Google要求链接同时包含锚标记和指向特定URL 的href。在此示例中，Googlebot将抓取第一行和第四行。但是它不会爬第二和第三。

电子商务网站倾向于使用onclick（指向其他页面的鼠标悬停下拉菜单）而不是锚标记来编码其链接。虽然这种方法适用于人类，但Googlebot不会将其识别为可抓取的链接。因此，以这种方式链接的页面可能存在索引问题。

4.标签网址

AJAX是一种JavaScript形式，可以刷新内容而无需重新加载页面。刷新后的内容会在页面的URL中插入井号（井号：＃）。不幸的是，＃标签并不总是在以后的访问中复制预期的内容。如果搜索引擎将主题标签URL编入索引，则内容可能不是搜索者正在寻找的内容。

虽然大多数搜索引擎优化人员都了解标签标签URL固有的索引问题，但营销人员通常会惊讶地发现其URL结构的这一基本要素正在引起自然搜索麻烦。

5. Robots.txt 不允许

robots.txt文件是网站根目录下的原始文本文档。它告诉机器人（选择服从）通常通过disallow命令来爬网哪些内容。

Disallow命令不会阻止建立索引。但是由于机器人无法确定页面的相关性，它们可以阻止页面排名。

禁止命令可能会意外出现在robots.txt文件中（例如，重新设计实时发布时），从而阻止搜索机器人抓取整个网站。robots.txt文件中存在禁止对象是检查自然搜索流量突然下降的第一件事。

6. Meta Robots Noindex

URL的meta标签的noindex属性指示搜索引擎机器人不要对该页面进行索引。它是逐页应用的，而不是用于管理整个站点的单个文件，例如disallow命令。

但是，noindex属性比禁止索引更强大，因为它们会停止索引。

像禁止命令一样，noindex属性可能会意外地实时上线。它们是最难发现的阻止者之一。

7.不正确的规范标签

规范标签可识别要从多个相同版本中索引的页面。规范标签是防止重复内容的重要武器。所有非规范页面将其链接权限（链接到它们的页面传达的值）归因于规范URL。非规范页面未编制索引。

规范标签隐藏在源代码中。错误可能很难发现。如果您网站上的所需网页未编入索引，则可能是错误的规范标签。