认识抓取与索引

认识抓取与索引

抓取与索引是外贸SEO领域里面非常非常基本的两个观念,在接触任何SEO工作时你一定要理解。

了解网络蜘蛛 ( Web Spider , Like Google Bot )

网络蜘蛛这个说法比较抽象,官方将它称为Google Spider、Google Bot,你可以把整个世界网络想象为一个巨大蜘蛛网,而搜索引擎本身有属于它的软件,像是蜘蛛一样在这巨大的网络上爬行,并收集信息。

做SEO工作,维持网络蜘蛛与网站之间良好的关系是非常重要的,你必须要了解各大搜索引擎蜘蛛的效能以及规范,并尽量让它能够完整抓取你网站上的优质内容。

理解抓取 ( Crawl ) 、索引 ( Index )

搜索引擎运作原理我们可以简单说为

抓取 ( Crawl) – > 演算、建立索引到搜索引擎上 ( Index ) – > 供查询、在 Google Search Console里面被翻译为"检索",但小编个人还是习惯将它翻译为抓取,抓取 ( Crawl )这个动作便是指搜索引擎抓取你网站上数据的行为,包含你的网站关键词、网站内容、反向链接等。 而索引则是在抓取完你的网站数据之后,它会将获得的信息透过演算、建档,并收录到搜索引擎中,这个建档、收录的动作称为索引 ( Index ),建立完索引后,User便可以于搜索引擎中找到你的网站(简单来说,先有抓取才会有索引)。

抓取与索引是完全不同的两件事。 有可能透过观察,你会看到很正常的抓取到了你页面上的信息,但却没有将你的页面索引到搜索引擎上,这样状况通常是你的网站有违规行为受到逞处,又或是你的排名太差,在搜索引擎找不到自己的页面。

抓取 ( Crawl ) 与索引 ( Index )的优化工作

理解抓取与索引是甚么并不是重点,重点在于理解如何优化工作,你可以利用很多数字营销工具来观察网络蜘蛛与你的网站的互动状况,像是Screaming Frog 以及 Search Console 为做 SEO工作,优化抓取必备的工具。

为何抓取 (Crawl ) 会需要优化

抓取优化工作,最主要是你必须要确定,有确实完整抓到网站的数据,有可能你的一些网站结构以及HTML语法的错误,导致它看不到你的网站,这是非常致命的一件事。

当然也有一些特殊情况你不希望网络蜘蛛去抓取到你的网站,比方说你有页面未完成、还在测试中,你不希望User跟Google看到这个页面 ,那你必须要使用一些语法,防止网络蜘蛛抓到这个页面的数据。

为何索引 ( Index ) 需要优化

测试索引 ( Index )的唯一办法就是实际使用搜索引擎去搜寻自己的网站。