一个网站SEO关键词排名阶段可分为爬虫抓取、收录、排名、流量。在搜索结果中得到排名展现的网页内容是百度快照,让搜索引擎收录我们网站上的信息内容是排名的必要条件,其中网页收录的前提条件便是让搜索引擎爬虫可抓取网页内容。

网站页面收录的前提条件:搜索引擎爬虫可抓取

  1.搜索引擎抓虫不可读

  简单说下搜索引擎的基本工作原理,搜索引擎会通过一个叫做Baiduspider的网页爬虫程序抓取网页上的信息内容,然后处理放入索引库当中,达到搜索引擎要求,放出从而形成收录。但是搜索引擎抓虫技术并未成熟到可识别所有网站上的信息,目前只能读取网页文本内容,flash、图片等非文本内容搜索引擎爬虫还未能识别,建议大家文字信息少用flash、图片、js等方式来承载。搜索引擎抓虫不可读,可能会导致无法收录。

  2.屏蔽搜索引擎爬虫抓取

  (1)robots协议

  robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也是搜索引擎来抓取网站内容的第一个要访问的文件。相当于网站的警卫,告诉搜索引擎爬虫哪些可抓取哪些不可抓取。勿把需要搜索引擎收录的网页信息给屏蔽掉,Disallow就是禁止抓虫抓取。

  (2)nofollow标签

  nofollow标签就是告诉搜索引擎"不要追踪此网页上的链接或不要追踪此特定链接"。简单的说就是,如果A网页上有一个链接指向B网页,但A网页给这个链接加上了rel="nofollow"标注,搜索引擎就不会在A页面上继续抓取B页面。云优SEO在此提醒下nofollow与robost协议不同,一个是指局部一个是整体,别把两者混淆了。

  网站不收录可率先检查下网站是否可让搜索引擎爬虫抓取,不让搜索引擎爬虫抓取就无网站收录可言。