提交网站地图能加快网页收录
by study5 on 08/01/09 at 3:39 下午
搜索引擎提倡每一个网站都提交网站地图，以方便搜索引擎正确的对网站进行索引。提交网站地图到底对网站本身有多少积极意义？这个问题没有什么标准答案。SEOmoz的Rand曾经建议大家不要提交网站地图，不过近日有一位叫chenry的SEO做了一个测试，测试出提交网站地图对于搜索引擎蜘蛛抓取网站具有积极意义。英文文章原文在这里，Rand在这篇文章评论里表示自己以前的观点是不妥当的。
测试分析如下。
测试条件：一个流量差不多的wordpress博客，装有Google XML sitemaps generator插件。相信使用过wordpress的都应该知道这个插件，每一次你编辑或者发布了一篇文章，它都会自动更新网站地图并将网站地图提交到主流的搜索引擎。
测试过程：chenry在博客网站装了跟踪搜索引擎蜘蛛的代码，可以跟踪蜘蛛每一次访问网站地图，每一次地图被提交，蜘蛛爬行的每一个页面，收集这些动作发生的时间、IP地址、客户端，存在一个MySql数据库了。同时，他也修改了sitemap generator这个插件，增加了跟踪该插件每次提交网站地图时间的代码。
测试结果：提交网站地图将帮助搜索引擎更快的抓取并收录网页！提交网站地图情况下，Google平均只需要14分钟，Yahoo需要245分钟去爬行新文章。不提交网站地图，Google用了1375分钟，Yahoo则用了1773分钟。chenry总共跟踪了12篇文章，6篇提交了网站地图，6篇没有提交。
差别真的有这么大吗？chenry又去测试了一下自己的博客，发现提交网站地图之后30分钟Google就来了，Yahoo紧随其后。
当然，也有可能是测试的博客本身链接结构不好，导致在没提交网站地图的情况下蜘蛛找到新内容需要更长时间。这位细心的SEO又重新检查了一便博客的抓取情况，发现指向新文章的页面已经被蜘蛛爬行过了，但还是要长时间之后才正式抓取新文章。这样就排除了这个可能。
从这个测试看来，网站地图对加快网页收录是有积极意义的。
具体过程是怎样的？我猜测，应该是提交网站地图触发搜索引擎派蜘蛛去重新抓取网站，蜘蛛发现指向新网址的链接，抓取新网址，索引网页。没有提交网站地图，蜘蛛常规抓取网站，发现指向新网址的链接，等待空闲的蜘蛛，等啊等，很长时间之后蜘蛛有空了去抓取。
以上纯属个人猜测，如与事实相符，纯属巧合：）
发布评论