新站上线十二小时被收录 分析蜘蛛爬行规律

今天早上使用site:www.wengerbag.com搜 索收录时，发现威戈箱包网被 SOSO收录了，距离上线12小时。SOSO永远都是那样的善解人意！上线15小时后，goolge也收录了威戈箱包网。google对新人站果然够友好！

其实9月8日晚上8点多威戈箱包网上线并发了外链后，从日志上看到google机器人是几分钟之后8点28分就光顾了网站，百度蜘蛛半个小时后出 现，soso蜘蛛又晚了二十分钟，即比google机器人迟到了五十分钟后。

从蜘蛛爬行威戈箱 包网的情况看，SOSO很奇怪，首先是抓了robots.txt，然后就没有了下文是因为夜晚太繁忙了？一直等到凌晨一点，SOSO又抓取了 威戈箱包网的首页及必要的脚本，然后又潜伏了起来。早上聊城网站建设公司8点，SOSO又来抓取了一下首页。这期间威戈箱包网没有更新，所以首页没变化，SOSO也就再次 撤退。

google机器人也是先抓取robots.txt文件，然后立即抓取首页。一个半小时后花9点52分，google机器人再次出现还是抓取 robots.txt文化，然后抓取首页。又过一个小时到了11点04分，google机器人开始爆发了，它还是先抓取威戈箱包网的robots.txt 文件，然后抓取了目录页和其它的文章页，比较奇怪的是，这些抓取并不是马上完成的，中间有时间隔了一个小时。所有页面的抓取在凌晨一点前完成。截止上午 11点发稿，google机器人没有再临汾网站建设公司来过威戈箱包网。

百度蜘蛛的网站制作公司抓取特点极为明显。从8日晚8点半到9日上午11点，百度蜘蛛共光顾威戈箱包网11次。在长达11次的试探中，百度蜘蛛的试探规律很有意思，8 点56分抓取了首页，半分钟后再次抓取首页，又过三分钟再来，又过三分钟再来，估计看到首页没变化，又过了半小时才来，然后又过了一刻钟过来，接下来又是 一小时或一刻钟一来，10点48分百度蜘蛛全面撤退。今天上午9点时，百度蜘蛛在两分钟内两次光顾威戈箱包网首页，大概见到首页还是没更新，近11点时又 过来抓取了一次。

百度蜘蛛来威戈箱包网每次都是直奔首页，对robots.txt置若罔闻，说明百度蜘蛛还是有点暴力的你的声明我不在乎！同时对于一个新接触的站，百 度只关注首页，对内页不闻不问。

从三个蜘蛛的爬行规律来看，站长们应当及时更新站点，尤其是首页，一定要保持每天的更新状态。对于新站，如果想要迅速引起蜘蛛的兴趣，可以考虑少食多 餐的做法，每隔一段时间就发一篇文章，这个效果比一次性发出所有的效果好。