新网站上线后,百度、谷歌、搜搜的蜘蛛爬行轨迹

2021-02-01 17:06:30  23 浏览  0 评论   赞

百度蜘蛛的抓取特点极为明显。从8日晚8点半到9日上午11点,百度蜘蛛共光顾威戈箱包网11次。在长达11次的试探中,百度蜘蛛的试探规律很有意思

新网站上线后,百度、谷歌、搜搜的蜘蛛爬行轨迹

图4339-1:

今天早上使用site:www.wengerbag.com搜 索收录时,发现威戈箱包网被 SOSO收录了,距离上线12小时。SOSO永远都是那样的善解人意!上线15小时后,goolge也收录了威戈箱包网。google对新人站果然够友好!

其实9月8日晚上8点多威戈箱包网上线并发了外链后,从日志上看到google机器人是几分钟之后8点28分就光顾了网站,百度蜘蛛半个小时后出 现,soso蜘蛛又晚了二十分钟,即比google机器人迟到了五十分钟后。

从蜘蛛爬行威戈箱 包网的情况看,SOSO很奇怪,首先是抓了robots.txt,然后就没有了下文——是因为夜晚太繁忙了?一直等到凌晨一点,SOSO又抓取了 威戈箱包网的首页及必要的脚本,然后又潜伏了起来。早上8点,SOSO又来抓取了一下首页。这期间威戈箱包网没有更新,所以首页没变化,SOSO也就再次 撤退。

google机器人也是先抓取robots.txt文件,然后立即抓取首页。一个半小时后花9点52分,google机器人再次出现还是抓取 robots.txt文化,然后抓取首页。又过一个小时到了11点04分,google机器人开始爆发了,它还是先抓取威戈箱包网的robots.txt 文件,然后抓取了目录页和其它的文章页,比较奇怪的是,这些抓取并不是马上完成的,中间有时间隔了一个小时。所有页面的抓取在凌晨一点前完成。截止上午 11点发稿,google机器人没有再来过威戈箱包网。

百度蜘蛛的抓取特点极为明显。从8日晚8点半到9日上午11点,百度蜘蛛共光顾威戈箱包网11次。在长达11次的试探中,百度蜘蛛的试探规律很有意思,8 点56分抓取了首页,半分钟后再次抓取首页,又过三分钟再来,又过三分钟再来,估计看到首页没变化,又过了半小时才来,然后又过了一刻钟过来,接下来又是 一小时或一刻钟一来,10点48分百度蜘蛛全面撤退。今天上午9点时,百度蜘蛛在两分钟内两次光顾威戈箱包网首页,大概见到首页还是没更新,近11点时又 过来抓取了一次。

百度蜘蛛来威戈箱包网每次都是直奔首页,对robots.txt置若罔闻,说明百度蜘蛛还是有点暴力的——你的声明我不在乎!同时对于一个新接触的站,百 度只关注首页,对内页不闻不问。

从三个蜘蛛的爬行规律来看,站长们应当及时更新站点,尤其是首页,一定要保持每天的更新状态。对于新站,如果想要迅速引起蜘蛛的兴趣,可以考虑“少食多 餐”的做法,每隔一段时间就发一篇文章,这个效果比一次性发出所有的效果好。

 

转载请注明:网创网 www.netcyw.cn/b4339.html

赞 ()
发表评论
  • 昵称
  • 网址
(0) 个小伙伴发表了自己的观点
    暂无评论

Copyright © 2018-2019 小王子工作室 版权所有 滇ICP备14007766号-3 邮箱:yangzy187@126.com