从网站日志上,可以了解蜘蛛抓取的哪些问题

 2022-02-23 18:49:57  197 浏览  0 评论   赞

蜘蛛访问状态:保证蜘蛛能够正常访问并抓取网站页面;都抓取了哪些页面;蜘蛛的访问情况,时长、抓取量;了解哪些蜘蛛程序的来访

从网站日志上,可以了解蜘蛛抓取的哪些问题

图28023-1:

给网站做诊断的时候,哪些东西能帮助我们的判断,其实除了google网站管理员工具之外,网站的访问日志能给我们提供更多的内容。

网站日志是什么

网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以.log结尾的文件,确切的讲,应该是服务器日志。

网站日志更像是飞机上的黑匣子,记录着网站的各种受访问的指标。

SEO网站日志分析什么

1、蜘蛛访问状态

保证蜘蛛能够正常访问并抓取网站页面,例如首页一直给蜘蛛访问反馈404状态码,这无疑给首页判死刑,保证正确的告知蜘蛛该页面的状态

2、都抓取了哪些页面

SEOer必须知道蜘蛛每天来访都在网站访问了哪些页面,蜘蛛在哪些页面耗费了大量的时间,是不是在你的意料之中。例如有时候会问,百度怎么不收录新页面啊,收录的前提是蜘蛛抓取过才有可能被收录。

3、蜘蛛的访问情况,时长、抓取量

网站权重一定,搜索引擎给予的资源分配也相对固定,若蜘蛛来访次数不少,抓取量也很大,但却集中在几个页面显然是不合理的。

4、了解哪些蜘蛛程序的来访

推荐光年SEO日志分析工具

最后说一句:网站日志分析在SEO中是一个不容忽视的环节,我写的并不是很完善,但通过网站日志是能反应你网站优化的健康情况的。

 

转载请注明:网创网 www.netcyw.cn/b28023.html

()
发表评论
  • 昵称
  • 网址
(0) 个小伙伴发表了自己的观点
    暂无评论

Copyright © 2018-2022 小王子工作室 版权所有 滇ICP备14007766号-3 邮箱:yangzy187@126.com