php代码:记录搜索引擎的蜘蛛抓取页面记录

2021-02-08 08:31:35  15 浏览  0 评论   赞

以上代码比网上流传的版本多了记录搜索引擎请求页面记录,可以看到蜘蛛每次来爬取的是哪个页面。利于分析蜘蛛对网站的权重以及对不同栏目和页面的青睐

php代码:记录搜索引擎的蜘蛛抓取页面记录

图4835-1:

很多做seo的, 经常会问为什么我的页面没有被收录,为什么我的快照还是上个星期的,怎么百度还不更新我的站点。这些都是刚入门问的问题。做seo的人都知道,知道搜索引擎的规律很重要。你要知道蜘蛛是否来过你的站点,什么时候来 过,是哪家蜘蛛。这些都有利于你针对性的做优化。

很多服务器支持蜘蛛爬行日志,但是大部分站长都是虚拟机,有的空间并不支持记录蜘蛛爬行。这时候就需要我们编写代码来记录蜘蛛的活动规律。

在网上找了很多的代码都不能正确使用,或者功能不完善。

只要自己研究起来。总结出一下一套代码,百分百保证使用。

<?php

function get_naps_bot()

{

$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);

if (strpos($useragent, ‘googlebot’) !== false){

return ‘Googlebot’;

}

if (strpos($useragent, ‘msnbot’) !== false){

return ‘MSNbot’;

}

if (strpos($useragent, ’slurp’) !== false){

return ‘Yahoobot’;

}

if (strpos($useragent, ‘baiduspider’) !== false){

return ‘Baiduspider’;

}

if (strpos($useragent, ’sohu-search’) !== false){

return ‘Sohubot’;

}

if (strpos($useragent, ‘lycos’) !== false){

return ‘Lycos’;

}

if (strpos($useragent, ‘robozilla’) !== false){

return ‘Robozilla’;

}

return false;

}

function nowtime(){

$date=date(“Y-m-d.G:i:s”);

return $date;

}

$searchbot = get_naps_bot();

if ($searchbot) {

$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);

$url=$_SERVER['HTTP_REFERER'];

$file=”robotslogs.txt”;

$time=nowtime();

$data=fopen($file,”a”);

$PR=”$_SERVER[REQUEST_URI]“;

fwrite($data,”Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n”);

fclose($data);

}

>

以上代码比网上流传的版本多了个记录搜索引擎请求页面记录,可以看到蜘蛛每次来爬取的是那个页面。更加利于分析蜘蛛对网站的权重以及对不同栏目和页 面的青睐。

Seo最终的是从实际出发,用数据说话,而不是凭空想象。一切优化的基础都是数据,一切优化的目的也是为了得到数据。

 

转载请注明:网创网 www.netcyw.cn/b4835.html

赞 ()
发表评论
  • 昵称
  • 网址
(0) 个小伙伴发表了自己的观点
    暂无评论

Copyright © 2018-2019 小王子工作室 版权所有 滇ICP备14007766号-3 邮箱:yangzy187@126.com