WordPress博客型网站的Robots.txt配置

2021-01-04 10:40:25  19 浏览  0 评论   赞

配置好robots.txt文件,完全可以理想的解决blog内容重复的问题,WordPress的robots文件不会是唯一的,也不会有一个最好的

WordPress博客型网站的Robots.txt配置

图3075-1:

通常,解决重复内容的方法有:使用noindex标签,利用excerpt实现内容摘要,以及配置robots.txt。今天就主要说说在WordPress下使用robots.txt文件。

robots.txt文件就像一个网站的大门,它会告诉搜索引擎的蜘蛛,可以抓取哪里的网页内容,哪里的不能抓取。因此,配置好robots.txt文件,完全可以理想的解决blog内容重复的问题。robots.txt的具体文法和使用方法,可以参考robotstxt.org。在国内,此类的WordPress robots.txt比较流行:

User-agent: *

Disallow: /wp-

Disallow: /feed/

Disallow: /comments/feed

Disallow: /trackback/

Disallow: /?s=

刚才看到 filination.com上面提到的一个robots文件,并且提供了简短的解释。刚刚接触robots.txt文件的朋友,可以参考一下:

User-agent: Googlebot

# Disallow all directories and files within

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /wp-includes/

# Disallow all files ending with these extensions

Disallow: /*.php$

Disallow: /*.js$

Disallow: /*.inc$

Disallow: /*.css$

# Disallow parsing individual post feeds, categories and trackbacks..

Disallow: */trackback/

Disallow: */feed/

Disallow: /category/*

Robots.txt因人而异,不同的人对robots有不同的理解,在加上SEO一直是一个热门话题,所以WordPress的robots文件不会是唯一的,也不会有一个最好的。大家要是有觉得更好的,不妨分享一下。

 

转载请注明:网创网 www.netcyw.cn/b3075.html

赞 ()
发表评论
  • 昵称
  • 网址
(0) 个小伙伴发表了自己的观点
    暂无评论

Copyright © 2018-2019 小王子工作室 版权所有 滇ICP备14007766号-3 邮箱:yangzy187@126.com