从5个方面提升搜索引擎抓取网页的效率

2021-02-09 17:42:22  25 浏览  0 评论   赞

使网站结构扁平化;从强力的页面链接到需要链接的页面;减少死胡同和低价值页面;创作值得链接的分类或导航页面;不重要的页面排除在爬虫抓取路径之外

从5个方面提升搜索引擎抓取网页的效率

图5046-1:

我们看看有什么方能提高网页被搜索引擎抓取、索引和排名的方法:

使网站结构扁平化

如果你的网站能够建立一个理想的、扁平的链接层次,那么可以实现通过3次点击就访问100万个页面页,和通过4次点击就访问100万页面的效果。

从“强力的”页面链接到需要链接的页面

应该知道有很多外链的“强力”页面(指排名高、外链多的页面,易IT注)的涟漪性效应,并且充分利用这种效应。把这种页面看作是目录(或分类)页面,并通过它们链接到网站的其他页面。

同样,你以后也可以将这种页面当作着陆页,帮助提高你想用户访问页面的流量。

减少“死胡同”和低价值页面

那些在链接图上边缘的页面价值很低。确认网站上没有那些让PageRank降低的页面。通常这样的页面是PDF、图片和其他文件。你可以用301重定向将这些文件重定向到包含(嵌入或包含下载链接)这些文件内容的页面,并且页面上有返回网站其他部分的链接。

创作值得链接的分类或导航页面

如果你能制作这样值得链接和引人注目的页面,它们会获得更高的PageRank和更优先的抓取率。同时这些PageRank和抓取优先级会通过页面上的链接传递到网站的其他页面(给搜索引擎一个网站上所有页面都很重要的信号)。

将不重要的页面排除在爬虫抓取路径之外

减少不必要的导航级别(或内容页面),并且将爬虫导向真正需要PageRank的网址。

 

转载请注明:网创网 www.netcyw.cn/b5046.html

赞 ()
发表评论
  • 昵称
  • 网址
(0) 个小伙伴发表了自己的观点
    暂无评论

Copyright © 2018-2019 小王子工作室 版权所有 滇ICP备14007766号-3 邮箱:yangzy187@126.com