通过内链建设解决抓取频次低的问题
上面提到建设外链可以吸引蜘蛛爬行,那么在蜘蛛来了以后如何更好的利用,如何让更多的页面url被发现,这就牵扯到内链建设。如何设置内容提高抓取频次,我们可以从以下几个方面入手:
1.文章内链。包括正文里的内链及相关文章推荐等,这是基本的操作方式,笔者就不多说了。
2.边栏推荐。比如说热门阅读、最新内容、tag集合标签推荐等,页面链接曝光的越多,被蜘蛛抓取的几率就越大,这是很简单的道理。
3.文章列表。这是需要重点讲解,正常情况下列表里的文章都是按照时间顺序倒叙排列,也就是说后发布的文章排在最前面。这里就存在一个问题,同一个文章列表下每天更新的文章有限,而分页被蜘蛛抓取的次数会相对较多,这就浪费了链接展现的机会。
举个例子说明:A列表展示最新的10篇文章,每天更新的数量为5篇,蜘蛛每天爬行5次。事实上不管蜘蛛每天爬行5次还是50次,该页面每天展现的新的页面链接都只有5个!假如该分类页能够把没有被抓取的页面更新上来(定时或不定时都行),那情况明显就不一样了,每次蜘蛛来抓取都有新的页面链接提交,这就大大提高了抓取频次。
网站更新频率高的网站更受蜘蛛青睐,想要解决网站抓取频次低的问题,除了做外链吸引蜘蛛,更多的应该解决站内更新的问题。