热缩带厂家
免费服务热线

Free service

hotline

010-00000000
热缩带厂家
热门搜索:
行业资讯
当前位置:首页 > 行业资讯

从IIS日志出发发现并解决收录的几个思路

发布时间:2020-03-09 18:05:53 阅读: 来源:热缩带厂家

网站的收录一直是个大问题,那么如何解决网站存在的收录问题,首先就需要从根源找到原因所在,那就是IIS日志。IIS日志是搜索引擎爬行网站的一个记录,通过它能清晰的看到蜘蛛爬行网页的总时间,单页时间,爬行深度,是否有多次重复抓取等,看到之后我们就需要对症下药,从而从根本上解决网站收录存在的问题。好了,下边从以下几个方面做分析。

其一、过度抓取的URL问题

首先看下是否有过度抓取问题,这个很简单,把IIS日志用dw打开,然后复制一个URL查找全部就可以了,或者使用一些高级的IIS日志分析工具也能直接看得到。如果存在很多URL被蜘蛛访问了多次,那么很有可能是因为是首页或者距离首页点击次数较近的页面,一般的调整就是需要减少这些URL链接个数。过度抓取的URL会浪费蜘蛛爬行的整个时间。

其二、是否存在重复内容

通过第一步之后,还能发现一个问题就是重复内容,如果有些URL被蜘蛛抓取了很多次,那么有可能这是同一内容的不同URL,比如静态的与动态的,比如一些B2C的排序页面,这些功能性的页面提供的内容都没有过多差别,但是URL可能不同。要使用robots屏蔽掉。

其三、蜘蛛没爬行过的URL

这要借助于脚本实现,把你网站全部URL找出来,然后把蜘蛛爬行过的URL找出来,然后做对比,找出那些从来没有被蜘蛛爬行过的URL,然后分析原因,是这些URL没有链接、目录过深还是URL参数过多的原因?确定原因之后改正,日后继续观察收录情况。

其四、整体内链结构如何

看你网站的整体内链结构,自己点击测试,看首页到内页需要几次点击,如果你多次点击才能到达一些内页,那么爬虫从首页到内页也就需要更多的时间。这样自然就越浪费时间,所以调整内链结构,把更多的内容通过内链让蜘蛛更好的爬取到。

其五、访问速度如何

访问速度是受多个方面的影响,要从服务器到后台再到前端仔细查看,是否还有优化的余地。在保证页面效果的前提下,减少html代码的整体体积。将js和css单独引入,html单独存在,如果考虑的仔细,URL的静态化就是必须的,因为过长的动态url也会影响到传输速度等。

以上五点是根据自己的一些经验与大家进行的总结,如果大家还有更多的方法发现并提高网站的收录,欢迎分享多交流。本文来自:痔疮偏方,网址:,转载请保留链接,谢谢!

河南拉弯厂欢迎您

黑百通膏药多少钱

海鲜大礼包批发