有一些站长优化人员都有一种焦虑网站优化了很长一段时间了,每天看着网站的蜘蛛日子就那么几个蜘蛛,也束手无策天天盼着明天的蜘蛛会多一点。一般这种现象我们要去做一些排查工作了。
1.网站代码的优化
网站代码需要简洁,不要有过多的无用代码,也不要有过多的特效代码。像Flash这种网站结构代码一般是要杜绝使用的。这种对于搜索引擎抓取基本是不友好的。
2.网站URL处理
其实网站的URL优化就是将网站的动态连接处理成静态的URL,这样做的目的是有利用搜索引擎抓取的。静态的网址才能更容易让搜索引擎快速收录这个网址。
3.URL的层级优化
我们经常分析网站日志的人都知道,蜘蛛爬的最多的就是首页或者栏目页。当蜘蛛来到网站爬行抓取的时候,他很根据网站URL的层级依次爬行。那么如果网站的URL层级过深,蜘蛛可能就不会再往下爬了。一般网站蜘蛛最多的就是爬到第三层级的内容后就不会再爬行抓取了。所以我们的文章内容页,一定要看一下URL的层级。保持在第三层级是最好的。
4.URL的跳转
很多网站建站时期做了很多301页面跳转,其实这样也是不利于蜘蛛抓取的。如果有死链应当提交死链而不是去做很多的301跳转。