很多人在做网站的时候都会去刻意追求收录,但是根本就没有注重网站的质量,以及网站的哪些页面需要收录,哪些页面不需要收录都不知道,这些最基础的点都没有弄明白就去操作整个网站。这样在整个网站的优化过程中,我们会浪费掉大量的时间和精力。
蜘蛛在抓取一个网站的之前,都是经过计算过一个网站有多少页面需要进行抓取,那么这个资源肯定是非常珍贵有限的。如果那这个价值发挥到最大化,就要把一些不用收录的页面进行屏蔽,合理的分配资源。
在参加关键词排名的过程中,都是以单个页面来也进行排序。那么这个问题就很显而易见了,也就是说对于我们网站有参与关键词排名的页面,以及能够促进关键词排名的页面都是有需要被收录的。
既然明白这个道理,那么网站上面出现的关于我们,联系我们,在线留言等等这些页面都是不需要被搜索引擎抓取的。(除非你想要来做关于我们、联系我们、在线留言这些关键词来参加排名)
还有一个大家经常忽略的一个问题,就是网站路径结构的问题,比如说www.htzzjs.cn与www.htzzjs.cn/index.html这两个路径都是同一个页面,比如:同一篇文章在不同的几个栏目下,也会造成一个页面有多个不同的路径。这样的不同路径相同页面都是需要进行301跳转或者robots屏蔽。
屏蔽这些页面的做法就非常简单了,在robots文件中添加一段代码屏蔽蜘蛛抓取的代码就可以了Disallow: /about_us.html (about_us.html就是你要屏蔽页面的路径)
暂无观点或提问! |