电脑计算机论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

查看: 3302|回复: 0

在静态页面上使用动态参数,会造成spider多次和重复抓取的解决办法

[复制链接]
admin 发表于 2012-8-19 21:30:53 | 显示全部楼层 |阅读模式
我的网站在百度统计里,SEO建议提示:在静态页面上使用动态参数,会造成spider多次和重复抓取,这个怎么解决和改进啊?

解决思路:
   
   

  出现这个问题的原因是: discuz网站结构是动态页面,然后使用伪静态后,有些页面带有动态参数,页面地址除了动态参数不一样,其他的都一样,百度会认为这样的页面是重复的。
        事实上,这些页面都是无所谓的页面,其实并不建议百度收录,因为我们真正希望百度收录的是网站中的帖子内容,而贴子页面的url地址都完全的转换成了静态地址,而且百度可以收录到,其他的所有的动态页面其实我们都应该屏蔽掉,禁止百度收录,这样对百度更有好,更有利于SEO。其中包括帖子页面的动态地址,发帖地址等等。
       所以,当百度的SEO建议提示: 在静态页面上使用动态参数,会造成spider多次和重复抓取 时,我们可以在百度的SEO建议中看到是具体的哪个URL地址 在静态页面上使用了动态参数,然后我们根据这个URL地址,在robots中添加一个Disallow行,来告诉百度,禁止百度收录这个 “在静态页面上使用了动态参数的URL地址”,等到百度再次更新你的网站的收录的时候,百度从收录中去掉了这个 “在静态页面上使用了动态参数的URL地址”时,百度统计的SEO建议里就不会再提示这个页面:在静态页面上使用动态参数,会造成spider多次和重复抓取了。
     例如,百度统计的SEO中提示:http://www.it168bbs.com/forum.php?mod=guide&view=my 这个页面在静态页面上使用动态参数,会造成spider多次和重复抓取,那么可以在robots中添加一行:
      Disallow: /forum.php?mod=guide*    ,这样百度下次再收录你的网站的时候就不会再收录/forum.php?mod=guide* 这样的网址了,并且以前收录的/forum.php?mod=guide* 这样的网址也会从百度收录中去掉。
您需要登录后才可以回帖 登录 | 注册

本版积分规则


QQ|手机版|小黑屋|电脑计算机论坛 ( 京ICP备2022023538号-1 )

GMT+8, 2024-12-27 23:53 , Processed in 0.140236 second(s), 23 queries .

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表