|
我的网站在百度统计里,SEO建议提示:在静态页面上使用动态参数,会造成spider多次和重复抓取,这个怎么解决和改进啊?
解决思路:
出现这个问题的原因是: discuz网站结构是动态页面,然后使用伪静态后,有些页面带有动态参数,页面地址除了动态参数不一样,其他的都一样,百度会认为这样的页面是重复的。
事实上,这些页面都是无所谓的页面,其实并不建议百度收录,因为我们真正希望百度收录的是网站中的帖子内容,而贴子页面的url地址都完全的转换成了静态地址,而且百度可以收录到,其他的所有的动态页面其实我们都应该屏蔽掉,禁止百度收录,这样对百度更有好,更有利于SEO。其中包括帖子页面的动态地址,发帖地址等等。
所以,当百度的SEO建议提示: 在静态页面上使用动态参数,会造成spider多次和重复抓取 时,我们可以在百度的SEO建议中看到是具体的哪个URL地址 在静态页面上使用了动态参数,然后我们根据这个URL地址,在robots中添加一个Disallow行,来告诉百度,禁止百度收录这个 “在静态页面上使用了动态参数的URL地址”,等到百度再次更新你的网站的收录的时候,百度从收录中去掉了这个 “在静态页面上使用了动态参数的URL地址”时,百度统计的SEO建议里就不会再提示这个页面:在静态页面上使用动态参数,会造成spider多次和重复抓取了。
例如,百度统计的SEO中提示:http://www.it168bbs.com/forum.php?mod=guide&view=my 这个页面在静态页面上使用动态参数,会造成spider多次和重复抓取,那么可以在robots中添加一行:
Disallow: /forum.php?mod=guide* ,这样百度下次再收录你的网站的时候就不会再收录/forum.php?mod=guide* 这样的网址了,并且以前收录的/forum.php?mod=guide* 这样的网址也会从百度收录中去掉。 |
|