百度seo检查Discuz提示静态页面造成spider多次和重复抓取的解决方法

百度新推出的SEO建议关于在DX2论坛源码检测时提示的在静态页面上使用动态参数，会造成spider多次和重复抓取】具体解决办法如下：


写一个robots.txt文件，把下面的代码复制保存，上传到网站根目录即可解决这个问题！希望对你有帮助！

# robots.txt for Discuz! X2
#

User-agent: *
Disallow: /api/
Disallow: /data/
Disallow: /source/
Disallow: /install/
Disallow: /template/
Disallow: /config/
Disallow: /uc_client/
Disallow: /uc_server/
Disallow: /static/
Disallow: /admin.php
Disallow: /search.php
Disallow: /member.php
Disallow: /api.php
Disallow: /misc.php
Disallow: /connect.php
Disallow: /forum.php?mod=redirect*
Disallow: /forum.php?mod=post*
Disallow: /home.php?mod=spacecp*
Disallow: /home.php?mod=space*
Disallow: /forum.php?mod=viewthread*
Disallow: /forum.php?mod=forumdisplay*
Disallow: /userapp.php?mod=app&*
Disallow: /*?mod=misc*
Disallow: /*?mod=attachment*
Disallow: /*mobile=yes*

学习蜘蛛爬行原理