请谨慎在robots.txt中增加sitemap链接

在robots.txt增加sitemap的指向效果如何？
是否真的有那么神奇呢？其实不然！
笔者因为工作的原因，有幸接触到了一次实战，而且是3个规模不一的站点同时向robots.txt中增加sitemap的链接指向。
sitemaps.org网站上有具体的sitemap的格式以及参数设置办法。
根据不同的站点规模，我们选择了不同的方式；
增加的格式如下：
站点1规模较大，使用的是sitemap的索引文件，索引文件再包含其他sitemap文件。
在robots.txt的最后一行增加 Sitemap：http://www.it168bbs.com/sitemap.xml
sitemap.xml索引文件的内容格式如下：

<?xml version="1.0" encoding="UTF-8"?> <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <sitemap> <loc>http://www.it168bbs.com/sitemap1.xml</loc> <lastmod>2011-05-01T18:23:17+00:00</lastmod> </sitemap> <sitemap> <loc>http://www.it168bbs.com/sitemap2.xml</loc> <lastmod>2011-05-01</lastmod> </sitemap> </sitemapindex>

站点2和站点3规模都较小，采用的是直接指向具体的sitemap.xml
在robots.txt的最后一行增加 Sitemap：http://www.web2.com/sitemap.xml
具体格式如下：

<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>http://www.web2.com/</loc> <lastmod>2011-05-01</lastmod> <changefreq>monthly</changefreq> <priority>0.8</priority> </url> </urlset>

增加完毕3天后，就有了变化，情况并不像预期的那样好，具体表现如下：
1、百度：3个站的收录迅速变慢，尤其是站点1，从之前的每天收录2000多页变成了每天只收录10几页或者干脆不收录，分析日志发现百度的蜘蛛来了，但收录的内容极少，或者干脆只停留几分钟就走了，站点2和站点3的每天新收录数变成了0，之前是每天基本有10页左右。
2、google：整体来说，google的效果最好，站点1的收录迅速上升了，并且很多之前从不收录的页面也开始收录了，站点2和站点3的收录变化不是很大，排名有所上升，不知道是不是碰巧。
3、soso：所有站点的收录开始减少，基本没有收录新增加的页面，尽管站点1每天的更新量都在2000左右。
4、sogou：基本类似于百度。
5：bing：收录有小幅上升，但不是很明显。
出现这么糟糕的后果，使我们团队所有人员都不愿意看到的，于是果断的删除了所有的sitemap指向；
3天过后，百度收录开始正常，google变化不大，其他搜索引擎的收录基本恢复正常。
由此可以推断，各个搜索引擎对于sitemap的理解和接受是不一样的，这里面的技术问题我们也无法去讨论，但是实践证明，如果你的站点结构合理，收录也正常，完全没有必要去做什么sitemap，笔者个人认为，sitemap比较适合小规模的站点，并且是站点结构不太合理的小规模站点，如果你的网站结构合理，搜索引擎均能自己完成收录。
另外比较重要的一点，如果你已经做了sitemap，就最好保持时刻更新，最好是程序自动化的更新。
以上只是笔者个人的一些实践体会，不能保证实验结果一定正确，也不具备指导性，只是和广大朋友探讨交流。