在和搜索引擎打交道的过程中,良好的互动有的时候需要robots.txt文件的帮助,正确使用robots.txt文件,可以避免网页复制等诸多问题,然而,robots文件的使用,要慎之又慎。
在不熟悉robots.txt的规范的时候,很多意外情况,都是由于使用robots不当引起的
比如,群利的个人博客山上渔夫博客,前段时间加了robots.txt,一段时间之后,群利发现博客的谷歌收录数量大为减少,非常不正常。因为平时谷歌收录大于百度,而现在百度的收录是谷歌的两倍多。当时,群利也没有过于在意。
不过今天,pr更新。山上渔夫个人博客没有动静,群利觉得,事情蹊跷,又查看了一下robots.txt文件,发现一个极端严重的问题:
User-agent: *Disallow: /wp-
Disallow: /*/feed
Disallow: /*/*/feed
Disallow: /*/*/trackback
Disallow: /wap
Disallow: /page
这是我的个人生活博客的robots文件的写法,正是最后一句,导致了我的网页收录数量大大减少。
具体原因,请大家看看就明白了~
群利发现问题,马上采取措施,将最后一句删去了,相信不久,谷歌对山上渔夫的个人博客的收录会恢复正常!
参考阅读:利用Robots.txt做搜索引擎优化(转自秦爱网志)
郑州网络营销之群利营销策划原创,转载请注明
群利提供:网络营销培训,营销咨询顾问,网站建设,网络推广,
详情请登陆:www.qunli.net
用心所以高效,服务铸就品牌!
