唐山市建设局网站

今天终于把困扰我半个月的问题解决了，但是也因为这么问题使我的网站被降权了，主关键字排名被K。所以今天我写出来希望能给有同样问题的站长们一个解答，少走一些弯路。

我的网站从2月份上线，从3月份开始网站建设公司就每天坚持原创+伪原创6-9篇。两个月的坚持得到了不错的回报，网站权重挺高，发布文章一般半小时内收录，并且能够获得一个不错的排名，偶尔从一篇文章就能带来几百的IP。

但是好景不长，在4月底肇庆网站建设公司的时候忽然发现百度开始不收录我写的文章了，同时谷歌也停止收录，我想到是不是我在robots.txt禁止了目录的抓取，但是查看了robots.txt并没有禁止抓取，出现这样的问题让我很是诧异。观察了几天一直都是这个问题，一直持续到5月13号，我通过谷歌网站管理员工具实验室中的像googlebot一样抓取发现，文章目录提示收到robots.txt拒绝，但是我的确没有禁止过这个目录。

一直找不到原因，在百度也没查找到相关资料，问了几个人，他们认为可能是服务器原因，因为蜘蛛爬行太过频繁，因此占用大量服务器资源，所以空间商禁止了蜘蛛抓取我的那个目录，但空间商一口否认。我也因此换了个空间，换到一个vps主机，并且使用一个备用域名进行调试，用抓取工具测试时提示抓取成功，问题的确没有出现。于是我把我的主域名解析上去，但是令我吃惊的是依然提示收到robots.txt限制。

这样就排除了空间商的问题，在昨天晚上我仔细观察了一下robots.txt与谷歌管理员工具，发现我的robots.txt里的确禁止了/taobao/目录，而我的文章目录为/taobaozixun/。我联想到是否是因为在文章目录中有/taobao字样的关系，在谷歌抓取权限测试中，果然发现这个问题：

测试结果

网址 Googlebot Googlebot-Mobile

http://www.fintb.com/taobaozixun/

阻止访问第 21 行：Disallow： /taobao

检测为目录；具体文件可能有不同限制

果然我的联想没有错，于是我去掉了对/taobao/目录的限制，第二天再次测试问题也终于解决了。

这个问题困扰了我半个月，同时在百度大更新的时候一直无法抓取，同时更换了一次服务器，导致网站关键字排名被K，权重下降，不过权重会在我恢复更新之后慢慢上来，这也让我学到一个知识。同时希望能唐山市建设局网站对大家有所帮助！

我的网站是http://www.fintb.com 希望能够与大家共同交流，谢谢！上海黄浦区网站建设公司