今天终于把困扰我半个月的问题解决了,但是也因为这么问题使我的网站被降权了,主关键字排名被K。所以今天我写出来希望能给有同样问题的站长们一个解答,少走一些弯路。
我的网站从2月份上线,从3月份开始网站建设公司就每天坚持原创+伪原创6-9篇。两个月的坚持得到了不错的回报,网站权重挺高,发布文章一般半小时内收录,并且能够获得一个不错的排名,偶尔从一篇文章就能带来几百的IP。
但是好景不长,在4月底肇庆网站建设公司的时候忽然发现百度开始不收录我写的文章了,同时谷歌也停止收录,我想到是不是我在robots.txt禁止了目录的抓取,但是查看了robots.txt并没有禁止抓取,出现这样的问题让我很是诧异。观察了几天一直都是这个问题,一直持续到5月13号,我通过谷歌网站管理员工具实验室中的像googlebot一样抓取发现,文章目录提示收到robots.txt拒绝,但是我的确没有禁止过这个目录。
一直找不到原因,在百度也没查找到相关资料,问了几个人,他们认为可能是服务器原因,因为蜘蛛爬行太过频繁,因此占用大量服务器资源,所以空间商禁止了蜘蛛抓取我的那个目录,但空间商一口否认。我也因此换了个空间,换到一个vps主机,并且使用一个备用域名进行调试,用抓取工具测试时提示抓取成功,问题的确没有出现。于是我把我的主域名解析上去,但是令我吃惊的是依然提示收到robots.txt限制。
这样就排除了空间商的问题,在昨天晚上我仔细观察了一下robots.txt与谷歌管理员工具,发现我的robots.txt里的确禁止了/taobao/目录,而我的文章目录为/taobaozixun/。我联想到是否是因为在文章目录中有/taobao字样的关系,在谷歌抓取权限测试中,果然发现这个问题:
测试结果
网址 Googlebot Googlebot-Mobile
http://www.fintb.com/taobaozixun/
阻止访问第 21 行:Disallow: /taobao
检测为目录;具体文件可能有不同限制
果然我的联想没有错,于是我去掉了对/taobao/目录的限制,第二天再次测试问题也终于解决了。
这个问题困扰了我半个月,同时在百度大更新的时候一直无法抓取,同时更换了一次服务器,导致网站关键字排名被K,权重下降,不过权重会在我恢复更新之后慢慢上来,这也让我学到一个知识。同时希望能唐山市建设局网站对大家有所帮助!
我的网站是http://www.fintb.com 希望能够与大家共同交流,谢谢!上海黄浦区网站建设公司
南京牧狼文化传媒有限公司简介:
牧狼传媒,牧者之心,狼者之性,以牧之谦卑宽容之心待人,以狼之团结无畏之性做事!
公司注册资金100万,主营众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放以及电商营销推广全案等相关业务,致力于为客户提供更有价值的服务,创造让用户满意的效果!
为百度官方及其大客户、苏宁易购、金山WPS秀堂、美的、创维家电、新东方在线、伊莱克斯、宝丽莱等国内国外知名品牌服务过,服务经验丰富!同时,公司也是南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位,可以为您提供更好的服务!
主营项目:众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放、竞价托管、网站优化、电商代运营等
合作客户:百度、苏宁易购、饿了么、美的、创维家电、新东方在线、宝丽莱、金山WPS秀堂、伊莱克斯
资质荣誉:百度商业服务市场2017年度最佳图片服务商、南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位、八戒通TOP服务商、"易拍即合杯"H5创意大赛"三等奖"。