一对一免费咨询: 13913005726 025-66045668

众所周知,twitter在前段时间,PR值由9降到了0,并且众多页面不被谷歌Robot抓滁州网站建设公司取,众人哗然!虽然现在已经恢复。但是这是怎么回事呢?独孤依风引用谷奥的内容为大家解密下twitter网站动荡真相!

首先,Twitter PR及众多页面不被抓取是由自身技术引起的,跟谷歌的搜索机制没有关系。

导致twitter此次动荡的有五大技术问题:

(1)robots设置问题

twitter在设置Robots时,针对带WWW和不带WWW设置了两个Robots标准。如下所示:(A为不带www的Robots设置,B为带WWW的Robots设置)

A:The file at twitter.com/robots.txt looks as follows:

#Google Search Engine Robot

User-agent:Googlebot

# Crawl-delay: 10 -- Googlebot ignores crawl-delay ftl

Allow: /*?*_escaped_fragment_

Disallow: /*?

Disallow: /*/with_friends

#Yahoo! Search Engine Robot

User-Agent: Slurp

Crawl-delay:1

Disallow: /*?

Disallow: /*/with_friends

#Microsoft Search Engine Robot

User-Agent:msnbot

Disallow:/*?

Disallow:/*/with_friends

# Every bot that might possibly read and respect this file.

User-agent:*

Disallow:/*?

Disallow:/*/with_friends

Disallow:/oauth

Disallow:/1/oauth

B:the file at www.twitter.com/robots.txt file looks as 潮州网站建设公司 follows:

User-agent:*

Disallow:/

twitter针对带www和不带www设置了两个不同的Robots标准,这样就可以看出:

1、针对带WWW和不带WWW的网站,搜索引擎按照Robots标准,返回的搜索结果不相同,同时也不规范。

2、twitter在阻止搜索引擎抓取带WWW的网址。

3、通过封锁带www的网站,即使将其301重定向到不带www的网站,那也是徒劳无功!

4、由于带www和不带www的都有外部链接,但是带www的阻止搜索引擎抓取,那么对于提升twitter网站整体权重来说,该外部链接的价值并没有得到有效利用!

(2)302重定向问题

twitter.com / vanessafox使用了302重定向到twitter.com /#!/ vanessafox。众所周知,302重定向为暂时性转移,会抓取新内容而保存旧网址,并且原来的链接不会全部转移!

(3)没有遵守谷歌AJAX抓取标准

Twitter的网址是AJAX和使用#!,告诉谷歌从服务器获取_escaped_fragment_版本的URL。由于没有使用301重定向,导致失去了很多相关URL页面,没有将AJAX和重定向很好地结合起来。

(4)速率限制

在HTTP标头可以看见速率限制。

HTTP/1.1 200 OKDate:Mon,18 Jul 2011 20:48:44 GMTServer:hiStatus:200 OKX-Transaction:1311022124-32783-45463X-RateLimit-Limit:1000

(5)网址不规范

twitter.com / VanessaFox显示搜索结果,是twitter.com / vanessafox。这两个URL导致了同一个地方。这是造成又一次的PageRank稀释,重复,和规范化问题。这里最好的办法是正常化的网址一个变化(最简单的方法是选择全部小写),然后301重定向所有变化。另外,Twitter的可以简单地添加的rel 营销型网站建设案例 =规范属性指定规范版本的所有网页 。

从以上可以看出,Twitter是有麻烦的robots.txt,HTTP状态代码和URL规范化。这是很多大型网站面临的问题。至于谷歌PR工具栏是否刷新,那是谷歌的问题。

从Twitter技术漏洞可以告诫各位站长:

(1)设置Robots一定要统一,集中权重,以防走失。(2)302重定向没有301重定向好(3)必须遵守谷歌AJAX抓取标准(4)不要在HTTP标头限制速率(5)网址要规范,统一,不能掺杂在一起随意乱用!

来文首发于独孤依风seo中心(www.seo0359.com) 站长独孤依风原创!如若转载,请保留原文链接地址!互联网精英第一群:76933546,诚邀广大知名站长加入!


 


 南京牧狼文化传媒有限公司简介:


      牧狼传媒,牧者之心,狼者之性,以牧之谦卑宽容之心待人,以狼之团结无畏之性做事!


  公司注册资金100万,主营众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放以及电商营销推广全案等相关业务,致力于为客户提供更有价值的服务,创造让用户满意的效果!


  为百度官方及其大客户、苏宁易购、金山WPS秀堂、美的、创维家电、新东方在线、伊莱克斯、宝丽莱等国内国外知名品牌服务过,服务经验丰富!同时,公司也是南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位,可以为您提供更好的服务!


  主营项目:众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放、竞价托管、网站优化、电商代运营等


  合作客户:百度、苏宁易购、饿了么、美的、创维家电、新东方在线、宝丽莱、金山WPS秀堂、伊莱克斯


  资质荣誉:百度商业服务市场2017年度最佳图片服务商、南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位、八戒通TOP服务商、"易拍即合杯"H5创意大赛"三等奖"。



致力于为客户创造更多价值
13913005726 025-66045668
需求提交
电话咨询
在线咨询