一对一免费咨询: 13913005726 025-66045668

我们都知道robots.txt文件是搜索引擎遵守的一个抓取协议,但是是不是真的有效果呢?

搜索引擎真的会遵循这个协议吗?

让我们首先来看看

下面这段 [这是我南昌SEO站点的robots.txt设置:允许GG 百度、ALEXA 抓取,屏蔽了其他一切引擎禁止!]

User-agent:Googlebot

Disallow:

User-agent:baiduspider

Disallow:

User-agent:ia_archiver

Disallow:

User-agent:*

Disallow:/

从理论上来说 唐山网站建设公司这样的设巴彦淖尔网站建设公司 置就屏蔽了其他一切引擎,但实际上这种方法并不能完全屏蔽SOSO YAHOO MSN之类的爬虫,在YAHOO上输入site:www.seo-jx.cn还是可以看到内容以及索引的!

遵守robots协议与否当然是由他们自己说了算的!所以要想完全屏蔽搜索引擎的爬虫,需要在.htaccess中加入限制语句才行,这里我们介绍2种最简单的方法:

1:

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^MSNBOT [NC]
RewriteRule .* - [F]

2:

SetEnvIfNoCase User-Agent "^MSNBOT" bad_bot

Limit GET POST
Order Allow,Deny
Allow from all
Deny from env=bad_bot
/Limit

注:MSNBOT 为MSN蜘蛛机器人代码 ,如果想要真正屏蔽某个搜索引擎 把其中的红色部分[MSNBOT]

换成你想要屏蔽的蜘蛛机器人代码即可!

请不要随意添写 否网站制作公司则造成损失与本人无关!

SEO小林发布,转载请注明出处:江西南昌SEO http://www.seo-jx.cn/


 


 南京牧狼文化传媒有限公司简介:


      牧狼传媒,牧者之心,狼者之性,以牧之谦卑宽容之心待人,以狼之团结无畏之性做事!


  公司注册资金100万,主营众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放以及电商营销推广全案等相关业务,致力于为客户提供更有价值的服务,创造让用户满意的效果!


  为百度官方及其大客户、苏宁易购、金山WPS秀堂、美的、创维家电、新东方在线、伊莱克斯、宝丽莱等国内国外知名品牌服务过,服务经验丰富!同时,公司也是南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位,可以为您提供更好的服务!


  主营项目:众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放、竞价托管、网站优化、电商代运营等


  合作客户:百度、苏宁易购、饿了么、美的、创维家电、新东方在线、宝丽莱、金山WPS秀堂、伊莱克斯


  资质荣誉:百度商业服务市场2017年度最佳图片服务商、南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位、八戒通TOP服务商、"易拍即合杯"H5创意大赛"三等奖"。



致力于为客户创造更多价值
13913005726 025-66045668
需求提交
电话咨询
在线咨询