一对一免费咨询： 13913005726 025-66045668
全部导航
客户案例 
在百度C2C产品百度有啊即将上线的时候，淘宝网站曾经屏蔽百度搜索爬虫，禁止百度搜索引擎抓取淘宝网站的网页内容，淘宝官方的解释是杜绝不良商家欺诈。
在技术层面，淘宝屏蔽百度的方法是，在网站的robots.txt文件中加上如下内容：
User-agent: Baiduspider
Disallow: /
但实际上这种方法并不能完全屏蔽百度的爬虫，至今在百度上输入site：taobao.com还是可以看到内容，要不要索引网站，还是由百度说了算，要是遵守robots协议，那才不会索引，因此要想完全屏蔽百度的爬虫，需要在.htaccess中加入一些语句才可以，下面介绍两种方法。
方法1：
固原网站建设公司 RewriteEngine 襄樊网站建设公司 on 网站建设精通
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]
RewriteRule .* - [F]
方法2：
SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot
Limit GET POST
手机wap网站建设Order Allow,Deny
Allow from all
Deny from env=bad_bot
/Limit
当然，对于普通中文网站来说，还是不建议屏蔽百度的爬虫，通常情况下做一些大型的英文网站，才有必要这么做，以节省流量。
南京牧狼文化传媒有限公司简介：
牧狼传媒，牧者之心，狼者之性，以牧之谦卑宽容之心待人，以狼之团结无畏之性做事！
公司注册资金100万，主营众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放以及电商营销推广全案等相关业务，致力于为客户提供更有价值的服务,创造让用户满意的效果！
为百度官方及其大客户、苏宁易购、金山WPS秀堂、美的、创维家电、新东方在线、伊莱克斯、宝丽莱等国内国外知名品牌服务过，服务经验丰富！同时，公司也是南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位，可以为您提供更好的服务！
主营项目：众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放、竞价托管、网站优化、电商代运营等
合作客户：百度、苏宁易购、饿了么、美的、创维家电、新东方在线、宝丽莱、金山WPS秀堂、伊莱克斯
资质荣誉：百度商业服务市场2017年度最佳图片服务商、南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位、八戒通TOP服务商、"易拍即合杯"H5创意大赛"三等奖"。
