一对一免费咨询: 13913005726 025-66045668

在网站优化系列中,一个网站的robots.txt文件是必不可少的。很多seo会忽略了robots.txt的重要性,网站上出现了一些404页面或者不想让搜索引擎了解的内容的时候,就会运用到它了。我们下面就谈谈robots.txt一些最实用、最简单的应用。

常见搜索引擎名称:

Baiduspider 百度;

Scooter Vista;

ia_archiver Alexa;

Googlebot 谷歌;

FAST-WebCrawler Fast;

MSNBOT 企业网站建设 荣昌网站建设公司Msn

我们常见的语法中:Disallow该项定义域用来描述希望不被索引的URL路径;allow该项定义域用来描述可以被索引的URL路径,但是由于缺省值是允许索引所以该项定义域会很少使用到。例如我们如果要禁止百度指数抓取,那么我们该怎么写呢?如下:

User-agent:Baiduspider

Disallow:/

讲解:这里user-agent是针对百度蜘蛛的,而谷歌是没有蜘蛛的,谷歌的搜索引擎叫机器人,而disallow禁止了所有/目录下的文件,这里的斜杠是根目录(一般是wwwroot下的文件)。

我们如果禁止所有搜索引擎,唯独百度可以抓取改怎么写呢?如下:

User-agent:Baiduspider

Disallow:

User-agent: *

Disallow: /

讲解:这里网站主要针对百度说,我对你是开放的,而对其他所有的除百度意外的搜索引擎都对他们不开放我的目录。这里的*是指所有,接下来的disallow禁止了所有根目录的索引。

我们如果禁止搜索引擎读取某个文件夹,如何写呢?如下:

User-agent:*

品牌网站建设案例

Disallow:/a/

Disallow:/abc/

Disallow:/data/

讲解:这里网站说明了针对所有的搜索引擎禁止访问我的a文件里面的任何文件,以及abc文件和data文件。这是如果你想禁止包含该文件名以及以该文件名为路径的话,将后面的斜杠去掉,如下:

User-agent:*

Disallow:/a

Disallow:/abc

Disallow:/data

讲解:这里不光禁止了该文件,同时也禁止以该文件命名的url路径对搜索引擎的索引。一般情况下很少运用到。

现在我们有很多网站不能实现静态,很多网站都做了伪静态,但是有部分的动态路径仍被搜索引擎索引了怎么办呢?我们可以添加如下规则:

User-agent:*

Disallow:/*?*

讲解:这里的*代表所有带有?的路径将会被禁止索引,有的可能变量不是?而是$,同样道理将?替换成$就能实现了。

以上我说的这几种都是我们最常见以及最容易忽略的问题。一个好robots.txt规则就能为网站加分,如果没有写好很可能会搜索引擎不抓取。只要我们做好每个小细节的优化,网站的用户体验将会越来越好。

本文由 永州新唯美www.zriq.cn,独家供稿,转载请保留,谢谢合作!


 


 南京牧狼文化传媒有限公司简介:


      牧狼传媒,牧者之心,狼者之性,以牧之谦卑宽容之心待人,以狼之团结无畏之性做事!


  公司注册资金100万,主营众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放以及电商营销推广全案等相关业务,致力于为客户提供更有价值的服务,创造让用户满意的效果!


  为百度官方及其大客户、苏宁易购、金山WPS秀堂、美的、创维家电、新东方在线、伊莱克斯、宝丽莱等国内国外知名品牌服务过,服务经验丰富!同时,公司也是南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位,可以为您提供更好的服务!


  主营项目:众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放、竞价托管、网站优化、电商代运营等


  合作客户:百度、苏宁易购、饿了么、美的、创维家电、新东方在线、宝丽莱、金山WPS秀堂、伊莱克斯


  资质荣誉:百度商业服务市场2017年度最佳图片服务商、南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位、八戒通TOP服务商、"易拍即合杯"H5创意大赛"三等奖"。



致力于为客户创造更多价值
13913005726 025-66045668
需求提交
电话咨询
在线咨询