一对一免费咨询: 13913005726 025-66045668

安装完wordpress站点后关于robots.txt文件的书写一直烦恼着很多站长,Robots.txt文件协议又叫搜索引擎机器人协议,搜索引擎爬虫在爬取网站的时候,首先会看网站根目录下是否有robots.txt文件,然后遵循robots.txt协议爬取网站主希望搜索引擎爬取的内容。robots.txt文件意在告诉搜索引擎爬虫哪些页面可以爬取,哪些页面不能爬取,可以有效的保护用户的隐私,同时也有利于节省蜘蛛的带宽,从而让蜘蛛爬取更加容易,促进收录。

先来简单的说下robots.txt文件的规则:

1、允许所有的搜索引起爬取任何内容

User-agent:*

Disallow:

这个意思就是允许所有的搜索引擎爬取所有的页面,虽然Disallow是不允许的意思,但是后面是放空状态,这意思是没有不允许爬取的页面。

2、屏蔽其中一种或者几种搜索引擎的爬取,以最近比较火的360综合搜索为例

User-agent:360spider

Disallow:/

User-agent:*

Disallow:

前两行的意思是不允许360综合搜索蜘蛛爬取任何页面,后面的解释见第一点。同理,如果除了屏蔽360综合搜索也想屏蔽百度蜘蛛,那就在开头继续添加。

3、不允许搜索引擎抓取其中的某些页面,这边以不允许所有搜索引擎爬取wordpress的管理后台页面为例

User-agent:*

Disallow:/wp-admin/

我们都知道,wordpress的管理后台在根目录下的wp-admin文件夹里面,在disallow后面加上/wp-admin的意思就是不允许搜索引擎蜘蛛爬取。

至于不允许百度爬取后台,允许其他搜索松原网站建设公司引擎爬取后台,或者不允许360综合搜索爬取后台,允许其他搜索引擎爬取后台等等组合,请参考以上三点内容进行组合。

再来说下wordpress的robots.txt文件书写,其实wordpress的robots文件很简单,主要看3个要点:

1、网站后台不要蜘蛛爬取

首先设置不让搜索引擎抓取wordpress后台页面,这几乎是每个站长设置robots.txt文件首要的目的,不仅局限于wordpress,当然,不同的类型网站后台页面所在页面的文件夹名称不一样。

2、静态化后,动态url不要蜘蛛爬取

wordpress的url最好还是静态化下,因为过多的动态参数不利于蜘蛛的爬取。但很多站长在静态化url之后,每次发布文章时,网站设计制作总结搜索引擎收录总会同时收录静态的url和动态的url,这样明显会导致文章页面权重的分散,而且会导致重复页面过多最终受到搜索引擎的惩罚,其实避免这种情况的方法很简单,那就是在robots.txt文件里面设置,让蜘蛛不爬取动态url,这样动态的url就不会被百度收录。

3、结尾加上xml格式的网站地图

在robots.txt的结尾加上网南京网站建设公司站地图,可以让网站地图在蜘蛛爬取网站的时候第一时间被抓取,更利于页面的收录。

于是,最简单的wordpress的robots.txt的书写如下

User-agent:*

Disallow:/wp-admin/

Disallow:/*?*

#这意思是不抓取中包含?的url,动态url特征是有?#

Sitemap:http://www.yourdomain.com/sitemap.xml

去掉含有#的那行,以及将sitemap中的yourdomain改成你的域名即可,这样一个wordpress的robots.txt文件就完成了,最后将这文件上传到根目录下即可。

Robots.txt文件书写还有几点需要注意的:

1、斜杠问题

首先开头的斜杠是一定要的,结尾有斜陇南网站建设公司杠的话意思是这个目录下的所有页面,如果没有斜杠那屏蔽的既有包括斜杠的,也有不包括斜杠的,比如/wp-admin.html,/wp-admin.php等等页面(举例)。这是两个不同的概念,必须根据需要考虑后面是否加上斜杠。

2、大小写问题

除了每行的首字母之外,其他都必须小写。

3、Disallow和Allow

其实对于很多新手站长来说,掌握其中一种的写法足以,因为同时被灌输这两种写法很容易导致混绕,所以如果你是新手,那么robots.txt文件最好只使用一种方法即可,防止混绕造成错误。 本文由seo学习网站长张冬龙原创,如需转载请保留原文地址http://www.zhangdonglong.com/archives/578 ,谢谢。


 


 南京牧狼文化传媒有限公司简介:


      牧狼传媒,牧者之心,狼者之性,以牧之谦卑宽容之心待人,以狼之团结无畏之性做事!


  公司注册资金100万,主营众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放以及电商营销推广全案等相关业务,致力于为客户提供更有价值的服务,创造让用户满意的效果!


  为百度官方及其大客户、苏宁易购、金山WPS秀堂、美的、创维家电、新东方在线、伊莱克斯、宝丽莱等国内国外知名品牌服务过,服务经验丰富!同时,公司也是南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位,可以为您提供更好的服务!


  主营项目:众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放、竞价托管、网站优化、电商代运营等


  合作客户:百度、苏宁易购、饿了么、美的、创维家电、新东方在线、宝丽莱、金山WPS秀堂、伊莱克斯


  资质荣誉:百度商业服务市场2017年度最佳图片服务商、南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位、八戒通TOP服务商、"易拍即合杯"H5创意大赛"三等奖"。



致力于为客户创造更多价值
13913005726 025-66045668
需求提交
电话咨询
在线咨询