一对一免费咨询: 13913005726 025-66045668

对SEO了解的人应该知道并懂得robots.txt文件的作用及其用法,通过给网站设置适当的robots.txt无论对百度还是谷歌的SEO优 化的作用是很明显的。所以为WordPress博客添加robots.txt文件是对博客SEO较为重要的一环,博客吧本篇介绍robots.txt的创 建及其用法。

robots.txt的介绍:

robots是机器人的意思,robots.txt文件是给搜索引擎蜘蛛机器人看的纯文本文件,是搜索引擎公认遵循的一个规范文档,它会告诉 Google、百度等搜索引擎哪些网页允许抓取、索引并在搜索结果中显示,哪些网页是被禁止收录的。搜索引擎蜘蛛 spider(Googlebot/Baiduspider)访问网站页面的时,会先查看网站根目录下是否有robots.txt文件,有则按照文件设置 的规则权限对网站页面进行抓取和索引。更具体的作用请网上搜索专门的介绍网站。

robots.txt的写法:

下面是博客吧的robots.txt文件的代码

User-agent:*
Disallow:/wp-
Allow:/wp-content/uploads/
Disallow:/?
Disallow:/feed
Disallow: /trackback
Disallow: /index.php?
Disallow: /*.php$
Disallow: /*.css$
Disallow: 墨香网站建设 /date/
Disallow: /page/
Sitemap: http://www.boke8.net/sitemap.xml

User-agent: * 表示对所有的搜索引擎都采用下面的规则;

Disallow: /wp- 南岸网站建设公司不允许Google/百度spider抓取和索引wp-开头的文件及目录,如wp-login.php,wp-admin目录等均被阻止;

Allow: /wp-content/uploads/ 因为在上一条将wp-content目录屏蔽了,这样Google图片搜索和百度就无法访问放在/wp-content/uploads/目录下的图片, 为了能使Google图片搜索收录图片等附件,将这个目录设置为Allow;

Disallow: /? 禁止搜索引擎spider索引以?开头的网址,如单独文章页面的动态网址http://www.***.com/?p=1。这一条比较厉害,包括了WordPress博客的大部分动态网址,

Disallow: /feed 禁止Google,百度搜索引擎索引feed博客页面。博客都有一个订阅整站的feed,每个文章分类,每篇文章也分别有一个feed,feed页面和网站页面内容基本相同,如果feed页面没有被禁止访问,可想而知,这将会产生大量的重复页面。

Disallow: /trackback作用与/feed一样,不详说

Disallow: /index.php? 这条规则是为了防止搜索引擎收录abc.com/index.php这种url产生的动态网址

Disallow: /*.php$ 这条规则是为了禁止搜索引擎访问和收录.php后缀结尾的url,包括abc.com/index.php,有效防止了首页权重被分散。

Disallow: /*.css$ 禁止搜索引擎访问css文件。

Disallow: /date/ 禁止搜索引擎访问日期存档页面

Disallow: /page/ 南京网店设计 禁止搜索引擎访问博客文章翻页页面,这里设置后好处是减少了重复页面,坏处是Google和baidu的spider无法检索到老文章,因此这里要和网站地图Sitemap.xml配合使用。

提示:博客吧只说介绍robots.txt,对robots.txt更详细的作用及用法不作讲解。

提醒:上面的robots.txt文件代码乃博客吧现用的代码,各博主可按自己的情况作增删修改。

转载请标明出处:博客吧

本文地址:http://www.boke8.net/wordpress-robots-txt.html

贺州网站建设公司


 


 南京牧狼文化传媒有限公司简介:


      牧狼传媒,牧者之心,狼者之性,以牧之谦卑宽容之心待人,以狼之团结无畏之性做事!


  公司注册资金100万,主营众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放以及电商营销推广全案等相关业务,致力于为客户提供更有价值的服务,创造让用户满意的效果!


  为百度官方及其大客户、苏宁易购、金山WPS秀堂、美的、创维家电、新东方在线、伊莱克斯、宝丽莱等国内国外知名品牌服务过,服务经验丰富!同时,公司也是南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位,可以为您提供更好的服务!


  主营项目:众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放、竞价托管、网站优化、电商代运营等


  合作客户:百度、苏宁易购、饿了么、美的、创维家电、新东方在线、宝丽莱、金山WPS秀堂、伊莱克斯


  资质荣誉:百度商业服务市场2017年度最佳图片服务商、南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位、八戒通TOP服务商、"易拍即合杯"H5创意大赛"三等奖"。



致力于为客户创造更多价值
13913005726 025-66045668
需求提交
电话咨询
在线咨询