一对一免费咨询: 13913005726 025-66045668

有时候,站长并不希望某些页面被抓去和收录,如付费内容,还在测试阶段的页面,复制页面等。网站上不出线连接,或者使用Javesript,FLASH链接使用nofollow等方法都不能保证页面一定不被收录。站长自己虽然没有连接到不想被收录的页面,其他网站可能由于某种原因出现导入链接,导致页面被收录。

要确保页面不被收录,需要使用robots或meta 马鞍山网站建设公司 robots标签。

robots文件

搜索引擎蜘蛛访问网站时,会先查看网站根目录下有没有一个命名为robots的纯文本文件,robots用于指令搜索引擎禁止抓取网站某些内容或制定允许抓取某些内容,如百度的robots文件位于:

http://www.baidu.com/robots.txt

只有在需要禁止抓取某些内容时,写robots才有意义。robots文件不存在或者空文件都意味着允许搜索引擎抓取所有内容。有的服务器设置有问题,robots文件不存在时会返回200状态码及一些错误信息,而不是404状态码,这有可能是搜索引擎错误解读robots文件信息,所以建议就算允许抓取所有内容,也要建一个空的robots.txt文件,放在根目录下。

robots文件由记录组成,记录之间以空行分开。记录格式为:

域:可选空格域值可选空格:

user-agent:*

disallow:/

上面这个robots文件禁止所有搜索引擎抓去任何内容。

user-agent:制定下面的规则适合用于哪个蜘蛛。通配符*代表所有搜索引擎,只适用于百度蜘蛛则用:

user-agent:baiduspider。

只适用google蜘蛛则用:

user-agent:googlebot。

disallow:告诉蜘蛛不要抓取某些文件或目录。列如下面的代码将阻止所有蜘蛛抓取/cgi-bin和/tmp/两个目录下的内容及文件/aa/index.html:

user-agent:*

disallow:/cgi-bin/

disallow:/tmp/

disallow:/aa/index.html

disallow:禁止的目录或文件必须分开写,每个一行,不能写成:

disallow:/cgi-bin/tmp/aa/index.html

下面的指令相当于允许所有搜索引擎抓取任何内容:

user-agent:*

disallow:

下面的代码禁止除百度外的手游搜索引擎抓去任何内容渭南网站建设公司

user-agent:baiduspider

disallow:

user-agent:*

disallow:/

allow:告诉蜘蛛应该抓取某些文件。犹豫不指定就是允许抓取,allow:单独写没有意义,allow和disallow配合使用,可以告诉蜘蛛某个目录下大部分不允许抓取,只允许抓取一部分。例如下面的代码将使蜘蛛不抓取/ab/目录下其他目录和文件,但允许抓取其中/cd/目录下的内容:

user-agent:*

disallow:/ab/

allow:/cd/

$通配符:匹配URL结尾的字符。例如下面的代码将允许蜘蛛抓取以.html为后缀的URL:

user-agent:*

allow:.html$

下面的代码将禁止百度抓去所有的.jpg文件。

user-agent:baiduspider

disallow:.jpg$

*通配符:告诉蜘蛛匹配任意一段字符。例如下面一段代码将禁止蜘蛛抓取.html文件。

user-agent:*

disallow:html$

sitemaps位置:告诉蜘蛛xml网站地图在哪里,格式为:

site:《网站地图位置》

主流搜索引擎都遵守robots文件之灵,robots禁止抓取的文件搜索引擎将不访问不抓取,但要注意的是,被robots文件禁止的URL还是有可能出现在搜索结果中。只要有导入链接指向这个URL,搜索引擎就知道这个URL存在,虽然不会抓取页面内容,但是有可能以以下几种形式显示在搜索结果中:

只显示URL,没有标题,描述。GG常这样处理。

显示开放目录或雅虎重要目录收录的标题和描述。

导入链接的锚文字显示为标题和描述,百度常这样处理。

要想使URL完全不出现在搜索结果中,需要使用页面上的meta robots标签。

文章转自:http://hi.baidu.com/bjjztyy/blog/item/a09e4ddbc7d1f8096227986b.html

北京石景山区网站建设公司


 


 南京牧狼文化传媒有限公司简介:


      牧狼传媒,牧者之心,狼者之性,以牧之谦卑宽容之心待人,以狼之团结无畏之性做事!


  公司注册资金100万,主营众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放以及电商营销推广全案等相关业务,致力于为客户提供更有价值的服务,创造让用户满意的效果!


  为百度官方及其大客户、苏宁易购、金山WPS秀堂、美的、创维家电、新东方在线、伊莱克斯、宝丽莱等国内国外知名品牌服务过,服务经验丰富!同时,公司也是南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位,可以为您提供更好的服务!


  主营项目:众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放、竞价托管、网站优化、电商代运营等


  合作客户:百度、苏宁易购、饿了么、美的、创维家电、新东方在线、宝丽莱、金山WPS秀堂、伊莱克斯


  资质荣誉:百度商业服务市场2017年度最佳图片服务商、南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位、八戒通TOP服务商、"易拍即合杯"H5创意大赛"三等奖"。



致力于为客户创造更多价值
13913005726 025-66045668
需求提交
电话咨询
在线咨询