一对一免费咨询: 13913005726 025-66045668

查看网站log日志来分析蜘蛛的抓取情况是我们SEO工作者必须要掌握的,但是特别要注意一些百度蜘蛛,这些蜘蛛在我们看来是没有哪些不寻常的,但是它们的有些却是一些伪蜘蛛,那么该要如何去识别这些伪蜘蛛呢?

何为伪蜘蛛,顾名思义就是假蜘蛛,所以我们称非正常抓取网页的百度蜘蛛都是一些伪蜘蛛。

大家都知道的是站长工具在查看网站信息后,就会出现伪蜘蛛的IP。现在的站长工具IP地址为117.28.255.42,通常我们看到以"117"开头的IP地址的百度蜘蛛都是伪蜘蛛,所以大家可以直接忽视了。想要识别时,直接使用命令行工具输入指令tracert IP地址,出现的结果如下图示:

而今天还要介绍一种伪蜘蛛,这种蜘蛛同样也是百度官方的,但是却是以不建立网页索引为目的的蜘蛛。这类蜘蛛只是为了匹配网页内容才来抓取我们的网页的,是不建立任何的索引的。所以这些百度蜘蛛我们也说它们是伪蜘蛛。

这些蜘蛛在cmd命令行工具tracert IP地址时,是看不出任何奇怪的现象的,和普通的百度蜘蛛没有什么两样。如下图:

其实我们再回头看一下这个百度蜘蛛的IP地址,会发现这些IP和正常的IP是一样的,同样都是以123开头的,笔者的网站就曾出现过很多类似蜘蛛,所以就是说通过tracert命令也是不能完全的说明这个IP就是真的百度蜘蛛的。

这样一来,除了联盟蜘蛛大家要注意以外,也要注意百度广告蜘蛛等伪蜘蛛的IP。

手机网站建设

综上所述,通过tracert命令查询出来的蜘蛛只能查看非百度官方的蜘蛛,而对于百度内部的一些蜘蛛(譬如百黄冈网站建设公司度联盟)还得我们手工去认识它并识别它到底是不是真正的能够建立索引的百度蜘蛛。

本文原创自http:/巴南网站建设公司/www.45fan.com,转载需注明出处。


 


 南京牧狼文化传媒有限公司简介:


      牧狼传媒,牧者之心,狼者之性,以牧之谦卑宽容之心待人,以狼之团结无畏之性做事!


  公司注册资金100万,主营众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放以及电商营销推广全案等相关业务,致力于为客户提供更有价值的服务,创造让用户满意的效果!


  为百度官方及其大客户、苏宁易购、金山WPS秀堂、美的、创维家电、新东方在线、伊莱克斯、宝丽莱等国内国外知名品牌服务过,服务经验丰富!同时,公司也是南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位,可以为您提供更好的服务!


  主营项目:众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放、竞价托管、网站优化、电商代运营等


  合作客户:百度、苏宁易购、饿了么、美的、创维家电、新东方在线、宝丽莱、金山WPS秀堂、伊莱克斯


  资质荣誉:百度商业服务市场2017年度最佳图片服务商、南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位、八戒通TOP服务商、"易拍即合杯"H5创意大赛"三等奖"。



致力于为客户创造更多价值
13913005726 025-66045668
需求提交
电话咨询
在线咨询