在经常分析网站日志文件的时候,总会发现百度蜘蛛(BaiDu 北京昌平区网站建设公司 Spider)IP中出现222.77.187.33,经查询,该IP是位于福建省福州市电信IP,而百度蜘蛛IP是位于北京的联通IP。在网站日志中分析该IP的抓取行为时候发现,该IP只抓取网页首页,经查询,该IP为站长工具的一个友情链接检测程序,该程序默认模拟百度蜘蛛程序抓取页面。
站长工具的友情链接检测界面
该工具域名link.chinaz.com对应的IP为222.77.187.33,位于福建省福州市。
百度蜘蛛IP(根据网站日志文件统计)
巫山网站建设公司123.125.71.* Baiduspider/2.0(百度网页爬虫),也包括 Baiduspider-image(百度图片爬虫)
61.135.186.* Baiduspider-cpro(百度联盟爬虫)
百度蜘蛛IP出现伪装IP的影响
分析网站日志文件是必不可少的工作,因为网站日志中记录着详细的数据,这些数据包括搜索引擎爬虫数据、服务器运行、用户公司网站建设浏览行为数据等等,对这些数据的分析,可以比较全面的掌握网站的情况。
对与SEO工作,针对性分析搜索引擎的爬虫数据,有助于了解这些蜘蛛的爬行习惯,进一步改进网站。
面对互联网数以亿计的网页数据,搜索引擎为了增加提高自身爬虫的工作效率果,往往会使用多个IP或同一IP下的多个蜘蛛程序进行抓取工作,但如果这些IP段或者蜘蛛程序存在伪装,必然会影响SEO人员对搜索引擎蜘蛛程序行为分析的判断结果,从而可能会影响SEO决策。
何况这次伪装的是百度蜘蛛的IP地址,抓取数量也比较多,造成的影响会更加严重,经过查询,很多SEO人员在网络上询问:
为什么百度蜘蛛总是抓取的网站首页?
为什么百度蜘蛛总是抓取而不是收录我的网站?
类似以上的问题在网络上很多,这些对于结果,对SEO人员的判断和工作都会造成很大的影响。
来源:何清勇SEO博客
南京牧狼文化传媒有限公司简介:
牧狼传媒,牧者之心,狼者之性,以牧之谦卑宽容之心待人,以狼之团结无畏之性做事!
公司注册资金100万,主营众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放以及电商营销推广全案等相关业务,致力于为客户提供更有价值的服务,创造让用户满意的效果!
为百度官方及其大客户、苏宁易购、金山WPS秀堂、美的、创维家电、新东方在线、伊莱克斯、宝丽莱等国内国外知名品牌服务过,服务经验丰富!同时,公司也是南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位,可以为您提供更好的服务!
主营项目:众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放、竞价托管、网站优化、电商代运营等
合作客户:百度、苏宁易购、饿了么、美的、创维家电、新东方在线、宝丽莱、金山WPS秀堂、伊莱克斯
资质荣誉:百度商业服务市场2017年度最佳图片服务商、南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位、八戒通TOP服务商、"易拍即合杯"H5创意大赛"三等奖"。