一对一免费咨询： 13913005726 025-66045668
全部导航
客户案例 
这篇文章主要讲解搜索引擎的蜘蛛爬虫的工作原理，包括它的四种抓取策略。
首先呢，搜索引擎的蜘蛛抓取网页是有着一定的规律，不会去随便抓取网页，并且呢，蜘蛛是通过超连接来抓取网页的，我们刚刚说了，搜索引擎有四种抓取网页的策略，下边我们一一讲解。
深度优先
所谓深度优先，就是蜘蛛在一个页面中发现第一个超链接，然后爬取这个页面，当爬到第二个页面后，在第二个页面发现的第一个超链接，然后再顺着往下爬，如下图：
深度优先，导致蜘蛛抓取的网页的质量，越来越低，并且在传递网站权重上，也有着根本的问题。
宽度优先
在深度优先上，搜索引擎有着根本的问题，那么在之后，搜索引擎又推出了蜘蛛抓取的第二个策略，也就是宽度优先，宽度优先指的是，蜘蛛会先把这个页面所有的链接都爬一次，然后在顺着这些链接往下爬，如下图：
但是宽度优先也存在着问题，那就是蜘蛛抓取的效率和质量问题。
先宽后深 权重优先
现在搜索引擎是宽度和深度优先的结合，蜘蛛在抓取一个网页的时候，会先把这个页面所有的链接都抓取一次，然后再根据这些ULR的权重来判定，那个URL的权重高，那么就采用深度优先，那个URL权重低，就采用宽度优先或者不抓取。
重访抓取策略
重访抓取策略，是最后的一个，搜索引擎蜘蛛在抓取完这个网页之后，然后根据这个页面的权重、包括它的更新频率、更新质量、外链的数量等等来判定，那么对于权重高的页面，蜘蛛会在相隔较短的时间段在回来重新抓取，比如新浪网，权重很高，搜索引擎蜘蛛都是按照秒来重新抓取的。而对于一些权重较低的页面，比如长期不更滁州网站建设公司新的页面，那么蜘蛛会隔好长时间在来抓取一次，比如我们常常搜索的百度大更新，蜘蛛就是对于一些网页权重较低的页面进行一次全部的抓取，一般情况，百度大更新，一个月一次。
本文来源 http://www.shizhanqiang.com/ 转载留下版权
南京牧狼文化传媒有限公司简介：
牧狼传媒，牧者之心，狼者之性，以牧之谦卑宽容之心待人，以狼之团结无畏之性做事！
公司注册资金100万，主营众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放以及电商营销推广全案等相关业务，致力于为客户提供更有价值的服务,创造让用户满意的效果！
为百度官方及其大客户、苏宁易购、金山WPS秀堂、美的、创维家电、新东方在线、伊莱克斯、宝丽莱等国内国外知名品牌服务过，服务经验丰富！同时，公司也是南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位，可以为您提供更好的服务！
主营项目：众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放、竞价托管、网站优化、电商代运营等
合作客户：百度、苏宁易购、饿了么、美的、创维家电、新东方在线、宝丽莱、金山WPS秀堂、伊莱克斯
资质荣誉：百度商业服务市场2017年度最佳图片服务商、南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位、八戒通TOP服务商、"易拍即合杯"H5创意大赛"三等奖"。
