一对一免费咨询： 13913005726 025-66045668
全部导航
客户案例 
网页自动抓取和采集的效率和速度一直是个瓶颈，查看dedecms和phpcms的采集代码并测试发现不如人意。
dedecms的还算稳定，但是速度不高，它采用的方式是总分模式，在企业网站建设分任务执行时是顺序模式，即，总控开关接受任务并安排执行段给接收分任务的代码块，然后代码块是连续式执行交给的代码，执行完一个任务后，跳转到下一个任务继续执行，这样的好处是总体可控，但是没有有效利用资源，没有采用并发采集，无疑对用户来说是一种时间的浪费和一定程度的失望。
phpcms2008新的采集模块，虽然华丽，模拟的是框架+js式的多线程，理论上效率高，但是经测试发现很令人失望，编码问题很明显，并且设计有点不合理，且不说时效，连完成任务都是问题。
其他的cms就不说了，没做测试。于是自己想开发一套可行性和实效较高的采集系统，经过一下午的时间，核心代码写好了，可以并发采集网页内容，效率还算可以，下面介绍下设计的模式：
同样考虑到php超时的问题，于是任务分块是必须的，为了便于把控，采用总分模式分配任务，分配后，执行模块北京朝阳区网站建设公司接受任务后，并发执行任务，各管各的，基本不受相邻任务的影响，但是发现，当任务量大时，每个任务消耗的时间将增大一定，不过总体下来，效率还是蛮高的。
总控开关整沧州网站建设公司理好任务后，将任务放置任务区，然后陆续下达任务书，激活执行代码，代码开始工作，完成自己的任务退出。分配任务的速度还是很快的，采用无返回数据的方式，即激活任务即可。至于如何控制任务完成的时间，还要归结到总控，即总控检测任务的完成与否，回数据到浏览器，通知用户。
测试环境：Windows XP/ Apache/2.2.9 （Win32） PHP/5.2.6
采集网站：新浪新闻
采集数据量：600条
耗时： 2分左右
操作：获取网页内容并获取文章内容部分并写入html文件
下面是测试图片：
总控分配任务：
生成的结果文件：（通过文件名可以看出是并发采集的）
个任务完成后通知文件：
企业网站建设模板
南京牧狼文化传媒有限公司简介：
牧狼传媒，牧者之心，狼者之性，以牧之谦卑宽容之心待人，以狼之团结无畏之性做事！
公司注册资金100万，主营众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放以及电商营销推广全案等相关业务，致力于为客户提供更有价值的服务,创造让用户满意的效果！
为百度官方及其大客户、苏宁易购、金山WPS秀堂、美的、创维家电、新东方在线、伊莱克斯、宝丽莱等国内国外知名品牌服务过，服务经验丰富！同时，公司也是南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位，可以为您提供更好的服务！
主营项目：众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放、竞价托管、网站优化、电商代运营等
合作客户：百度、苏宁易购、饿了么、美的、创维家电、新东方在线、宝丽莱、金山WPS秀堂、伊莱克斯
资质荣誉：百度商业服务市场2017年度最佳图片服务商、南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位、八戒通TOP服务商、"易拍即合杯"H5创意大赛"三等奖"。
