一对一免费咨询: 13913005726 025-66045668

相信很多有经验的站长和我一样,每天观察流量统计,同样,今天也不例外。

早上上班后就发现今天流量PV(点击量)有点低,但是IP并没低多少,当时也没在意,因为周三流量通常比周二要低一点。

笔者网站使用的是linux环境,晚上的时候就发现网站速度比较慢,因为刚刚把服务器换到电信百色网站建设公司A类机房,所以速度还是有点信心的。于是使用top命令检查负载,发现负载超过40,一般负载超过10速度就会慢下来,按照往常的经验,who、ps等命令检查链接和进程,接着使用netstat -a -n检查访问请求,发现119.42.245.*有几个IP异常(后面会提到如何判断异常IP),链接IP138检查IP来源,发现是阿里巴巴的(汗一下!阿里的IP段都是写的公司名称)。

笔者朔州网站建设公司网站必够网是老牌的分类信息网站,而阿里旗下的口碑网是国内最大的分类信息站,百度收录量1400万,而赶集、58、百姓、必够网收录都在一千万以内(看来业精于勤啊,再汗一把)南京网站建设公司

立即,使用iptables -I INPUT -s 119.42.245.0/16 -j DROP 命令封掉IP段,ok,一切搞定,负载逐步降低到5以下。

接下来的时间继续做功课,分析当日流量,删除垃圾信息(很重要,笔者以前曾经写过分类信息站淘汰法则被垃圾、违法信息淹死?推荐大家看看)以及构思产品的改进策略。

过了一会有检查了一下负载,发现又上升到7了,于是依葫芦画瓢,又一个IP段出现我我视野61.135.249.*,这个IP段有点熟悉,似乎是搜索引擎爬虫,于是每2分钟netstat -a -n一下,COPY到ultraedit编辑器里,取3次记录,然后总结,发现这个IP段出现的次数都在35~40之间(百度爬虫的频率一般是37,不知道有站长研究过没),百度爬虫有61.135开头的爬虫段。

访问下网站,发现速度正常,看来专业爬虫的技术就是好,不会把人弄宕机。

另补充说明下如何判断异常IP:

看IP段 ,一些爬虫会自动换IP,防止被封。所以要看IP段出现的频率。不能确定的话可以隔段时间再看。

看IP地址,一般国外IP我都是直接封IP。

看抓取频率,搜索引擎的爬虫抓网站cis设计及市局取频率会很合适,绝对不会长时间以超过你网站承受能力的频率抓。

OK,祝福各位站长身体事业两不误。


 


 南京牧狼文化传媒有限公司简介:


      牧狼传媒,牧者之心,狼者之性,以牧之谦卑宽容之心待人,以狼之团结无畏之性做事!


  公司注册资金100万,主营众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放以及电商营销推广全案等相关业务,致力于为客户提供更有价值的服务,创造让用户满意的效果!


  为百度官方及其大客户、苏宁易购、金山WPS秀堂、美的、创维家电、新东方在线、伊莱克斯、宝丽莱等国内国外知名品牌服务过,服务经验丰富!同时,公司也是南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位,可以为您提供更好的服务!


  主营项目:众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放、竞价托管、网站优化、电商代运营等


  合作客户:百度、苏宁易购、饿了么、美的、创维家电、新东方在线、宝丽莱、金山WPS秀堂、伊莱克斯


  资质荣誉:百度商业服务市场2017年度最佳图片服务商、南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位、八戒通TOP服务商、"易拍即合杯"H5创意大赛"三等奖"。



致力于为客户创造更多价值
13913005726 025-66045668
需求提交
电话咨询
在线咨询