技术分享 > 基础网络

某公司深信服SG故障处理

发布时间:2015-04-27
78人关注

一、故障现象描述:
    据客户反映xx月x日上午11点左右,客服发现办公网络中断,无法管理到深信服SG,在将深信服SG跳过之后,网络恢复正常。
    现网络架构如下(示意图):


 
二、故障处理过程
    1.10日晚上10时左右重新对故障的深信服SG重新上线进行测试,直到11日下午两点之前,都发现设备运行状况和网络情况都正常。但需要说明,这期间设备未启用DOS攻击防护功能,设备接口处理能力还足以应付这期间的dos攻击。
    11日下午两点左右:联系厂商对设备日志信息进行检查,发现导致设备宕机的原因是由于dos攻击导致的结果。设备接口没有足够的能力处理而导致的设备无法管理、网络中断的情况。
  
    厂商的邮件内容如下:
问题处理报告

一.设备上周六出现宕机,客户绕开设备恢复网络
   
问题原因:设备后台取黑匣子信息,发现上周6上午11点左右系统负载值突增

11:11am  up  6:02, load average: 0.57, 0.56, 0.99
11:11am  up  6:03, load average: 0.20, 0.45, 0.93
11:13am  up  6:04, load average: 5.21, 2.05, 1.45
11:14am  up  6:05, load average: 5.03, 2.54, 1.66
11:15am  up  6:06, load average: 10.30, 4.73, 2.48
11:16am  up  6:07, load average: 11.12, 5.98, 3.04
11:17am  up  6:08, load average: 11.63, 7.10, 3.61
11:18am  up  6:09, load average: 9.85, 7.42, 3.94
11:19am  up  6:10, load average: 13.30, 8.64, 4.60
11:20am  up  6:11, load average: 12.25, 9.15, 5.00

   

    5600的设备双核CPU,单核负载不能超过3.出问题是都在10左右,说明当时设备负载已经远远超过设备承受范围。

    进一步追查负载高的原因,检查问题点设备的网口信息和流量,发现问题点网口流量突增,网卡缓冲区处理不过来,导致丢包:

 

 

   这个明显是由于网口突发流量造成的,设备当时的防DOS功能没有开启,所以设备被攻击导致网口丢包,断网。
   这个建议客户开启设备的防DOS功能,通过观察DOS日志去查找内网的异常客户端,从而将源头遏制。
2.数据审计问题,数据中心异常告警
   问题原因:内置的磁盘aclog分区到达94%,会触发告警,这个应该是设备的自动删除机制出现问题,当前版本是4.0.1的,重置内置数据中心后升级4.5R4后可以解决。目前已升级到4.5R4。问题解决。

3.系统日志报错:
    系统日志提示:The process:actrace ctrace has been collapse问题原因:actrace程序异常,产生堆栈,会导致日志漏审。这个也可以通过升级到4.5R4完全解决,4.5R4在数据库审计上做了改动,大大降低了数据库产生的堆栈。目前已升到4.5R4,问题解决。

 

三、故障处理结果
    下午3点左右厂商开始对设备进行了软件升级又4.01版本升级到4.5r4版本,但是经过测试,如果开始dos攻击防护功能,设备网络时断时好,SG设备运行不稳定。
故障时dos防护日志如下:


 
     晚上10点左右和客户对现有的网络结构进行了调整,将之前天融信的ips由深信服的上联调整到了深信服的下联,目前结构是:核心---天融信IPS---深信服SG---趋势IWSA---ASA。部署完成之后发现IPS中拦截到非常多的内网dos攻击记录。而深信服SG中的DOS攻击记录次数也明显减小,网络情况暂时也比较稳定。


四、对这个故障处理的知识总结及建议的参考文献
    DOS攻击破坏力非常强大,会导致网络设备接口异常,设备无法正常工作,治标的办法是使用专门的防护设备保护脆弱的流量审计之类的设备,治本的最好的解决方法就是净化网络环境,给客户终端安装统一管理、实时更新病毒库的安全防护软件。
      1、对SG设备进行了升级但是发现系统日志中提示设备外置数据库的版本有问题,虽然对网络情况没有影响,但

         是对于审计系统会造成麻烦,接下来计划立即联系厂商再进行处理。

      2、继续观察设备的运行状况,验证问题的原因和处理的结果。


版权所有 陕西瑞金电子科技有限公司 陕ICP备07013778号-1 TEL: 029-82261090