异常流量检测 网络异常流量检测研究 摘要:异常流量检测是现在IDS入侵检测系统)研究的一个主要分支,实时异常检测的前提是能够实时,对大规模高速网络流量进行异常检测首先要面临高速流量载荷问题,因为测度、分析和存放等计算机资源的限制,无法实现全网络现流量的实时检测,所以,抽样测度技术成为高速网络流量测度的研究关键 关键词:网络 异常流量 检测 一、异常流量监测基础知识 异常流量有很多可能的,包含新的应用系统和业务上线、计算机病毒、黑客入侵、网络蠕虫、拒绝网络服务、使用非法软件、网络设备故障、非法占用网络带宽等网络流量异常的检测方法能够归结为以下四类:统计异常检测法、基于机器学习的异常检测方法、基于数据挖掘的异常检测法和基于神经网络的异常检测法等用于异常检测的5种统计模型有:①操作模型该模型假设异常可经过测量结果和指标相比较得到,指标能够依据经验或一段时间的统计平均得到计算参数的方差,设定其置信区间,当测量值超出了置信区间的范围时表明可能存在异常③多元模型操作模型的扩展,经过同时分析多个参数实现检测④马尔可夫过程模型将每种类型事件定义为系统状态,用状态转移矩阵来表示状态的改变若对应于发生事件的状态转移矩阵概率较小,则该事件可能是异常事件。
⑤时间序列模型将测度按时间排序,如一新事件在该时间发生的概率较低,则该事件可能是异常事件 二、系统介绍分析和设计 本系统运行在子网连接主干网的出口处,以旁路的方法接入边界的交换设备中从交换设备中流过的数据包,经由软件捕捉,处理,分析和判定,能够对以异常流量方法出现的攻击行为告警本系统需要检测的基础的攻击行为以下:ICMP攻击TCP攻击,包含但不限于SYN Flood、RST FloodIP NULL攻击IP Fragmentation攻击IP Private Address Space攻击UDP Flood攻击扫描攻击不一样于以特征、规则和策略为基础的入侵检测系统,本研究着眼于建立正常情况下网络流量的模型,经过该模型,流量异常检测系统能够实时地发觉所观察到的流量和正常流量模型之间的偏差当偏差达成一定程度引发流量分配的改变时,产生系统告警,并由网络中的其它设备来完成对攻击行为的阻断系统的关键技术包含网络正常流量模型的获取、及对所观察流量的汇聚和分析因为目前网络以IPv4为主体,网络通讯中的智能分布在主机上,而不是集中于网络交换设备,而在TCP/IP协议中和主机操作系统中存在大量的漏洞,况且网络的使用者的误用也时有发生,这就使得网络正常流量模型的建立存在很大的难度。
为达成保障子网的正常运行的最终目标,在本系统中,采取下列方法来建立多层次的网络流量模型: 会话正常行为模型依据IP报文的五元组,TCP和UDP报文能够组成流或伪流两个五元组中源和目标相反的流能够组成一个会话因为ICMP的特殊性,对于ICMP的报文,分别进行处理:ICMP消息组成独立会话,而ICMP错误消息则依据报文中包含的IP报头映射到由IP报头所制订的会话中去每一类协议的正常行为由一个有限状态及刻画在这个状态机中,假如一个事件的到来造成了错误状态的出现,那么和状态机关联的计数器对错误累加协议状态机是一个相对严格的行为模型,累加的错误计数本身并不一定代表发觉了攻击行为 流量规则特征模型在正常的网络流量中,存在着稳定的规则特征比如一个IP收到和发出的含SYN标志位和含FIN标志位的报文的比值、一个IP的出度和入度的比值和一个IP的平均会话错误数等这些网络不变量是检验在一定时间区间内,一个IP是否行为异常的标准之一这个模型要求对会话表中的会话摘要进行汇聚,在会话正常行为模型基础上增加攻击行为判定的正确程度 网络流量关联模型把部分流量特征在一定时间区间内的累加值统计下来,能够看作时间序列。
经过对序列的分析,能够找到长久的均值、方差、周期、趋势等特征当攻击行为发生时,观察到的部分流量特征会偏离其长久特征这种特征偏离的相关性就提供了判定是否攻击已发生的一个依据 三、大规模流量异常检测框架 异常检测通常需要描述正常网络行为,网络行为模型越正确,异常检测算法效果越好在大规模流量异常检测中通常经过网络探针了解单个实体或结点的行为来推测整个网络行为,基于网络断层成像思想经过使用探针测量推断网络特征,这是检测非协作网络异常和非直接管理控制网络异常的有效手段对于单个管理域,基于实体研究能够向网络管理者提供有用信息,比如网络拓扑在单个结点使用部分基础的网络设计和流量描述的方法,能够检测网络异常和性能瓶颈然后触发网络管理系统的告警和恢复机制为了对大规模网络的性能和行为有一个基础的了解,需要搜集和处理大量网络信息有时,全局网络性能信息不能直接取得,只有综合所取得的当地网络信息才能对全局网络行为有个大致的了解因为不存在正确的正常网络操作的统计模型,使得难以描述异常网络模型的统计行为,也没有单个变量或参数能包含正常网络功效的各个方面需要从多个统计特征完全不一样的矩阵中合成信息的问题为处理该问题,有些人提出利用操作矩阵关联单个参数信息。
但造成算法的计算复杂度较高,为了满足异常检测的实时性要求,本文关联当地和全局数据检测网络异常尽管本章利用行为模型对IP Forwarding异常进行检测,但该方法并不但限于检测当地异常经过关联多条网络链路的时间序列数据,也能够检测类似于空间的网络异常所以,该方法能够扩展到其它类型的大规模网络数据和其它大规模网络异常。