基于突变理论及协同学的网络流量异常检测方法研究

《基于突变理论及协同学的网络流量异常检测方法研究》由会员分享，可在线阅读，更多相关《基于突变理论及协同学的网络流量异常检测方法研究（100页珍藏版）》请在金锄头文库上搜索。

1、分类号_ 密级_ U D C _ 博 士 学 位 论 文 基于突变理论及协同学的网络流量异 常检测方法研究 学位申请人：熊学位申请人：熊 伟伟 学 科 专 业：学 科 专 业：控制科学与工程控制科学与工程 指 导 教 师：指 导 教 师：胡胡 汉汉 平平 教授教授 论文答辩日期论文答辩日期 2011 年年 8 月月 23 日日 学位授予日期学位授予日期 年年 月月 日日 答辩委员会主席答辩委员会主席 李德华李德华 教授教授 评阅人评阅人 杨宗凯杨宗凯 张雨浓张雨浓 周明天周明天 A Dissertation Submitted in Partial Fulfillment of the Req

2、uirements for the Degree of Doctor of Philosophy in Engineering Research on the Anomaly Detection Methods of the Network Traffic based on Catastrophe Theory and Synergetic Ph.D.Candidate :Xiong Wei Major : Control Science and Engineering Supervisor : Prof. Hu Hanping Huazhong University of Science 1

3、;1,2,3;1,2中的一个。设 1234 1 2 3 4 ()(,) iiii R ii i iXXXX=是由分别属于这四类网络流量特征中的第 1234 , , ,i i i i个特 华华 中中 科科 技技 大大 学学 博博 士士 学学 位位 论论 文文 37 征量组成的向量。选择最优特征组合的目标是使得选出的各特征之间的差异最大， 本方法选择最优特征组合 * * * * 1 2 3 4 ()R i i i i的原则是使得每类特征之间的Euclidean距离之和 最大化。也即是： 1234 12 1 2 3 4 1212 4 * * * *2 arg() 1,1, max() kk ii i

4、 i i i kkkk i i i iXX = = (3-1) 3.3 突变级数综合决策模型 突变理论主要是用精确的数学公式和形象的数据模型描述非线性动力学问题。 它 主要关注两类变量：状态变量和控制变量。根据状态变量和控制变量的个数就可以 确定突变分析的模型。在本方法中选取了四个控制变量，在利用突变理论对网络流 量进行分析的过程中，网络流量本身作为势函数的状态变量，而网络流量不同方面 的特征量则可作为势函数的控制变量。其中自相似类特征量是网络流量长相关性的 体现，能从整体上分析网络流量的内在变化趋势，因此将选取的该类特征量 * 1 i X作为 突变势函数的第一控制变量；动力学结构类特征量，能

5、从短相关性上体现网络流量 动力学结构的差异，因此将该类特征量 * 2 i X作为第二控制变量；非线性统计类特征量 从表面上体现网络流量的较为复杂的特性，因此将选取的该类特征量 * 3 i X作为第三控 制变量；线性统计类特征量只能反映网络流量表象的一些特性，因此将选取的该类 特征量 * 4 i X作为第四控制变量。该方法中选取了四个控制变量和一个状态变量，根据 突变理论，利用蝴蝶型突变模型对网络流量异常进行分析，其具体方法如下。 蝴蝶突变模型的势函数为 6432 ( , , , , )V x a b c dxaxbxcxdx=+ (3-2) 该势函数中，x表示状态变量，对应网络流量本身，a，b

6、，c，d表示控制变量， 分别对应自相似特征量 * 1 i X、动力学结构特征量 * 2 i X、非线性统计特征量 * 3 i X和线性统 计特征量 * 4 i X。该势函数由一个状态变量和四个控制变量组成，形成了五维的状态空 间，四个控制变量所表示的四维控制空间，因而该势函数的分歧集曲面B不可能在 华华 中中 科科 技技 大大 学学 博博 士士 学学 位位 论论 文文 38 平面或者三维空间中直接描述出来。由于在四维空间中一个平面的维数为2，对应的 余维数也为2，即在四维空间中确定一个曲面需要两个平面方程。这里通过选择a为 常数和b为常数的平面在四维空间中与曲面B的交线 ab B作为表征蝴蝶突

7、变特征曲 线。 平衡曲面M的方程为 432 54320xaxbxcxd+= (3-3) 奇点集S的方程为 42 3012620xaxbxc+= (3-4) 分歧集曲面方程B为 15302020121515122030 (1510 )(204 )15200bcda+= (3-5) 由式(3-5)可知控制变量c项必为负值，c项之绝对值等于控制变量a、b、d三 项之和，控制变量c项与其余三项控制变量a、b、d之间构成了一组矛盾状态，状 态变量x则是该矛盾的统一体现。 当控制变量a和b取固定值时就可以绘制蝴蝶突变分歧集曲面B的截线图81, 82。 如图3-1所示，它绘制了当控制变量0b =，0a ，就

8、认为两个窗口( )R t和( )S t之间的突变级数 序列发生异常。 3.5 实验结果与分析 实验选用美国国防部高级计划研究署离线评估数据集(简称DARPA数据集）中 的第五周第2天的数据对我们提出的方法进行网络流量异常检测的性能评估。 表3-2所示的是在该网络流量序列上所计算四类特征量的不同组合的特征量之 间的距离之和。从表3-2中可以看出，Hurst指数、Q因子、均值和三阶矩构成组合 时，对应的特征间距离最大，这表明上述四个特征量能够最大程度上代表网络流量 四个不同方面的特性。因此，在本实验中，选择这四个向量分别作为突变级数的第 一至第四个控制变量。 图3-4为其对应的突变级数序列与异常对

9、照情况。实验中选取的阈值15T =。从 图3-4中可以看出在网络流量正常状态下， 对应的突变级数在一定范围内较为稳定地 华华 中中 科科 技技 大大 学学 博博 士士 学学 位位 论论 文文 42 波动，而在异常发生时，突变级数则产生状态跳跃，其波动更加显著。这说明在异 常发生时，突变级数能够较好地反映网络流量内在的突变特性。 表3-2 特征量组合的距离之和 选取的特征量 Euclidean 距离和 Hurst Q因子 均值 四阶矩 39.01 Hurst Q因子 均值 三阶矩 44.56 Hurst Q因子 方差 四阶矩 37.956 Hurst Q因子 方差 三阶矩 39.437 Hurs

10、t Q因子 变差系数 四阶矩 35.027 Hurst Q因子 变差系数 三阶矩 34.071 Lyapunov Q因子 均值 四阶矩 40.776 Lyapunov Q因子 均值 三阶矩 43.107 Lyapunov Q因子 方差 四阶矩 43.183 Lyapunov Q因子 方差 三阶矩 41.445 Lyapunov Q因子 变差系数 四阶矩 37.486 Lyapunov Q因子 变差系数 三阶矩 33.311 为了对本文网络流量异常检测方法的性能进行定量评估， 实验统计了相应的异常 事件检测率（DR） 、异常事件误检率（FAR） ，其计算公式为 det *100% ected a

11、ll NA DR NA = (3-10) det *100% ected all NAF FAR NN = (3-11) 这里 all NN表示网络流量序列中所有观测点的数目， all NA表示所有异常数据点的数 目。在检测结果中， detected NA表示正确检测的异常点的数目， detected NAF表示将正常的 数据错误检测为异常的数据点的数目，一般误检包括误报和漏报，这里的误检率主 要是指误报率。在这种定义中，准确的检测会有高的DR和低FAR。 为了检测本方法的性能，我们假定当检测率分别为 40%、60%、80%和 100%时，通 过求取对应的检测误检率来对本方法进行评估。 表3-

12、3为显示了本方法对DARPA数 华华 中中 科科 技技 大大 学学 博博 士士 学学 位位 论论 文文 43 据集中第五周第2天网络流量数据进行异常检测的统计结果，当检测率DR越高，其 对应的FAR值也越高。 050100150200250 0.4 0.5 0.6 0.7 0.8 突变级数 窗口 050100150200250 0 0.2 0.4 0.6 0.8 1 窗口 异常 图3-4 突变级数序列与对应异常图 表3-3 突变级数序列检测结果 检测率DR 40% 60% 80% 100% 误检率FAR 10.6%12.3%13.1%15.3% 为了检验本文选取的特征的有效性， 实验比较了同类

13、特征中每个特征独立对网络 流量采用广义似然比进行检测的性能，如图3-5所示。在DR相同的条件下，每类特 征中通过特征选择选取的特征量比同类特征中未被选取的特征量的FAR值更低，这 说明了被选中的特征量（Hurst特征指数、Q因子、均值和三阶矩）比同类其它特征 量更能准确区分正常与异常网络流量。 为了更进一步对本文方法的网络流量性能进行检验， 实验将利用突变级数综合决 策模型与利用单个网络流量特征量进行网络流量异常检测的结果进行比较，其对应 的ROC曲线如图3-6所示。从图中可以看出利用突变级数综合决策模型对网络流量 华华 中中 科科 技技 大大 学学 博博 士士 学学 位位 论论 文文 44

14、异常的检测率比其他单个特征的检测率更高。 40% 60% 80% 100% 0 5 10 15 20 25 30 检 测 率(DR) 误检率( FAR) Hurst指 数 Lyapunov指 数 a.自相似类特征 40% 60% 80% 100% 0 5 10 15 20 25 30 35 40 45 50 检测率(DR) 误检率( FAR) 均值 方差 变差系数 b. 线性统计类特征 华华 中中 科科 技技 大大 学学 博博 士士 学学 位位 论论 文文 45 40% 60% 80% 100% 0 5 10 15 20 25 30 35 40 45 检测率(DR) 误检率( FAR) 三阶矩

15、 四阶矩 c. 非线性统计类特征 图3-5 同类特征中每个特征的网络流量异常检测性能比较（除开只有一个特征量 的第二类特征） 40 60 80 100 10 15 20 25 30 35 40 45 50 检测率(DR) 误检率( FAR) 突变级数 Hurst指数 Q因子 Lyapunov指数 均值 方差 变差系数 三阶矩 四阶矩 图3-6 突变级数与各特征量检测的ROC曲线 华华 中中 科科 技技 大大 学学 博博 士士 学学 位位 论论 文文 46 3.6 本章小结 本章提出了一种基于蝴蝶突变级数的网络流量异常检测方法。 该方法综合了自相 似、动力学结构、线性统计和非线性统计四类特征量，

16、并采用蝴蝶突变级数来描述 网络流量发生异常时其内在的突变特性，结合蝴蝶突变级数的综合决策模型，利用 归一公式对网络流量特征量进行综合决策，对获取的突变级数序列运用广义最大似 然比检测方法对网络流量异常进行常检测。实验结果表明，该检测方法具有较好的 检测效果，并明显好于对单个特征量进行检测的结果。 华华 中中 科科 技技 大大 学学 博博 士士 学学 位位 论论 文文 47 第四章第四章 基于突变平衡态的网络流量异常检测方法基于突变平衡态的网络流量异常检测方法 4.1 引言 随着大量攻击的频繁出现，Internet和计算机网络暴露出不断增加的安全威胁。 开发实时有效的安全方法成为了一种严峻紧急的挑战。 入侵检测方法一般分为两种4：基于误用的检测方法和基于异常的检测方法。基 于误用检测的方法需要提供入侵检测特征样本作为训练数据，根据已知入侵事件的 特征模式构建入侵特征模式