《网络流量模型及分析(最终思路)》由会员分享，可在线阅读，更多相关《网络流量模型及分析(最终思路)（83页珍藏版）》请在金锄头文库上搜索。
1、1 网络流量模型及分析 我们的工作 网络流量相关概念 网络流量的采集 网络流量模型 实例分析 1 2 3 4 网络流量概念分类测量网络流量的特点自相似性长相关性周期性 突发性 混沌性 网络流量相关概念 网络流量 概念 网络流量就是网络上传输的数据量单位时间内通过网络设备或者传输介质的信息量报文数数据包数字节数 网络流量 分类 上述三种分类方法 流量的粒度由小到大递增 广泛使用 参考文献 Internet流量模型分析与评述 张宾 杨家海 吴建平 网络流量 测量 主动测量会额外注入流量 被动测量涉及安全性与私密性问题 主动测量确定网络整体性能 被动测量故障定位 理想的网络测量 不影响数据包转发的速
2、度 完整的流量监控 占用资源少 不会泄露用户的隐私 速度 完整 资源 安全 网络测量的意义 Internet流量工程和网络行为学的研究的依据开发高性能网络设备和设计网络协议的理论基础开展Qos敏感应用提供Qos保证的前提条件诊断网络的运行状况 进行更好的管理保障网络安全 防范网络攻击运营商针对网络流量进行业务上的收费 网络流量的特点 自相似性长相关性周期性突发性混沌性 采集自台湾地区的台中教育大学网络主节点服务器Incmingartides共计71天的每小时网络流量数据图 自相似性 局部结构与总体结构相比具有某种程度的一致性种类确定自相似性随机自相似性 网络流量 赫斯特指数 Hurst 确定自
3、相似性示例 自相似性 从分布的角度定义 令t代表时间 对于所有a 0 一个随机过程 Z t 如果Z at 与 Z t 具有相同的有限维分布 即那么Z t 是自相似随机过程 n是正整数 代表n维分布参数H称为Hurst参数 参考文献 基于时间相关的网络流量建模与预测研究 高波 自相似性 赫斯特指数 Hurst 表征自相似特性的一个重要参数当0 H 0 5时 表示负相关 即不具备自相似性高低值交替的趋势持续一段时间 粗糙曲线 当H 0 5时 随机过程呈现为某种 随机游走 状态 即不同时间的状态转换是互不相关的当0 5 H 1时 表示正相关 即具有自相似性维持高值的趋势会持续一段时间 平滑曲线 不同
4、H的分形布朗运动轨迹 长相关性与自相似性 长相关 反映了自相似过程中的持续现象 即突发特性在所有的时间尺度上都存在的现象两者联系 H 1 2的稳定自相似随机过程是长相关的 但长相关过程不一定就是自相似的 自相似性偏重于数学表述上的 长相关时侧重于业务量的统计特性 周期性 混沌性 突发性 周期性反映了网络流量时间序列表现出随时间的规律变化混沌性在确定性系统中出现的一种类似随机的现象突发性业务量在某一时刻或者一段时间内变化悬殊 网络流量的采集方法 6 NetFlowsFlowRMON端口镜像 参考文献 网络流量分析关键技术研究 任春梅 NetFlow 将数据报文聚类 汇聚成流 置于缓存中转发的时候
5、对于属于同一个流的连续包 后续报文不做三层处理同步实现对高速转发的IP数据流的测量和统计集成在路由器中 NetFlowAnalyzer sFlow 采用数据流随机采样技术 详细 实时地分析网络流的性能 趋势以及存在问题收集到的数据通过sFlow代理进行编码 转交给中心采集器 已植入设备中 不仅可以对数据包进行IP层分析还可以进行二层分析处理 RMON RemoteNetworkMonitoringSNMPMIB两种方法收集数据通过RMON探测器 网管工作站直接获取全部MIB信息 并控制资源将RMON代理植入网络设备 网管工作站用SNMP交换数据 SNMP MIB SNMP 简单网络管理协议 体
6、系结构被管理的设备SNMP管理器SNMP代理 SNMP与MIB MIB 管理信息数据库 树形结构包含了管理代理中的有关配合和性能的数据对管理信息进行读写操作就可以完成管理 端口镜像 无损复制 镜像采集配置交换机或路由器把一个或者多个端口的数据转发到某一个端口来实现对网络监听要监听所有流量 难度巨大 性能要求高 NetFlow 对主机间流量描述精确性接近100 但是无法做深度检测基于软件架构 配置方便 安装简单利用汇集方式监测 适用于广域网间sFlow 速度快 实时性好分析过程对性能有一定要求利用随机采样方式监测 适用于局域网间RMON SNMP 信息准确 读取方便对每个数据帧都会进行分析 增加
7、负载端口镜像方案简单 无传输延迟处理时性能要求高 网络流量建模原则 以流量的重要特性为出发点设计流量模型以刻画实际流量的突出特性进行数学上的研究 参考文献 Internet流量模型分析与评述 张宾 杨家海 吴建平 流量模型的发展历程 传统模型 短相关 自相似模型 长相关 流量模型的新发展 20时期70年代 1994年 1994年 2004年 2004年泊松回归引发的争论至今 传统 短相关 模型 泊松 Poisson 模型马尔可夫 Markov 模型回归 regression 模型 泊松 Poisson 模型 时间序列t内 包到达的数量n t 符合参数为 t的泊松分布 时间间隔序列T呈负指数分布
8、 泊松过程的强度 单位时间间隔内出现包的数量的期望 即包到达的平均速率 泊松 Poisson 模型 泊松 Poisson 模型 前提 假设网络事件 如数据包到达 是独立分布的只与一个单一的速率参数 有关 泊松 Poisson 模型 马尔科夫 Markov 模型 对于一个给定的状态空间 表示在n时刻状态的随机变量 如果的概率只依赖于当前的状态 就形成了一个Markov链 只有当前的状态用来预测将来 过去对于预测将来是无关的 马尔可夫过程 实例 33 贪吃蛇的两种规则 青蛙跳荷叶 马尔科夫 Markov 模型 传统模型的缺点 实际的数据包和大部分连接的到达是相关联的 并不严格服从泊松分布流量自相似
9、性反映业务在较大时间尺度具有突发性 对缓存的占用较大 导致更大的延时当业务源数目增加时 突发性会被吸收 聚合业务会变得越来越平滑 但却忽略了流量的突发性 流量模型的发展历程 传统模型 短相关 自相似模型 长相关 流量模型的新发展 20时期70年代 1994年 1994年 2004年 2004年泊松回归引发的争论至今 自相似 长相关 模型 构造建模 物理模型 利用已知的传输知识解释所观察到的数据特征 重尾分布的 ON OFF模型M G 排队模型行为建模 统计模型 用数据拟合方法模拟所测真实数据的变化趋势 FBM FGN模型FARIMA模型基于小波的模型 M G 排队模型 M 顾客到达时间间隔 呈
10、指数分布 改进后为泊松分布 G 顾客的服务时间 服从帕累托Pareto分布 重尾分布 服务器数量 无限大适用于视频流量模型 M G 排队模型 最早由B Mandelbrot和J M Berger两人于上世纪六十年代在有酬更新过程 rewardrenewalprocess 的基础之上构造出来 随后Taqqu和Levy扩展了该模型的构造方法 实质 将大量的ON OFF数据源生成的流量叠加在一起 ON OFF模型 参考文献 基于时间相关的网络流量建模与预测研究 高波 ON OFF模型 ON OFF模型 ON OFF模型 每个发送源都有两个周期交替的ON和OFF状态 即发送数据状态和不发送数据状态 发
11、送数据包的速率 重尾分布 重尾分布 一种比正态分布还要广泛的的随机变量分布 体现在少量个体做出大量贡献Pareto法则 80 20法则 最重要的通常只占其中一小部分直观特征 大头短 小尾长 帕累托分布 Pareto 在重尾分布当中 Pareto分布是相对简单的一种分布 令参数a 0 k 0 则Pareto分布概率密度函数f x 是如下描述的分段函数 结论 当多个独立同分布的ON OFF数据源流量叠加时 如果ON状态或者OFF状态的持续时间服从重尾分布 那么叠加流量将具有自相似性 39 帕累托分布 Pareto 重尾分布的ON OFF模型 C 即Convergence 表示趋同性网络趋同性说明
12、以往的ON OFF模型中对于各个ON OFF源之间独立同分布的假设变得不切实际 导致ON OFF模型生成流量的合成流量的自相关函数并不满足实际网络流量的长相关特性 C ON OFF模型 1 根据Internet中广泛存在的趋同性改进现有的ON OFF模型 使各源之间具有一定的相关性 讨论各源之间相关性与合成流量长相关性的关系2 建立基于ON OFF模型的具有趋同性的新网络流量模型 3 使用归一化子协方差函数和Hurst参数验证 实验步骤 假设ON OFF模型中有N个ON OFF源 每个ON OFF源产生的流量分别是X1 m X2 m XN m 其中m为整数离散时间 m 0 这N个源生成流量的合
13、成流量X m 为 设n为时间间隔 n为大于等于零的整数 那么 X m 的自相关函数为 理论验证 N个独立同分布ON OFF源的合成流量的自协方差函数与每个源流量自协方差函数的关系 其中c n 是合成流量的自协方差函数 ci n 是每个源流量的自协方差 一系列数学推导 V Paxson等人 34 指出 ON周期或OFF周期的持续时间具有轻尾分布的ON OFF模型在独立同分布条件下产生的合成流量是短相关流量结论1 当ON OFF结构模型满足独立同分布 ON周期或OFF周期持续时间呈轻尾分布时 源产生的流量具有短相关性质 结论1 各个源产生流量的自协方差函数与互协方差函数说明 由于各个源之间不独立
14、因此第二项必不为零结论2 单个流量之间的互协方差是否可加将直接决定聚合流量自协方差函数是否可加 即各源生成流量之间的互相关性的强弱决定了合成流量自协方差的可加性 当On或者Off持续周期不独立 当ON OFF结构模型满足独立同分布 ON周期或OFF周期持续时间呈轻尾分布时 源产生的流量具有短相关性质只要满足独立同重尾分布这个条件 无论单个流量还是合成流量都是长相关流量如果各源之间不独立 具有一定相关性 那么 对于重尾分布来说 合成流量必然长相关 理论论证之结论 归一化自协方差函数 又称自相关系数Hurst参数估值 两种验证方法 实验条件控制 第一组 ON OFF模型各源的ON OFF状态周期均
15、呈轻尾分布 且各源之间相互独立 第二组 ON OFF模型各源的ON OFF状态周期均呈轻尾分布 指数分布 但各源之间不独立 具有一定相关性第三组 ON OFF模型各源的ON OFF状态周期均呈重尾分布 选取Pareto分布作为重尾分布的代表 且各源之间相互独立第四组 ON OFF模型各源的ON OFF状态周期均呈重尾分布 Pareto分布 各源之间不独立 具有一定相关性 实验条件设置 归一自协方差验证结论 Hurst参数估值验证结论 构造新模型C On off 条件设置1 固定n 观察C ON OFF模型生成流量的归一化自协方差随N值的变化情况 2 固定N 观察C ON OFF模型生成流量的归
16、一化自协方差随n值的变化情况 使用C on off模型测试 实验结果 n固定 实验结果 N固定 Hurst验证新模型 Hurst验证新模型 首先通过理论分析证明了如下结论 在经典ON OFF模型的基础上加入各ON OFF源之间的相关性 可以在ON周期和OFF周期持续时间分布为轻尾分布的条件下产生长相关性质的流量然后对上述结论进行了仿真验证 仿真结果表明 在ON OFF模型各源之间增加相关性之后 即使ON OFF模型的ON周期和OFF周期持续时间呈轻尾分布 合成流量依然具有长相关性 若ON周期和OFF周期持续时间呈重尾分布 那么各源之间的相关性将加剧合成流量的自相似程度 表现为Hurst参数值的增加 C on off结论 流量模型的发展历程 传统模型 短相关 自相似模型 长相关 流量模型的新发展 20时期70年代 1994年 1994年 2004年 2004年泊松回归引发的争论至今 2004年 Karagiannis等人通过分析Tier1ISP的骨干链路流量发现 目前高带宽和高聚合的链路流量在极小尺度下近似泊松过程 从而引发了人们对网络流量特征及建模的新思索和争论之所以这样划分 并不表示
