《关于时间序列预测在流媒体服务中应用的研究》由会员分享，可在线阅读，更多相关《关于时间序列预测在流媒体服务中应用的研究（63页珍藏版）》请在金锄头文库上搜索。
1、中国科学技术大学 硕士学位论文 关于时间序列预测在流媒体服务中应用的研究 姓名：戴君 申请学位级别：硕士 专业：网络传播系统与控制 指导教师：李俊 20100501 摘 要 摘摘 要要 流媒体系统常常因为同时实时处理大量用户服务，而耗费大量的资源和能 源，譬如网络带宽和电力。不管是为了节省本身系统开支还是世界能源危机， 为流媒体系统开发节省带宽资源和服务器能源的方案越来越有必要；而在进一 步开发具体方案之前，对带宽需求和服务器用户量的预测成了首要解决的问题。 因此，本论文提出解决两个课题： 1) 课题一： 如何基于视频迹文件的数据来预测视频服务对于网络带宽的需 求； 2) 课题二： 如何基于视
2、频服务器上的日志文件数据来预测服务器未来用户 量的变化。 为了解决这两个课题，本文基于时间序列建模和预报的理论和方法，对每 个方案各提出了一个预测方案。这两个预测方案都用到了我们提出的一个 ARMA 模型拟合算法，并且在使用这个算法之前，都对样本数据进行了分析绘 图、趋势项和季节项分离、平稳化和零均值化等可逆预处理过程；而在算法之 后，都基于算法的拟合平稳过程进行了预报，并且基于这些预报结果对未来数 据进行了预测。 课题二的预测方案相对简单，没有脱离时间序列分析法的一般步骤；而课 题一的预测方案在运行算法前，提出了一个比较特殊和有效的可逆初变换，并 且一步步依靠实验改进了该变换，最后提出了一个
3、多步动态预测机制。我们针 对两个课题都设计了多个实验，实验结果表明我们的预测方案有效而精度较高， 能够捕捉到历史数据的变化特征和趋势。特别是课题一的预测方案相对于其他 相关工作，不需要基于平稳性假设和不需要区分对待 I、P 和 B，因此结果更精 确而实现复杂度更低。 关键词：关键词：时间序列 节能 带宽 服务器 MPEG 视频迹文件 预报 ARMA 目 录 ABSTRACT The streaming media system usually costs lots of resource like network bandwidth and energy like electricity, b
4、ecause of hosting a large number of instantaneous users. No matter to cut the system budget itself or for the world energy crisis, it is more and more necessary to seek solutions to optimize resource or energy efficiency. However, the expected schemes would have to be developed based on predictions
5、of future bandwidth requirement and sever workload of the whole system. Therefore, this paper proposes and solves two topics as follows: 1) Topic 1: How to predict the network bandwidth requirement based on video traces? 2) Topic 2: How to predict the future connection number based on its log data?
6、To address these two problems, this paper proposes one prediction scheme for each topic based on the modeling and forecast of Time Series. Each prediction schemes uses an ARMA fitting algorithm designed by us. And each time, the sample series is analyzed, plot, processed to be stationary without tre
7、nd or seasonal components, and subtracted by its mean before running the algorithm. These operations are all reversible. In addition, after running the algorithm, each scheme predicts the future values based on the forecasts from the gained stationary model of the algorithm. Topic 2 is relatively si
8、mpler, and can be processed and solved according to the normal steps of Time Series Analysis. But topic 1 is harder, and a special, effective and reversible initial transformation is needed before the fitting algorithm, which improves step by step as the experiments proceed. At last, we get a multi-
9、step dynamic prediction mechanism. We design several experiments for each prediction and the results show that our schemes are effective with a high accuracy, and could capture the characteristics and variation of history data. Especially, compared with related work, the scheme for Topic 1 needs no
10、目 录 stationary assumption and doesnt have to separate the I, P and B frames, and thus achieves higher accuracy with a lower implementation complexity. Key Words: Time Series, energy efficiency, bandwidth, server, MPEG, video trace, forecast, ARMA 中国科学技术大学学位论文原创性和授权使用声明 本人声明所呈交的学位论文,是本人在导师指导下进行研究工作 所
11、取得的成果。 除已特别加以标注和致谢的地方外， 论文中不包含任 何他人已经发表或撰写过的研究成果。 与我一同工作的同志对本研究 所做的贡献均已在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权， 即： 学 校有权按有关规定向国家有关部门或机构送交论文的复印件和电子 版， 允许论文被查阅和借阅， 可以将学位论文编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 保密的学位论文在解密后也遵守此规定。 作者签名：_ 年 月 日 在在读期间发表的学术论文与取得的研究成果 第 1 章 绪论 第 1 章 绪论 1.1 引言 1.1 引言 本论文将分别用
12、平稳时间序列建模和预报的理论来仔细分析流媒体服务中 的以下两个课题，并且各基于时间序列分析和预报提出一套比较有效的预测方 案： 1) 课题一： 如何基于视频迹文件的数据来预测视频服务网络流量的变化(也 就是视频服务对于网络带宽的需求)； 2) 课题二：如何基于视频服务器上的日志文件数据来预测服务器未来承载 用户量的变化。 这两个课题研究的目的都是为了我们在实际应用的时候， 能够以保障服务质 量(QoS)为前提，基于上面两个课题的预测方案和结果进一步开发流媒体服务系 统资源和能源调度的完整方案。例如，课题一的解决就是为了基于网络带宽需求 的预测，最终能够实现网络带宽动态重协商和分配(dynami
13、c bandwidth allocation and renegotiation)方案， 以解决流媒体网络的可变比特率(VBR)性质带来的网络带 宽资源大量浪费的问题。 我们将在下面的章节中， 结合流媒体服务的性质和特点， 具体的阐明以上课题研究的意义。 无论是课题一对于流媒体网络带宽需求的预测， 还是课题二对于流媒体服务 器日承载用户量的预测，我们的根本目的是预测。尽管最后的预测方案因具体课 题而不同， 但是问题转化后的本质都是利用服务器已经观测到或者记录到的历史 数据来进行分析、处理、建模和预报，因此我们使用的思想和方法是一样的，那 就是时间序列分析和预报。时间序列分析方法论将是我们整篇论
14、文研究的核心， 重中之重，下面我们就先来介绍一下时间序列的大体概念和功能，我们后面会有 一章内容系统而全面地专门讲解时间序列。 1.2 时间序列1.2 时间序列 时间序列是一门以概率论与数理统计、 随机过程等其他数学课程为基础的统 计课程，它是一门理论性很深同时应用性也很强的课程，因此，我们可以把时间 序列分析理解成一个非常有用的工具。 我们可以用时间序列分析来解决很多实际 问题， 例如有研究在地下水动态预测网的优化设计等工程应用中解决了重大课题 (Peter J. Brockwell and Richard A. Davis, 2001)。 时间序列的不菲价值体现在它与控制论、 信号与信息处
15、理及金融学等诸多学 科有着相互交叉的“接口” ，时间序列能够和很多诸如人工神经网络、小波分析 2 及分形等的学科紧密结合，而在不少前沿领域不断取得重要成果(Peter J. Brockwell and Richard A. Davis, 2001)。例如，时间序列从第二次世界大战前就开 始被应用于经济预测，此外，它还被更广泛地应用在军事科学、空间科学、气象 预报和工业自动化等部门的研究中。 这其中，时间序列最被很多研究者看中的，是它的有效预测能力，它是拥有 了很多观测或者记录数据后的简单外延法。 而本论文就是出于在预测方面的内在 需要，将时间序列作为有效的预测手段引入流媒体服务的应用中。 事实
16、证明，时间序列的确可以在流媒体服务的应用方面大展拳脚。本论文后 面章节对于课题一和课题二预测方案的提出， 以及实验证明的预测方案的理想效 果，是对时间序列的预测功能和在流媒体服务方向的应用性的最大肯定。本论文 会在第 3 章中专门讲解时间序列相关的理论、方法和算法，会在第 4 和 5 章中具 体研究如何用时间序列建模和预报来进行预测， 所以我们现在先介绍一下我们要 研究的两个课题的大致背景。 1.3 课题背景和相关工作 1.3 课题背景和相关工作 在这一节中，我们主要分别介绍一下流媒体服务中这两个课题的研究背景。 1.3.1 课题一：流媒体网络带宽需求预测课题一：流媒体网络带宽需求预测 为了预测流媒体网络未来的带宽需求， 世界上许多学者进行了相关探索工作 和研究。其中一些研究者是基于观测或收集到的大量视频流量数据，集中在离线 的系统建模与仿真或者理论上的性能分析和评估方面展开工作；另一方面，其他 有些学者致力于解决在线实时的视频流预测问题。总的来说，主要有两种算法被 用来管理动态资源， 一种是基于参数估计， 另外一种是基于预测(Yongfang Wang,
