《多视点视频编码快速算法研究【文献综述】》由会员分享，可在线阅读，更多相关《多视点视频编码快速算法研究【文献综述】（5页珍藏版）》请在金锄头文库上搜索。
1、毕业设计文献综述电子信息科学与技术多视点视频编码快速算法研究摘要：多视点视频编码快速算法的主要目的，是研究如何通过提高压缩效率以及有效消除各个视频流内的时空冗余及交叉冗余并提高多视点视频压缩效率的技术，为提高多视点视频编解码的处理速度提供技术支持。本文介绍了多视点视频编码技术的研究现状和发展趋势，分析比较了几种快速算法，特别是多宏块快速算法。每种快速算法均可以提高编码效率，但是性能方面却不太相同。大多数算法采用率失真代价这一评价手段来衡量所提出的快速算法，最后提出了多视点视频今后的研究方向。关键词：多视点视频；视频编码；快速算法；宏块模式选择1、 背景1.1 传统的单视点视频编码技术传统的视频
2、编码技术上一种单路视频信号，同时其对应的深度视频也是单路的。单路是视频信号由于对物体图像的采集只是从单一的一个视点出发的，因此在图像呈现上存在不够立体，不够真实，同时存在遮挡的问题。在传统的视频编码技术中以ISO/IEC（International Organization for Standards/International Electro-Technical Commission 国际标准化组织/国际电工委员会）制定的MPEG-x系列1和ITU-T（International Telecommunication Union 国际电子联盟电信标准化局）制定的H.26-x系列编码技术最为人们
3、所熟悉和应用。1.2 多视点视频编码技术在视频技术领域中，主要的发展趋势是追求对自然景物更加真实、清晰的表征。立体电视和立体电影表征出来的3D显示效果；在进行可视电话或者远程可视会议时，用户的临场感；远程诊疗时，医生需要病人全方位的视频信息；网上购物，人们也希望能够看到物品在多个视角的描述。多视点视频技术越来越受到学术界和工业界的重视，并且成为当前视频研究领域的热点之一2-4 。1.3 多视点视频编码技术研究现状 国外对于多视点视频的研究从20世纪90年代就开始展开了5，十多年来，其研究成果已经覆盖多视点视频各个领域，包括多视点的捕获、编码、传输以及呈现等。其中德国、法国、美国、日本和韩国等对
4、多视点的研究比较深入6，比如欧洲几个国家从1992年开始联合开展的DISTIMA项目，采用MPEG2标准作为基础实现了一个完整的立体视频系统。另外，德国的HHI研究所致力于研究沉浸式立体视频会议系统7。国内学术界对多视点视频的研究开始于90年代后期，到目前为止，已在多视点视频编码压缩以及虚拟视点合成等领域取得了一定的研究成果，其中主要有清华大学、上海大学、天津大学、宁波大学等高校。2、 多视点视频编码技术2.1 多视点视频快速算法研究现状JVT（joint video team)1提出了多视点视频编码(MVC, multiview video coding)的概念，并长期致力于视频编码的标准化
5、工作，目前正在提出多视点视频编码校验模型型（Joint Multiview Video Model，JMVM）8，作为多视点视频编码的研究平台。在编码过程中，采用了率失真优化技术来进行宏块模式的选择，可以在获得好的画面质量和代码率之间获取平衡。在多视点视频编码技术的研究过程中，国内外的一些研究机构和大学提出了一些多视点视频编码的快速算法。目前，国内外一些研究机构和高等院校仍在积极探索高精度、高效率的视频编码宏块模式快速选择算法，取得了很大的进展，提出了许多宏块模式快速选择算法。这些方法从不同的角度或不同的目的对视频编码问题进行了研究。基于JMVM的宏块模式选择情况，国内外研究针对降低宏块模式选
6、择方法中的计算复杂度，提出了各种改进的算法。基于动态多阈值、多视点视频编码、H.264的帧间宏块模式、虚拟视点合成算法、块匹配的运动估计等，有选择地对某个或某几个预测块模式进行搜索计算，从而达到降低计算复杂度的效果。2.2 各种多视点视频快速算法H.246采用的全新编码技术包括帧内预测多宏块、多参考帧、率失真优化等。文献99一文中提出的一系列基于统计信息、宏块分类和自适应判决门限的提前选择某模式为最优模式的快速模式选择策略；文献1010一文中利用图像序列的时/空相关性提出了一种H.246中帧间预测的快速预测模式选择法；文献1111一文中提出了基于率失真优化的复杂度可分级码率控制算法等。 多宏块
7、模式有效地提高了编码效率，对于图像细节分布不均匀的视频序列效果尤其明显；多参考帧进一步提高了预测精度和编码效率，但基于多宏块模式、多参考帧所带来的编码高性能是以算法的高复杂性为代价。文献1212一文中提出基于H.264多宏块模式多参考帧运动估计的一种快速搜索算法，此快速搜索算法能有效降低搜索算法的运算量，提高H.264编码速度，但是增加了算法的复杂性。因此，能够在保证编码性能的前提下提高编码的速度，成了多视点视频编码中的关键技术之一。 基于块匹配的运动估计是视频压缩的关键技术之一，有选择地对某个或某几个预测块模式进行搜索计算，那么计算复杂度就会显著降低。最直观的方法是建立一种判断准则，正确地选
8、择最佳预测块模式，编码器只对某个或某几个预测块模式进行搜索计算，减少不必要的块模式搜索，从而降低运动估计的复杂度。文献1313一文中提出了采用宏块模式类失真均值作为阈值的快速宏块模式选择算法，提出了动态多阈值的快速宏块模式选择快速算法，该算法的实验结果表明该算法在保证多视点视频编码图像质量和压缩效率的基础上，能明显降低宏块模式选择的计算复杂度，提高多视点视频编码的速度。文献1414一文提出了一种根据前一帧搜索结果判断小块模式搜索中途停止(Halfway-Stop)算法，具体做法是：将宏块分成7种用于帧间预测的块模式16x16，16x8，8xl6，8x8，8x4，4x8，4x4，分别称为模式1、
9、模式2、模式3、模式4、模式5、模式6、模式7，如果前一帧中对应位置的块编码模式为Model(16x16块模式)或Mode0(直接拷贝模式)，则停止小块模式ModeMode7的搜索。此算法能够在获得与全搜索算法相当的图像质量、信噪比和比特率的情况下，大大降低多种块模式运动估计算法的复杂度，比较适合背景相对简单、运动不剧烈的视频序列中。文献1515一文中采用了复杂度极低的skip模式利用零块判决技术，能尽快早地确定该宏块是否使用skip模式，将后面的模式选择操作全部省去，大大加快视频编码器的编码速度。这种快速的帧间模式选择算法对所有的视频序列都有效，尤其对运动变化比较剧烈的视频序列在低QP值下的
10、编码加速效果更加明显。文献1616一文中的模式选择快速算法，此算法根据帧间编码宏块的树状分割模式特点，应用了若干简单有效的终止搜索准则，并采用动态阈值以进一步加快模式选择的速度。将H.264中宏块分成ModeMode7，如当前编码模式SAD值(SAD 为原始视频信号与参考帧信号的绝对差值和)小于动态阈值T，则直接采用该模式，能够在取得相近PSNR和比特率条件下，编码速度得到较大提高，适合实时视频应用。多视点视频编码的方法还有很多，都是根据立体视频对象的某种特性进行研究和计算，但是目前还没有一种完整的方法使编码的视频对象如同我们的眼睛一样具有立体感和逼真感。概括起来，目前的多视点编码技术主要存在
11、以下问题：首先，视频对象的语义一致性难以定义，目前还不存在一种适合所有序列的通用的算法；其次，编码过程中计算量大，难以满足实时性要求。三、多视点视频编码技术发展趋势虽然随着视频压缩方法的改进，多视点视频编码方法的压缩效率得到了很大程度上的提高，然而多视点视频编码技术还未达到成熟和完全实用的阶段，在诸多环节及关键算法上依然存在较大的改进余地。因此要继续深入研究优化的编码算法，在保证编码性能的前提下对现有的快速算法进行改进，提供更有效的快速算法，以便在更多的领域中得以推广并应用。 在保证编码性能的前提下提高编码的速度，可以从以下几方面进行改进：一方面可以进行软件的优化，如对算法的优化和对程序的优化
12、，这可以从三个层面进行，算法级，程序级和指令级。另一方面是实现硬件的编码，和和软件编码优化侧重不同，要着重需要考虑硬件计算的效率和硬件实现的复杂度。 现阶段对多视点视频编码算法研究的评价手段主要集中于率失真性能和计算复杂度比较，对于其他诸如随机访问、内存需求、部分解码性能、视点可分级性等等性能，学术界均未形成相应系统的评价方法和评价指数。四、总结上面所提到的快速算法都在一定程度上提高了编码效率，由于多视点视频中具有较大的时间和视点间冗余，而多视点编码算法，多采用运动估计来消除时间冗余，采用视差估计消除视点间冗余。如何在多视点编码的随机访问性能、率失真性能和计算复杂度这几个矛盾之间，寻求提高编码
13、算法综合性能有效解是多视点研究的热点，也是本课题研究的主要内容和方向。参考文献：1 毕厚杰.新一代视频编码标准H.264/AVCM.北京:人民邮电出版社.2005 ,96-103.2 Merkle P.smolic A, Muller K, et al. Efficient prediction structures for multiview video codingJ. IEEE Transactions on Cirults and Systems for video Technology, 2007, 17(11): 14611473.3 Kimata H, Kitahara M, K
14、amikura K, et al. Low-delay multiview video coding for free-viewpoint video communicationJ. Systems and Computers in Japan, 2007, 38(5): 14-28.4 Aljoscha Smollic, Karsten Mueller, Nilolce Stefanoski, et al. Coding algorithm for 3DTV-a surveyJ. IEEE Transactions on Circuits and Systems for Video Tech
15、nology, 2007, 17(11): 1606-1621.5 郑志辉.多视点视频关键编码技术研究D.北京:北京机械工业学院,2007. 6 Lydia M.J.Meesters,Wijnand A.Usslsteijn and PieterJ.H.Seuntiens.A Survey of Perceptual Evaluations and Requirements of Three-Dimensional TV.IEEE TRANSACTIONS ON CIRVUITS AND SYSTEMS FOR VIDEO TECHNOLOGY,2004,BOL.14(3):278-285.7
16、 李世平,蒋刚毅,郁梅.基于H.264 的立体视频编码方法J.计算机工程与应用. 2005,41( 1) :77-79.8 李淳,马力妮.多视点视频编码技术研究J.计算机与现代化,2009, (01): 105-108.9 张颖,沈庭芝,王卫江. H.264视频编码快速宏块模式选择策略J.北京理工大学学报,2009, 29(06): 536-540.10 彭琛琛,杨鼎才.基于H.264/AVC视频编码技术的改进算法J.计算机应用与软件,2009, 26(07): 216-218.11 Si Wen Ma, Wen Gao. Rate distortion optimization based video co
