《深度视频及视频预处理技术【文献综述】》由会员分享，可在线阅读，更多相关《深度视频及视频预处理技术【文献综述】（4页珍藏版）》请在金锄头文库上搜索。
1、毕业设计文献综述电子信息科学与技术深度视频及视频预处理技术 摘要：多视点视频具有任意切换视点的特点，但由于稀疏的相机序列无法获得各个角度的视点，这就需要利用深度图来合成虚拟视点。对象深度值是多视点视频的重要技术参量。基于深度信息在虚拟视点生成上的重要地位。本文主要介绍了深度图的特性，深度视频预处理的几种方法。 关键词：多视点视频；深度图；预处理1、 背景 1.1 多视点视频 多视点视频(MultiView Video)是一种新型的具有立体感和交互操作功能的视频1-4，它通过多个视点的视频数据满足用户从多个角度选择和操作视听对象，提供了场景漫游的交互能力。 多视点视频信号是由一组平行、会聚或任意
2、角度的相机阵列拍摄得到的视频信号。能提供拍摄场景不同角度的视频信息利，用其中的一个或多个视点信息可以合成任意视点的信息，达到自由切换任意视点的目的。为了满足多视点视频达到自由切换任意视点的目的，使用户可以切换到原本场景中并不存在的视点，我们必须通过获取深度图来绘制产生虚拟视点。 随着相机数目的增加， 多视点视频的数据量也成倍增加 5 ，同样，所需传输的深度信息量也增加。因此需要研究有效的深度图像压缩方法，以缓解带宽压力。系统的一个挑战就是研究实现一种高效的多路编码传输机制， 从而对数据进行高效地压缩以便存储和传输视频序列。 1.2 深度图的特性 深度图获取主要有两种方式：1）通过深度相机获取；
3、2）通过视差估计得到视差图，进而转换得到深度图。通过深度相机来获取深度图，由于价格等因素，现阶段无法商用化。因此，降低深度相机的成本是这方面努力的主要方向。通过深度估计算法来得到深度图，目前仍然存在着计算量大、效果达不到应用要求等问题，因此，需要提出一个满足应用需求的深度估计算法。另外，目前的深度估计算法仅适用于一维相机情况，因此，需要考虑不同的相机配置情况下，深度估计的问题。现阶段MPEG组织的主要目光就是集中在深度获取上。 深度图的特性应该从两个方面来讨论：（1）理论上深度图的特性；（2）现有深度图的特性。深度图与彩色图像相比具有纹理简单的特点。它只在对象边界处产生深度图值的跳变，而在对象
4、内部以及背景部分保持平坦。对于相机固定的序列，背景的深度值应该保证不变。深度图的时空相关性要大于彩色图像的时空相关性。因此，采用H.264压缩标准压缩深度图和彩色图像时，深度图的压缩效率较高。深度图主要是用于绘制产生虚拟视点。不同的深度图区域对最终的绘制效果影响各异。其中，以深度图中边缘部分的影响最大6-7。所以深度压缩时应该保护深度边界的深度值。 1.3深度图的研究现状及发展趋势在2007年以前，运动图像专家组（Moving Picture Experts Group,MPEG)组织主要研究视差信息，由于视差的局限性，深度信息开始被人们关注。并且现阶段是MPEG组织的主要研究方向。国外研究深
5、度主要有GIST研究所，Nagoya大学，Philips公司等研究机构。国内如：西安电子科技大学，清华大学，宁波大学以及华为等机构在研究，并作出了不错的贡献。基于深度信息在虚拟视点生成上的重要地位，有关深度信息的研究必将是热门领域。 2、 预处理技术的方法 文献88 提出了基于视觉特性的视频压缩预处理方法的研究，本文讨论了利用人眼的视觉特性，对视频进行处理优化后再进行正常的编码压缩传输。实验结果表明，本文采用的预处理算法在提高压缩比的同时可以有效地保证视频质量；在对原始视频进行相同程度压缩时，本文算法预处理后获得的；既频主观质量明显好于原始直接压缩。 文献9提出了视频检测对象的图像预处理研究，
6、本文主要针对视频检测对象的图像预处理常用技术，包括图像灰度化、图像灰度修正、图像滤波、图像锐化，并对各种图像处理技术的常用方法进行了介绍，给出了实验结果并进行分析。 文献10提出了针对基于FPGA的视频图像预处理的算法研究，针对基于FPGA器件实现实时视频图像处理中原始视频数据与视频编码算法不兼容的问题，本文提出了一种离散缩放算法，通过它对原始图像进行预处理，能使图像缩放后仍具有自然分明的边界，达到较为理想的视觉效果，可以更好地通过FPGA器件进行后来的视频图像压缩。文献11提出了基于运动补偿的视频预处理，针对预处理算法易在空域产生边缘模糊和在时域产生拖尾等图像扭曲现象，提出一种基于运动估计的
7、时域滤波预处理算法。该方法通过运动补偿技术将时域滤波映射到空域进行处理，有效地去除视频序列时域不相关的细节信息，避免空域模糊和时域拖尾，达到降噪和提高编码效率的目的。实验结果表明，在同等视频质量PSNR下，该预处理算法较预处理前可降低编码码率12-32，同等码率下视频序列的平均PSNR值比使用空域预处理方法高4 dB-9 dB。三、深度视频在时间轴上进行平滑处理图像平滑的目的是为了消除噪声，主要处理方式有邻域平均法即通过提高信噪比，取得较好的平滑效果；空间域低通滤波采用低通滤波的方法去除噪声；以及频域低通滤波法通过除去其高频分量就能去掉噪声，从而使图像得到平滑。3.1空间域平滑处理 3.1.1
8、邻域平均法 邻域平均法是简单的空域处理方法。这种方法的基本思想是用几个像素灰度的平均值来代替每个像素的灰度。邻域平均法的空域思想使得算法的思想简单、清晰；处理结果表明，邻域平均算法对抑制噪声是有效的。但是，随着邻域的增大，图像的模糊程度也愈加严重。为克服这一缺点，可以采用阈值法减少由于邻域平均所产生的模糊效应。 3.1.2 低通滤波法这种方法是一种频域处理法。在分析图像信号的频率特性时，一幅图像的边缘、跳跃部分以及颗粒噪声代表图像信号的高频分量，而大面积的背景区则代表图像信号的低频分量。用滤波的方法滤除其高频部分就能去掉噪声，使图像得到平滑1213。 3.1.3 多图像平均法如果一幅图像包含有
9、加性噪声，这些噪声对于每个坐标点是不相关的，并且其平均值为零，在这种情况下就可能采用多图像平均法来达到去掉噪声的目的。多图像平均法是把一系列有噪声的图像gj(x，y)迭加起来，然后再取平均值以达到平滑的目的1415。以上这些方法在不同程度上增强了去噪效果，但也带来了运算复杂、适用面窄等缺点。因而我们在选择消除噪声方法时，必须综合考虑各种因素，选择最适合的平滑方法。四、总结 对象深度值是多视点视频的重要技术参量。基于深度信息在虚拟视点生成上的重要地位，有关深度信息的研究必将是热门领域。本文介绍的几种深度视频预处理方法，以及深度多视点视频编码方法都有各自不同的优缺点。本人将在下一阶段的工作中针对各
10、方法的优缺点，选择或设计一种适合本课题的实现方法，完成课题任务主要参考文献：1 彭宗举,郁梅,蒋刚毅,等.一种多视点视频编码的宏块模式快速选择新算法J. 高技术通讯, 2008, 18(3): 253-258.2 毕厚杰.新一代视频压缩编码标准H. 264/ AVCM.北京:人民邮电出版社,2005.3 朱仲杰,郁梅,蒋刚毅.用于立体视频会议系统的立体对象分割和跟踪算法J.计算机辅 助设计与图形学报,2004:16(3):16-20.4 张云.多视点视频信号的先进编码研究D.宁波大学, 2007.5 蒋刚毅,张云,郁梅.基于相关性分析的多模式多视点视频编码J.计算机学报,2007,30(12)
11、:2205-2211.6 Oh H,Ho Y S.H.264-Based Depth Map Sequence Coding Using Motion Information of Corresponding Texture VideoJ.Lecture Notes in Computer Science. Vol.4319, pp. 898,2006. 7 Smolic A,Mueller K,et al. Multi-view video plus depth (MVD) format for advanced 3D video systemsC. San Jose, USA. Apr,
12、2007.8 于新波,赵辉,孙畅.基于视觉特性的视频压缩预处理方法的研究J.电气电子教学学报,2008,30(1):48-51.9 朱茜,马震.视频检测对象的图像预处理研究J.福建电脑,2009.10 侯佳欣,宋宇.针对基于FPGA的视频图像预处理算法研究J.2008:107-108.11 谢正光,包志华,徐晨,章国安,张士兵,杨永杰.基于运动补偿的视频预处理算法J.计算机工程.2009,35(19):222-223.12 DOULAMIS A D,DOULAMIS N D,NTALIANIS K S,et al.Unsu-pervised semantic object segmentati
13、on of stereoscopic video sequencesC.Proc.Of IEEE Int.Conf.On Intelligence,Information and Systems.Washington D.C,USA:IEEE Press,1999:527-533.13 FAN Liang-zhong,YU Mei,JIANG Gang-yi.Research on realization method of interpolation based on ray space in FVVC.CSCAS,2004:246-349.14 Jens Klappstein,Tobi V
14、audrey,Clemens Rabel,Andreas Wedel,Reinhard Klette.Moving Object Segmentation using Optical Flow and Depth InformationJ. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics),2009:611-623.15 Masayuki Tanimoto,Toshiaki Fujii,Kazuyoshi Suzuki.Improvement of Depth Map Estimation and View SynthesisS.ISO/IEC JTC1/SC29/WG11 M15090,Antalya, Turkey,2008.
