《视频防抖的研究》由会员分享，可在线阅读，更多相关《视频防抖的研究（32页珍藏版）》请在金锄头文库上搜索。
1、 视频防抖的研究 摘 要视频序列往往会由于摄像机及其载体的随机抖动而严重影响视频图像的质量。随着人们对视频拍摄质量的要求不断提高，如何对视频序列进行稳像正成为一个研究的热点问题。利用电子稳像技术实现抖动视频序列稳定已经成为现代稳像技术的发展方向之一。而OpenCV作为近年来新出现的计算机视觉研究工具，由于其跨平台、可扩展性和开放性，应用也越来越广泛。本文针对摄像机不稳定引起的图像序列抖动，提出一种基于全搜索块匹配的运动估计与补偿方法，并将其应用于电子图像稳定(EIS)系统中，该方法较好地解决了图像序列在水平和垂直方向的抖动问题。文中首先介绍了电子稳像的发展，OpenCV的应用，着重研究了以块匹
2、配的算法进行电子稳像。 本文主要在VS 2008环境下，基于OpenCV库函数对视频序列通过块匹配算法进行运动估计，得到运动向量后，再进行运动补偿得到稳像后的视频，验证了理论的可行性。【关键词】电子稳像；OpenCV；块匹配AbstractVideo sequence will often due to camera and its carrier video sequence caused the dithering of image dithering and serious video image quality caused. As people opposite video shoo
3、ting quality requirement enhances unceasingly, how to video sequences ois is becoming a hotspot. Using electronic stability video sequences like technology to achieve jitter stable has become the modern ois technology development direction of. OpenCV as in recent years the emergence of new computer
4、vision research tools, because its cross-platform, scalability and openness, used more and more widely.This paper firstly introduces the development of electronic ois, OpenCV applications, this paper studies the block matching algorithm with electronic ois. This paper mainly in 2008 environment, bas
5、ed on VS video sequence of OpenCV library functions by matching motion estimation algorithm to get moving vector in motion compensation after the video get ois verified after the theoretical feasibility.【Key Words】Electronic image stabilization; OpenCV; Blockmatching 目 录第1章 引言1.1 研究背景11.2 研究的目标和意义11
6、.3 研究的思路1.4 论文组织结构2第2章 电子稳像技术及OpenCv简介2.1 电子稳像技术32.1.1 图像的预处理32.1.2 帧间运动估计的算法2.1.3 帧间运动补偿42.1.4 电子稳像技术的发展2.2OpenCV库52.2.1 主要功能2.2.2 OpenCV模块62.2.3 OpenCV的发展第3章 开发环境的配置3.1 硬件设备83.2 软件设备83.3 实验环境配置83.4 使用OpenCV 2.0编程10第4章 块匹配算法的实现114.1 块匹配算法124.1.1 块匹配算法的分析134.1.2 块匹配准则134.1.3 SAD准则的分析144.2 图像的预处理144.
7、3 运动向量的估计154.4 运动补偿204.5 视频的写入21第5章 算法测试225.1 防抖测试225.2 测试结果22第6章 小结23参考文献24致谢26I视频防抖的研究第1章 引言1.1 研究背景视觉是人类获取信息最为重要的途径，外部世界丰富多彩的信息大部分是通过视觉感知的。据统计人类通过视觉获取的信息占全部获取信息总量的60。随着计算机、数字通信、多媒体和网络技术的发展，信息在急剧膨胀，图像与视频作为信息的最重要的载体之一，已经深入人们的日常生活。人们不仅仅满足于文字及声音，还希望看到生动的画面与场景。绝大多数娱乐活动，如电影、电视、VCD、DVD等，工作学习需要的如可视电话、电视会
8、议、多媒体邮件与食品检索等，都需要处理图像与视频信号1。电子摄像系统已广泛应用在船舰的光电设备、无人机的侦察车的监视系统等领域中。而电视摄像系统的工作效果要受到其载体不同时刻的姿态变化或振动的影响。反应到监视器上，就是获得的图像信息不稳定、模糊。而这种不稳定的图像对于观察者会产生疲劳感，从而导致误判和漏判；对于目标自动识别系统会导致漏警和虚警。从最早的机械式稳像、光学稳像、机电稳像到电子稳像, 稳像技术的研究已开展了多年。稳像技术向着更精确、更灵活、体积小以及价格低、能耗小、易于操作的方向发展。随着计算机技术和大规模集成电路的迅猛发展，计算机对图像处理能力的迅速提高，稳像技术已逐渐转入利用计算
9、机进行电子稳像技术的研究2。1.2 研究的目标和意义计算机视觉已经广泛应用在舰船的光电设备、无人机的侦察系统以及侦察车的监视系统等领域中。而计算机获得图像的效果又要受到摄像头载体的不同时刻的环境和抖动的影响。摄像机及其载体的抖动引起视频序列里图像的抖动则会严重引起视频图像的质量。稳像技术的应用, 目标在于尽量消除运动载体对视频序列的影响, 能够使这些摄像机所得到的视频序列的质量能得到很大程度的提高。1.3 研究的思路为了稳定图像序列，帧间估计有多种算法可供选择，常用的有块匹配、灰度投影、Kalman滤波、SIFT（scaleinvariant feature transform）、粒子滤波（p
10、article1filter）等；没有一种方法是万能的，根据不同的应用场合，选择最优的方法。本文采用软件编程方式，主要是针对背景静止的视频序列，采用块匹配的方法进行运动估计，然后根据所得到的运动向量对视频片段进行运动补偿，最后得到稳定的图像序列。1.4 论文组织结构本论文对视频防抖的研究主要包括以下几个章节：第一章主要介绍了视频防抖研究的背景、目标、意义以及研究的思路。第二章主要介绍了电子稳像技术以及OpenCV类库。第三章主要对开发环境进行了详细的介绍。第四章作为本论文的核心章节主要介绍了块匹配算法的实现，其中包括图像的预处理、运动向量的估计以及运动补偿，这是实现视频去除抖动的主要步骤。第五
11、章和第六章分别为论文的测试和小结部分。第2章 电子稳像技术及OpenCv简介2.1 电子稳像技术电子稳像技术是综合电子、计算机、数字信号处理等技术为一体的新一代实现图像序列稳定的技术。电子稳像利用数字信号处理设备的高速处理能力，对模糊的图像(主要是图像连续帧之间的晃动)序列进行运动估计和运动补偿，获得清晰、稳定的图像序列输出。基于数字图像处理的电子稳像设备可以充分利用数字图像处理的各种有效算法，可达到极大的灵活性和一定精度的用户视觉感知上的需要。电子稳像系统主要是由图像预处理、帧间运动估计和运动补偿3部分组成如图2-1所示。 电子稳像输出图像运动补偿帧间运动估计图像预处理图2-1 电子稳像的步
12、骤2.1.1 图像的预处理图像预处理的目的是提高整个系统对外界环境变化的稳定性，扩大系统的动态范围并且提高后续处理的准确性。图像在形成，传输，接收和处理的过程中，不可避免的存在着外部干扰和内部干扰。比如光电转换过程中敏感元件灵敏度的不均匀性，数字化过程中由于量化误差噪声，传输过程中的误差以及人为因素等，均会存在着一定程度的噪声干扰，使得所得的图像上会存在一些不规则的噪声，因而会影响进一步的处理。而外界环境的光照强度的影响，也将影响图像本来的像素点的值，将直接影响到运动矢量估计的精确性，所以需要对图像进行一定的预处理。预处理中常采用一些图像平滑的方法，如中值滤波、高斯去噪等来消除随机的点状噪声，
13、同时对图像进行归一化处理，如转变颜色空间，使得光照的影响能够得以消除56。2.1.2 帧间运动估计的算法运动估计是整个系统的核心，目的是估计出因为摄像平台的随机抖动而带来的帧间全局运动矢量和目标物体的运动矢量，特别地检测出的目标物体的运动矢量将是物体的独立运动矢量与背景的全局运动矢量的矢量和。运动估计的基本思想是将图像序列的每一帧分成许多互不重叠的宏块，并认为宏块内所有象素的位移量都相同，然后对每个宏块到参考帧某一给定特定搜索范围内根据一定的匹配准则找出与当前块最相似的块，即匹配块，匹配块与当前块的相对位移即为运动矢量6-8。运动矢量估计的算法很多，有块匹配算法，代表点比较法，边沿检测匹配算法
14、，位平面匹配算法，投影算法等，但各有优缺。块匹配算法估计运动矢量精度高，但是计算量大，效率低。代表点比较算法计算量较小，但是对图像变化不敏感。边沿检测匹配算法不容易找到合理的边沿检测函数。位匹配算法降低运动估计的计算量，提高实时性，但是选择一个适当的位平面进行运动矢量的估计较困难。投影算法速度快、性能稳定，但是对图像的总体灰度变化不敏感9。2.1.3 帧间运动补偿运动补偿是在运动矢量的基础上，利用前一帧对当前帧进行补偿，采用不同补偿方式将对输出的图像序列产生一定的影响。运动补偿是一种描述相邻帧(相邻在这里表示在编码关系上相邻，在播放顺序上两帧未必相邻)差别的方法，具体来说是描述前面一帧的每个小
15、块怎样移动到当前帧中的某个位置去。运动补偿分为全局运动补偿和分块运动补偿。运动模型基本上就是反映摄像机的各种运动，包括平移，旋转，变焦等等。这种模型特别适合对没有运动物体的静止场景的编码。分块运动补偿每帧被分为若干像素块 (在大多数视频编码标准，如MPEG中，是分为16*16的像素块)10。从参考帧的某个位置的等大小的块对当前块进行预测，预测的过程中只有平移，平移的大小被称为运动矢量。2.1.4 电子稳像技术的发展在国外,20世纪80年代中期美国首次将电子稳像技术应用在导弹制导系统中。进入20世纪90年代,由美国ARL实验室(Army Research Laboratory)研制的应用在无人驾驶越野车的稳像装置的稳像精度优于1个像素。英国OvationSystemsLtd公司推出了一款StableEyes的视频稳像装置,可为高倍变焦监控摄像机提供在线或离线稳像处理,系统延迟仅80 ms。另外,在国
