基于sift和ransac的电子稳像算法改进的研究与实现

《基于sift和ransac的电子稳像算法改进的研究与实现》由会员分享，可在线阅读，更多相关《基于sift和ransac的电子稳像算法改进的研究与实现（58页珍藏版）》请在金锄头文库上搜索。

1、上海交通大学工程硕士学位论文 第一章 绪论 第 1 页 第一章第一章 绪论绪论 1.1 引言引言 在我国社会公共安全事业兴起和发展的过程中， 安全技术防范作为一个专门行业 伴随兴起。随着我国社会的日益发展，在国际政治舞台上日益重要的作用，与国内外 交流的日益频繁，社会治安形势的日益复杂化等等各方面的原因，正引起越来越多的 人们的关注。根据国家近几年的统计数字显示,国内安全技术防范行业平均以 20% 30%的年增长率迅速成长 1。以 05 年启动的“3111”工程（即在省、市、县三级开展 报警与监控系统建设试点工程，每个省确定一个市，有条件的地方确定一个县，有条 件的县确定一个社区或街区为报警与

2、监控系统建设的试点市、县、社区或街区）举例 来说，仅湖南衡阳、江西新余、山西大同等 22 个公安部级试点城市，总投入就达 30 亿至 36 亿元人民币，这一数字已经不亚于 2008 年北京奥运会的安保总投入（4 亿美 元） 2。然而随着为建设城市的平安和谐而开展的平安城市3建设， ，各地都在以各 自不同的投资方式，各种形式如火如荼地进行着安全技术防范系统的建设。电视监 控系统作为安全技术防范领域中的一个重要组成部分，凭借其具有很好的实时性、直 观性、真实性等方面的优势，在打击犯罪，预防犯罪方面扮演了极其重要的角色。 由于电视监控系统对在整个安全技术防范体系中具有举足轻重的地位， 它最大的 一个

3、特点即是可以将被监视现场的图像部分或者全部记录并保存下来， 这样就为日后 某些事件的处理提供了重要依据和有利条件。 然而，在实际电视监控系统中存在着各种干扰问题，图像抖动则是其中最常见的 干扰运动之一。在实际电视监控系统的安装施工过程中，有各种各样的原因会引起图 像抖动的现象。 比如出于实际安全防范的需要， 前端摄像机需要安装在如汽车、 地铁、 飞机、船等运动的交通工具上、或是安装在加热通风设备、空调、云台等可能引起振 动的机器上，又如，安装在固定支架或柱子上的摄像机，遭遇大风暴雨等恶劣气候产 生晃动，又或是前端使用了高倍放大的镜头，微小的摇晃变化在终端就形成了明显的 图像抖动，甚至于施工工艺

4、不过关种种情形都不可避免的引起视频图像的抖动。 上海交通大学工程硕士学位论文 第一章 绪论 第 2 页 (a) 道路监控系统 (b) 地铁车厢内的电视监视系统 (c) 小区电视监控系统 (d) 公共汽车上的电视监控系统 图 1-1 电视监控系统的应用实例 Fig. 1-1 Examples of video monitoring system 在电视监控系统中存在图像抖动是件非常令人生厌的事情：对施工方而言，这就 意味着该系统工程质量无法令人满意， 不能达到国家相关工程检测验收标准规定的图 像质量主观评价要求； 对于用户而言， 这意味着该系统极易引起使用人员的视觉疲劳， 不利于用户对被监视现场

5、的实时监看；此外，干扰的存在也不利于在需要对某些事情 进行处置时查验相关图像， 还原现场， 从回放图像中迅速及时的排查和获取有效信息。 目前在实际电视监控系统的安装调试过程中，一旦出现了视频图像抖动的图像， 多通过采取调整前端摄像机安装位置，加固安装的支架或柱子，或增加安装电子稳像 器等硬件设备的方法来解决。然而，无论是哪种方法，都需要投入大量的人力、物力 和财力，对于原本利润就不甚丰厚的安防行业的工程施工商而言，这可能是一笔不小 上海交通大学工程硕士学位论文 第一章 绪论 第 3 页 投入。除此之外，采用安装诸如电子稳像器等硬件设备的方法，虽然可以较好的解决 电视监控中系统图像抖动的问题，

6、可是在整个系统中每多增加一个环节往往意味着可 能引起的输入视频图像信号的衰减、 其他干扰源或不稳定因素的引入乃至视频图像质 量的降低。 因此，研究不经过各种附加器件，如何通过单纯的数字图像处理技术，有效去除 出现在视频图像中的抖动运动，有着十分重要的意义。它有助于提高安全技术防范行 业中电视监控系统的施工质量， 降低施工成本， 提升图像质量， 确保系统的稳定运行。 1.2 国内外的发展和研究情况国内外的发展和研究情况 1.2.1 电子稳像技术的发展电子稳像技术的发展 上世纪八十年代，国外已经有研究人员开始对视频图像抖动消除技术进行了研 究，至今已有二十多年的历史了 45。九十年代起，随着数字图

7、像技术的发展，电子 稳像技术的研究也逐渐步入高潮并得以广泛应用。 目前， 以美国和加拿大为首， 法国、 俄罗斯、英国、以色列、日本、韩国等许多技术发达国家及其各个研究机构，都对在 对电子稳像技术方面的进行深入研究和开发，取得了大量研究成果，并在军事和民用 的各个领域中进行了广泛的应用 6-11。在军事领域中，多个国家都已成功将其应用在 车载、机载的摄像系统中，为实现目标跟踪、目标识别和侦察提供稳定的图像序列。 而且在大型的制导、 火控系统和小型的自寻的导引头等武器系统中也都广泛地采用了 稳像技术。加拿大DREV(Defense Research Establishment Vilcartier

8、)研究机构根 据军方要求， 研制成功了安装在侦察车10m高的桅杆上的实时监视系统中的稳像装置， 用来稳定桅杆引起的图像晃动。而由美国军事研究实验室（Army Research Laboratory）研制的应用在无人驾驶越野车上的稳像系统，其稳像精度已优于1个像 元。而在民用领域，日本和韩国则将稳像技术应用在家用摄像机中，稳定了由于手的 颤动引起的图像晃动，并且，对获得摄像机运动量的角速率传感器振动陀螺进行了 改进，引入了振动反馈控制装置，保证振动陀螺性能的稳定性，使其获得更准确的图 像校正量。这一技术的应用，降低了对家用摄像机使用者的专业摄像机能的要求，从 而使家用摄像机的使用更为普及 12。

9、 我国目前也已经取得了很不错的成绩。 1999年中国科学院长春光机所开始对电子 稳像技术的原理和应用范围进行研究， 并对船载摄像系统获取的图像序列进行初步的 稳定，取得了一定效果 131415。北京大学、北京理工大学、国防科学技术大学、清华 上海交通大学工程硕士学位论文 第一章 绪论 第 4 页 大学也都在这一方面进行了研究，并提出了图像稳像的方法，文献16-19中对此进 行了详细的研究报道。虽然我国在此方面发展速度很快，参与研究的科研院所很多， 但我国在这方面的研究起步较晚，相较于国外理论与实际应用齐头并进，国内电子稳 像技术目前仍处于初级阶段，更多的还是停留在理论，关于我国在这一方面的技术

10、实 用化的报道尚未见到相关报道。 1.2.2 现有的稳像技术现有的稳像技术 按照稳像作用的原理来分类， 可以将常用的稳像装置及系统分为三类： 光学稳像、 机械稳像和电子稳像 20。 1光学稳像 光学稳像通过主动光学部件自适应调整光路， 补偿由于摄像平台抖动造成的图像 运动，达到稳定图像的目的。 通常来讲，光学稳像方法不需要将整个仪器或光学系统稳定，从而减轻了被稳定 系统的重量。在军事、医疗仪器等方面，光学稳像均有相对广泛的应用，光学稳像根 据在平行光路对视线的控制的不同， 又可把光学稳像方法分为利用折射光学元件的方 法和利用反射光学元件的方法。 利用折射元件的典型方法是利用可变光楔来控制瞄准

11、线的方向，根据出射角和入射角的关系来补偿像移。另外根据稳像元件的位置，光学 稳像又可分为像空间稳像和物空间稳像。 2机械稳像 机械稳像通过陀螺传感器等器件检测摄像平台的抖动， 然后对伺服系统进行调整 而达到稳定图像的目的。 在一些大的系统中，如武器系统中，往往将整个成像设备置于平台上，形成平台 稳像的方式。平台稳定方式是通过惯性元件来检测载体的姿态角的变化，其输出信号 经过放大后，驱动电机或压电陶瓷来保持摄像机的稳定，以便确保输出图像序列的平 稳。根据消除稳定误差方式的不同，平台稳定方式又可以分为一级稳定和二级稳定。 一级稳定技术的整体稳定是采用一个框架系统作为光电传感器的光电平台， 在平台上

12、 放置陀螺来测量平台的运动，用陀螺来检测姿态角的变化并经过信号放大后，反馈给 框架的力矩电机，通过力矩电机驱动平台来保持光电传感器的稳定。一般来说，一级 稳定完全依靠平台来稳定，受到的各种干扰较多，限制了稳定精度的提高。而二级稳 定技术是指在稳定平台粗调的基础上，再用反射镜系统实现精调，使反射镜系统和稳 定平台配合使用，可达到更高的稳定精度。 上海交通大学工程硕士学位论文 第一章 绪论 第 5 页 3电子稳像 电子稳像基于在连续视频图像之间进行运动估计， 然后对视频中的每一帧图像进 行运动滤波和运动补偿处理得到稳定的图像。 利用电子稳像技术也就是利用数字图像处理技术检测出参考图像和被比较图像

13、的运动位移，并利用其补偿被比较图像，从而消除或减轻视频图像帧间的不稳定，获 得清晰而稳定的图像序列，该方法具有灵活性强、精度高及高智能化等特点。 进入九十年代以后，随着计算机技术和大规模集成电路技术的迅猛发展，计算机 产品的性能迅速提高，图像处理设备的价格持续下降，这些变化为数字图像处理的发 展提供了良好的条件。人们研究的重点开始从传统的光学稳像、机械稳像，转向电子 稳像技术的研究。从整个稳像技术研究的历史来看，利用纯数字图像处理的方法进行 图像稳定是当前稳像技术发展的趋势。与传统的光学稳像、机械稳像方法相比，电子 稳像具有易于操作，更精确、更灵活、体积小以及价格低、能耗小、高智能化等特点，

14、它不仅可以稳定光学系统的移动，也可以对目标进行跟踪，可以补偿任何形式的作用 量，且不依赖任何的支撑体系。同时由于大规模集成电路技术的不断提高，也便于实 现设备的小型化和轻量化。 1.3 本文研究的内容本文研究的内容 基于电视监控系统在安全技术防范行业中应用的现状， 本文着眼于研究采用电子 稳像的方法来去除视频图像中存在的抖动问题， 本文主要在以下几个方面展开了研究 工作。 1 分析研究电子稳像技术的基本原理和结构，从全局上把握住整个研究课题的 关键点。 2 研究目前电子稳像技术中常用的几种运动估计和运动补偿算法的基础，并对 每一种常用算法从复杂度、精度和适用性等方面进行分析，从而确定本课题采用

15、的电 子稳像算法。 3 提出采用SIFT和RANSCA算法相结合的去除视频图像中存在抖动问题的方法， 并对此算法进行了改进。 4 介绍了图像序列稳定质量的评价方法，采用所提出的改进算法在实验室搭建 了运行平台，进行了仿真，并对图像序列稳定质量进行了结果分析。 本文的主要创新点在于： 1考虑到算法的实际运算过程中，特征点描述符生成的过程将占用大量的时间， 本文对 SIFT 算法求取特征向量的方法进行了改进， 用 24 维向量代替原来的 128 维向 上海交通大学工程硕士学位论文 第一章 绪论 第 6 页 量，同时在匹配过程中用遍历搜索样本特征点的最近邻和次近邻特征点。通过这一改 进，简化了算法的复杂程度，减少了运算时间。 2. 在特征向量匹配的过程中，提出了采用改进的求仿射变换矩阵的方法，提高 了运动估计中特征向量匹配的准确度。 1.4 本文结构本文结构 本文主要针对电子稳像的算法进行研究，根据研究内容，本文主要结构如下： 第一章介绍了本课题的研究目的和意义、 国内外电子稳像技术的发展和现有的相 关技术。 第二章将介绍电子稳像技术的基本原理、基本结构以及图像运动的变换模型。 第三章将介绍运动估计的几种常用算法： 块匹配法、 位平面匹配法、 灰度投影法、 光流法、以及特征量匹配算法。 第四章将通过 kalman 滤波算法和曲线拟合算