《大视场视频拼接算法的研究毕业设计论文》由会员分享，可在线阅读，更多相关《大视场视频拼接算法的研究毕业设计论文（30页珍藏版）》请在金锄头文库上搜索。
1、 毕业设计（论文）毕 业 设 计（论文）题 目：大视场视频拼接算法的研究2012年 5月11日摘 要大视场视频拼接是指，将两个或者多个摄像机拍摄的视频通过一定的方法拼接后形成一幅大视角的视频图像。视频是由一帧帧图像组成的，所以视频拼接的重点是用图像配准的方法将两幅或者多帧具有重叠区的数字图像拼接成宽视场的全景图像，然后利用视频压缩技术将图像压缩为视频。近年来，在机器视觉、卫星遥感、海底勘探及无人机中得到广泛的应用。本课题主要研究通过拼接双摄像头采集的具有重叠区的视频图像扩大视频监控的视场角的方法。主要研究内容包括：摄像头及光学系统的定标；利用SIFT算法寻找图像的特征匹配点；使用基于多分辨率分
2、析的图像融合算法进行图像融合。关键词：视频拼接，光学系统的定标，SIFT算法，图像融合ABSTRACT The video splicing of the large field of view refers to the splicing of two or more video shot by the camera by a certain method to form one large viewing angle of the video image. The video is composed by a frame image, the focus of the video mosa
3、ic image registration method having two or more frames digital images assembled into a wide field of view of the panoramic image of the overlapping area, then the use of video compression technology image compressed video. In recent years, machine vision, satellite remote sensing, seabed exploration
4、 and unmanned aerial vehicles in a wide range of applications. The main subject of research collected by stitching dual cameras with overlapping areas of the video image to expand the field of view of the video surveillance. The research topics include: the camera and the calibration of the optical
5、system; SIFT algorithm to find the characteristics of the image matching points; using image fusion based on multi-resolution analysis of image fusion algorithm.Keywords: video mosaic, the calibration of the optical system, SIFT algorithm, image fusion目 录第1章 绪论21.1 概述212 课题的背景及研究现状2121 课题的背景2122 课题的
6、研究现状313 课题的研究意义414 课题的主要研究内容4第2章 摄像机定标52.1 图像坐标系，摄像机坐标系与世界坐标系52.2 针孔成像模型72.3 相机畸变8第3章SIFT特征匹配图像拼接算法93.1 SIFT算法原理93.1.1 多尺度空间建立93.1.2 精确定位特征点的位置103.1.3 确定特征点的主方向133.1.4 生成 SIFT 特征描述符133.2 生成特征匹配点14第4章 图像融合174.1 构建多分辨率金字塔174.1.1高斯金字塔174.1.2拉普拉斯金字塔184.2 基于拉普拉斯金字塔分解的图像融合策略194.2.1 基于区域平均梯度的图像融合策略194.2.2
7、基于区域能量的图像融合策略20第6章 总结23参考文献24致 谢25第1章 绪论1.1 概述 大视场视频拼接是将两个或多个相机按照一定的规则放置，将每个相机分别获取的视频拼接成为一个具有相对较大视野的大视场视频的技术。其相关技术广泛应用在视频监控、多媒体展示、机器人视觉等方面。本文主要研究内容如下:(l)摄像机与光学系统的标定摄像机标定是指建立摄像机图像像素位置与场景点位置之间的关系，其途径是根据摄像机模型，由已知特征点的图像坐标和世界坐标求解摄像机的模型参数。(2)图像配准使用SIFT算法建立多尺度空间，在不同尺度空间中检测特征点。即使两图像间存在平移、缩放、拉伸等多种尺度变换，经过多尺度变
8、换后同一特征点也将在同一尺度下被检测到而得到匹配。与其他算子相比，SIFT算子在旋转变化、光照变化、几何变形、尺度缩放等情况下均具有最好的效果，这使得SIFT算子具有了尺度不变的特性。 （3）图像融合 采用多分辨率融合算法进行图像融合。摄像机在拍摄前未严格进行标定，虽然采用了鲁棒性较高的图像配准算法，但一定程度上的配准误差和曝光差异是不可避免的，为了消除配准误差造成的错位和“鬼影”现象，本文采用了多分辨率图像融合算法。12 课题的背景及研究现状121 课题的背景视频和图像是对 现实世界客观、形象的描述，对人类而言是最具体而直观的信息表达形式。在当今信息化时代，随着电子技术、网络和通信技术的快速
9、发展及人民生活水平的提高，照相机、DV等视频采集设备己不再只为专业人士所用，而是走入了广大群众的日常生活中。视频作为一种常用的信息载体，已经渗透到工作、学习、娱乐等各个方面，成为我们生活中不可或缺的组成部分。但是，在日常生活中，为了可以获得完整的图像，我们只有通过缩放摄像机镜头调整焦距才可以获取较大视野的图像。但是摄像机的视场角是固定的，所以我们拍摄的视频的分辨率与场景大小两者相互制约1，2，3。为了拍摄较大的场景，就必然降低所得视频图像的分辨率。相反，为了提高拍摄的场景的分辨率，就不得不通过调剂相机焦距来减小拍摄的视野，而这样又得不到完整的场景图像。当然利用鱼眼镜头等特殊器材4可以部分解决这
10、个问题，但这些特殊设备不仅价格高而且所拍摄的图像边缘会产生变形，且这种扭曲变形是不可避免的，同时也是不能为人眼所接受的。122 课题的研究现状 摄像机的视场角有限，但在实际应用中我们需要视场角较大且分辨率较高的的视频图像。人们为了能够扩大摄像机所拍摄的视频图像的视野范围且不改变分辨率，从而提出了大视场视频4，5这个概念。目前获取大视场视频主要有两种方式： 一种是采 用特殊的大 视场摄像设备采集视频，视频采集后 通过软件校正在成像过程中引发的畸变，使之符合人 眼的视觉感受。目前这种大 视场视频拍摄设备主要有:鱼眼镜头和全景环形透镜等，其最大优点是可以一次成像，可以实时获取大视场视频，且速度较快，
11、但缺点是获得视频图像出现畸变且分辨率较低。目前，这类摄像器材在一些专业领域中应用较多6。另一种方法是通过多个摄像机拍摄一组视频，两个摄像机之间有一定的重叠区。将视频中的帧图像取出，利用图像间的相关性，对图像进行配准，对配准后的图像进行拼接，然后将拼接后的帧图像合成视频，最后得到一个视场范围较大的视频8。目前，对视频拼接的研究中，比较有代表性的有国内王一鸣、茅耀斌等在基于双摄像机的视频监控系统方面所做的研究工作7。他们基于图像拼接中配准技术进行摄像机配准并使用运动检测与目标跟踪相结合的方法来对目标进行不间断的跟踪，实现了一种视频监控平台的构建。但此方法首先未摆脱传统的视频拼接需要使用同步触发器来
12、启动视频采集的限制，另外，文中也提到，由于使用了运动物体检测与跟踪的技术，此系统在检测目标的完整性和对噪声的处理上尚有待完善。Tom Riley等将来自3个不同位置，具有部分重叠视场的监控摄像头采集的视频图像拼接成一幅动态全景图，有利于实时监控场景中的情况变化。 13 课题的研究意义 大视场视频拼接在监控系统广泛应用于电子监管视频监控、交通的道路监控及公共安全等领域。首先，视频拼接可广泛应用于视频监控方面，大视场视频监控系统可以在保证视频图像分辨率的前提下，增大视频监控的视场角，扩大视频监控的区域及范围，有利于减小监控盲区，提高视频监控系统的性能。其次，在公共安全方面也有极大的用处，2008年
13、汶川地震时我们为了第一时间获得灾区的受灾情况，派出了大量飞机进行航空拍摄，飞机将拍摄的灾区视频传回后我们利用视频拼接技术第一时间获得了较为完整的灾区受灾情况，为我们的抗震救灾工作提供了宝贵的地图信息。14 课题的主要研究内容 课题旨在研究大视场视频图像拼接算法。文中对于图像拼接的背景、概念、国内外研究现状，以及一些基本常用的图像拼接算法都做了相关论述。同时，在研究了相机标定原理的基础上在Matlab平台上完成了摄像机的定标，为后续实验奠定基础，本文选择SIFT算法作为特征点匹配点算法，该算法在找取特征点及特征点匹配问题上均有较好的鲁棒性，同时本文选用基于多分辨率分析的图像融合算法，该算法对待融
14、合图像进行拉普拉斯金字塔分解，在图像融合过程中对细节及亮度信息保留较好，有效的消除了“鬼影”现象。1 第2章 摄像机定标摄像机标定6是指建立摄像机图像像素位置与场景点位置之间的关系，其途径是根据摄像机模型，由已知特征点的图像坐标和世界坐标求解摄像机的模型参数。2.1 图像坐标系，摄像机坐标系与世界坐标系摄像机采集的图像以标准电视信号的形式经高速图像采集系统变换为数字图像，并输入计算机。每幅数字图像在计算机内为M*N数组，M行N列的图像中的每一个元素（称为像素，pixel）的数值即是图像点的亮度（或称灰度）。如图2.1所示，在图像上定义直角坐标系u,v ,每一像素为单位的图像坐标系坐标。由于（u
15、,v）只表示像素位于数组中的列数与行数，并没有用物理单位表示出该像素在图像中的位置，因此，需要再建立以物理单位（如mm）表示的图像坐标系。该坐标系以图像内某一点O1为原点，X轴与Y轴分别与u,v轴平行，如图2-1所示。其中（u,v）表示以像素为单位的图像坐标系的坐标，（X,Y）表示以mm为单位的图像坐标系的坐标。在X,Y坐标系中，原点O1定义在摄像机光轴与图像平面的交点，该点一般位于图像中心处，但由于某些原因，也会有些偏离，若O1在u,v坐标系中坐标为（u0,v0）,每一个像素在X轴与Y轴方向上的物理尺寸为dX,dY,则图像中任意一个像素在两个坐标系下的坐标有如下关系：图2-1 图像坐标系 （2-1以下与此同）为以后使用方便，用其次坐标与矩阵形式将上式表示为 (2-2) 摄像机成像几何关系可由图2-2所示。其中O点称为摄像机光心，轴和轴与图像的X轴与Y轴平行，轴为摄像机光轴，它与图像平面垂直。光轴与图像平面的交点，即为图
