《基于全景图的虚拟现实系统研究》由会员分享，可在线阅读，更多相关《基于全景图的虚拟现实系统研究（5页珍藏版）》请在金锄头文库上搜索。
1、1基于全景图的虚拟现实系统研究摘要 全景图(Panoramic Image)是近来出现在 Internet 上的另一种新的交互式的虚拟场景表示方式,它基于图像绘制 IBR（Image-Based Render）的方式再现了三维场景,可用浏览器实现虚拟场景的漫游,同时也详细介绍了这种全景图浏览器的实现原理。本文在总结已有技术的基础上，提出一个基于全景图的虚拟现实系统模型，并改进算法实现了高效的拼接。关键词 全景图; 基于图像绘制 IBR; 虚拟现实; 图像拼接1 概述全景图是基于图形绘制 IBR（Image-Based Render）的关键技术。现有的 IBR 技术大概可以分为四类：基于全景图（
2、Panoramic Image）的方法，基于图像深度信息的方法，基于光场（Light Field）信息和基于 Morphing 的方法。现阶段，相对成熟的技术是第一种基于全景图的方法 ,而且它实现方便处理量易于在 Internet 实现。目前，业界对全景图的基本制作方法是：在固定的视点用照相机或者摄像机按照一定的方式（通常是按照均匀角度绕轴旋转 360 度）采集图像，采集之后的图像输入计算机进行图像拼接、整合等处理，生成无缝全景图像，最后再用计算机经过投影展示出来，并且提供局部的有限的漫游功能。虽然全景视图有其自身的局限性，比如视点单一，只能在场景内部实现漫游等，但是由于该技术具有极强的可操作
3、性，而且技术也相对成熟，已经成为应用最为普遍的 IBR 技术之一。目前全景视图主要应用在：虚拟环境、游戏设计、电影特技效果、虚拟博物馆等等。在商用领域比较著名的有 Apple 的 QuickTime VR、IPIX Viewer、Live Picture、IBM 的 Hot Media 等系统。2 全景图的制作流程2全景图制作流程包括全景模型选择，图像采集，图像拼接，图像缝合以及全景图展示浏览五个步骤 ，如图 1。（1）全景模型选择：根据全景图投影展示方式的不同，主要可以分为 3 种模式：立方体模式、圆柱模式、球面模式。这三种模式就是分别把已经拼接好的全景图投影到立方体/ 圆柱体/球体的内表面
4、。此外还有其他展示模式，如采用正多面体去逼近球面的方法。（2）图像采集：一般有两种方法，用全景拍摄器材进行拍摄或者通过普通相机拍摄再进行图像拼接。前一种方式比较容易采集图像，但是这种方法往往意味着购买昂贵的摄影器材，因此影响了其通用性。而后一种方式，用普通相机在固定点拍摄图片然后拼接生成全景图的研究就显得比较活跃了，而全景图生成的核心技术图像拼接算法正是研究的重点。（3）图像拼接与缝合：现有的全景图像拼接生成算法主要可以分为三类：基于特征的方法、基于流的方法和基于相位相关的方法。在得到拼接好的图像后，还需要对图像重叠部分进行处理，以实现图像的无缝拼接。目前经常采用的一种简单的图像缝合技术就是线
5、性插值法（Linear Interpolation）。（4）全景图展示：得到 360 度的全景图像后，还要把该图像投影到所选择模型的内表面展示，并提供简单的浏览功能。（5）运动物体生成和全景图生成一样，同样可以用以上 3 种方法生成。在用照相机拍摄物体时，如果对物体的水平方向和垂直方向各拍摄一圈，就可以对物体进行二维的交互控制。链接是指：把得到的全景图按一定方式组织起来，供交互式显示用；把运动物体嵌入到全景图中去，成为“热点”，使用户可以对它进行交互式控制。图 全景图制作流程33 全景图像拼接技术的研究3.1 全景图生成的经典算法自全景图的概念提出到目前，有很多学者都对全景图的生成算法做过深入
6、的研究，其中 McMillan 和 Szeliski 等人的工作尤其突出。McMillan 和 Bishop 提出了全景函数模型，该算法根据摄像机绕轴旋转 360 度所拍摄的图像序列求解每个相机的参数，由此进行全景图拼接，但是该算法不太适合于照相机，因为它要求两幅图像之间要有超过 2/3 的重叠，这样对一个场景如用照相机去采集图像就需要拍摄大量的图片，而这显然增大了图像采集的难度，也增加了计算量和误差量。而且McMillan 试图通过柱面极几何约束实现匹配点自动匹配，但是极几何约束核心基础矩阵对误差过分敏感，也因此导致匹配结果无法实用。Szeliski 和 Shum3在他们的一系列的文章中提出
7、了用 8 参数的二维（2D）投影模型求解投影矩阵 M。该模型的数学表达如下所示：(1) （2）3.2 全景图像拼接算法归类及其比较现有的全景图像拼接生成算法主要可以分为三类：基于相位的方法、基于流的方法和基于特征的方法。（1）基于相位的方法：该方法利用傅立叶变换、小波变换等等先对图像进行变换，再利用变换后的图像的某些特征进行匹配。但是如果存在空间上的局部变化，就会导致该方法产生较大误差。 （2）基于流的方法：也叫做基于面积的方法。该方法是通过比较两幅图像亮度（或颜色）差异，并使之最小化来寻找最佳匹配点的。上文描述的两种经典算法就是属于该方法，采用这种方法的还有：Duffin 4和 Barret
8、t 在 Szeliski 研究的基础上提出的一种恢复 6 个参数模型的算法。基于面积方法的缺点就是它的计算量明显偏4大。（3）基于特征的方法：该方法的主要思想就是从一幅图像中提取一定的特征，如：点、线、边缘等等，并用此特征为匹配模板，在第二幅图像中搜索。该方法可以提高计算速度，但是提取合适的图像特征比较困难。5如何提取合适的图像特征，很多学者在这个方面做了探讨，其中 Kim6等人利用抽取物体轮廓作为特征，而钟力7等人利用重叠图像两列象素的亮度（或颜色）比或者亮度（或颜色）作为特征模板，张鹏8等人利用象素灰度值信息提取某一矩形区域作为特征模板进行匹配。需要注意的另一个问题就是采集的图像中重叠部分
9、并不是单纯的平面位移变换，还存在伸缩变形等，所以这也增大了特征提取的难度。 4 算法的选择与改进以上三种算法都有其自身的特点，当然也有各自的局限性，应该根据全景模型的不同和图像采集方式的差异选择合适的算法。下面根据全景图生成过程详细描述对算法的选择和改进。4.1 全景模型选择本文提出的方法中采用圆柱模式，这种模式相对简单，同时又不影响全景图像浏览的真实性。由于立方体模式过于简单，该模式在展示全景图时存在明显的边界痕迹，降低了全景图像真实性；球面模式虽然相对扩大了全景图浏览的视野，可是也相应增加了算法复杂度和图像采集的难度。4.2 图像采集为了提高图像拼接算法的复杂度处理能力以及能够自适应抖动、
10、光照差、扭曲等。本文对图像采集方式未做过多限制：不用三角架固定相机，绕摄影者中心 360 度旋转相机拍摄图像，每次拍摄相机旋转的角度为 ，不固定相机的焦距，这样做的5目的是进一步提高算法自适应校准图像拼接能力。4.3 图像拼接 首先，抽取合适的图像特征来定位拼接，为了尽可能多的保留图像的特征，利用数字图像处理中的 Laplace 算子边缘检测算法，再加上二值化处理和平滑滤波 3*3模板的噪音消除抽取出图像的特征图。图 2 特征提取后图象的二值化图图象经过变换之后，得到了具有重叠相似区域的两幅图象，对于相似区域的寻找，一般的算法都是根据人体视觉特征定义 1 个模板矢量(Pattern Vecto
11、r)，对两幅图象分别运算相似距离，根据相似距离来寻找图象的相似部分。本文提出了一种新的重叠区域的搜寻方法，它基于差值图象的极值点搜寻，可以方便地提取两幅图象之间的相似部分，不需要频域上的任何运算。设有两个矩形区域 A 和 B，已知B 中包含一个区域 A2，A 与 A2 是相同的模块，求 B 中 A2 的位置。典型的算法是从的左下角起，把每一块与 A 大小相同的区域 C 与 A 相比较，得出评价函数，其值最小的区域就是 A2。评价函数一般定义为:对于 A 和 C 中每一对对应点 p 和 q，(1)考虑到两幅图象的亮度不一样，即使是同一模块，由于亮度不同，评价函数的值也很大，把评价函数定义为：(2
12、)4.4 图像缝合图像缝合分两个步骤。拼接处会有明显的一条缝。可用颜色拟合的方法来调和相邻图象的亮度,生成无缝的合成图象。以合成图象的拼接线为中心,两边各取 10 个6象素点的距离,此区域为矫正区。第一步是图像经过矩阵投影生成新的图像需要用到双性插值。第二步是两幅图像重叠区域之间的线性插值。4.5 柱面投影柱面投影变换及其反变换算法的核心是投影变换公式,为此建立坐标系,如图 4 所示。原始图象 I、投影柱面图象 J 和柱面 K,原点为观察点(投影中心)。设柱面半径为,投影宽度角为 ,图象宽度为,高度为。能很容易得到柱面图象的宽度为rsin(/2),高度仍为。对图象 I 上的任意一点,假设它在图
13、象上的坐标为(,),P在柱面图象 J 上的对应点 Q,假设 Q 在 J 上的坐标是(,)。5图 3 柱面投影变换这里 角由每张图象所占的角度唯一确定。一个全景的角度是 360那么每张图象对应的角度就显而易见了一般的 角约为 30 - 40。最后，根据两幅图像的平移量，柱面投影，最后拼接全景图（见图 4 和图）。5 实验结果基于全景图的虚拟实景生成系统的实现在是一台 windows NT 操作系统下的 pc工作站，P3-1G，128M 内存，显卡(硬件支持 OpenGL 加速)，使用 Microsoft visual c+6.0 和 OpenGL 编程。图 4 图象拼接前的情况图 5 图象拼接后
14、的全景图6 结论及展望随着基于图象绘制技术发展，全景图现已广泛应用在军事、教育、科研、商业、影7视、娱乐、工程训练等，并随着 JAVA 和 Internet 的发展成为一种快捷、实用、效果很好的虚拟现实漫游系统。本文对基于全景图的虚拟现实模型进行了比较深入的研究，在根据前人对全景图的研究资料中，本文提出了一种基于全景图的虚拟现实系统模型的构想，并给出了较为实用的解决方案，克服了抖动、光照差、扭曲等对全景图的影响，对图象拼接算法作了比较和改进尝试，对圆柱面投影作了较深入的探讨，实用价值高效率。未来基于全景图的虚拟现实各种技术发展将前景广阔。参考文献 1 Cai Yong, Liu Xue hui
15、, Wu Eng hua. Image-based rendering: A technology for virtual reality system. Journal of Software, 1997, 8 (10): 721- 728 ( in Chinese)(蔡 勇, 刘学慧, 吴恩华. 基于图像绘制的虚拟现实系统环境.软件学报, 1997, 8 (10) : 721- 728) 2 Chen S E. Quick time VR An image-based approach to virtual environment navigation. In: P roc S IGGRA
16、 PH 95, New York, 1995. 29- 38 3 Szeliski R, Shum H-Y. Creating full view panoramic image mosaics and texture- mapped models. In: Proc SIGGRA PH97,Los Angeles, California, 1997. 251- 258 4 Kirk Duffin, William Barrett. Globally Optimal Image MosaicsC.In: Proceedings Graphics Interface98,19982:217222 5 Brown L G. A survey of image registration techniques. ACM Computing Surveys, 1992, 24 (4): 325- 376 6 Min-A Kim, Sung-Soo Kim, Hwan-
