《立体视用图像对位装置立体视用图像对位方法及其程序的制作方法》由会员分享，可在线阅读，更多相关《立体视用图像对位装置立体视用图像对位方法及其程序的制作方法（7页珍藏版）》请在金锄头文库上搜索。
1、立体视用图像对位装置，立体视用图像对位方法及其程序的制作方法专利名称：立体视用图像对位装置，立体视用图像对位方法及其程序的制作方法技术领域：本发明涉及从多个图像对中检测出对应点并进行对位，以使这些图像满足一定基准的立体视用图像对位装置等，尤其涉及对图像对进行对位以使得能够通过立体视显示装置进行立体视的立体视用图像对位装置等。背景技术：立体图像化是该技术领域中长年研究的对象。立体图像能使观众感受到深度从而获得临场感，因此是目前家庭娱乐产业中备受期待的最新热点。立体图像化的用途涉及军用导航仪、医疗图像、工业检查、消费者用电子设备等多方面。立体图像化以及图像显示的原理广为所知。即，从稍微不同的视点(
2、通常是水平方向的位置偏离的视点)拍摄用于构成图像对的左眼用以及右眼用的各图像。针对左眼和右眼分别显示左眼用图像和右眼用图像时，人脑通过对这些图像进行组合，将这些图像的视差感知为深度。历来，使用具备两个图像传感器的摄像装置(例如，数字立体相机)，能够获得此类图像对。若拍摄的图像经过了恰当的对位，观众/观察者观看时可获得舒适的三维感觉。 但遗憾的是，拍摄的图像对通常(因多种理由)都得不到恰当的对位。例如，两个图像传感器(包括光学系统)在制造时的配置并非完美。并且，因镜头歪斜或相机构造的缘故，拍摄的图像有时可能会歪斜。从而在水平方向以及垂直方向上发生差异。两个图像间的垂直方向以及水平方向上的差异一般
3、称之为视差。为了减轻观察者的视觉不快感和眼睛疲劳，以及获得立体视效，至少要排除垂直方向上的视差，并恰当调整水平方向上的视差。另外，通过使用单眼式图像传感器装置从不同的视点连续进行拍摄，也能拍摄到图像对。即，通过拍摄一个图像之后使相机移动并拍摄下一个图像的方法，也能获得用于立体视的图像对。使用单眼式传感器装置具有以下的两个优点。一个优点是，与使用双眼式(立体)传感器装置的情况相比成本较低。另一个优点是，具有灵活性，可根据场面内容而变更左图像和右图像的距离。然而，该方法的主要课题在于，当使用手提式DSC(Digital still camera 数字静态相机)时，主要因手的振动，有时会导致左图像和
4、右图像的位置偏1 O专利文献1(美国专利第6，191，809、2001年2月20日发行)公开了用于修正例如立体电子内窥镜等立体图像摄像系统的光学位置偏离的方法以及装置。根据该方法，利用校正目标算出变换率、旋转率以及缩尺，由此决定校正信息。并且，根据该决定的校正信息，进行图像对的对位。专利文献2 (日本特开2003-244500)公开了以时间序列拍摄左右视差图像并获得对象物的立体图像的摄像系统。在该发明中，引导用户使用LCD取景器在摄影中对两个图像进行对位。专利文献3(美国专利第7，113，632、2006年9月沈日发行)公开了决定一对图像的平行化变换的方法。专利文献4(美国专利第6，606，4
5、04、1999年6月19日申请)公开了算出用于三维对象物立体视处理的投射变换修正的系统以及方法。该发明的目的在于通过变换左右图像，将核点映射到无限远处并使核线与水平轴成为平行。根据该方法，能输出适合立体视的图像。现有技术文献专利文献专利文献1 美国专利第6，191,809号说明书专利文献2 日本特开2003-244500号公报专利文献3 美国专利第7，113，632号说明书专利文献4 美国专利第6，606，404号说明书非专利文献非专利文献 1 :D. Lowe, Ob ject recognition from local scale-invariant features，Internati
6、onal Conference on Computer Vision, 1999非专利文献 2 :H. Bay, et al. ,SURF Speeded up robust features，European Conference on Computer Vision,2006非专禾Ij 文献 3 :R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision，Cambridge University Press, London, 2000非专禾丨J文献4 :X. Armangue and J. Salvi,Ov
7、erall view regarding fundamental matrix estimation，Image and Vision Computing, 2003, Vol. 21, p. 205-220_ 专禾1J 文献 5 :Z. Zhang, Determining the epipolar geometry and its uncertainty :a review, International Journal of Computer Vision,1998, Vol.27, p. 161-198发明内容发明概要发明要解决的课题但是，专利文献1所揭示的方法无法应用于例如相机因受冲撞
8、等而其位置发生变化的情况。另外，这种方法难以应用于通过单眼式装置拍摄的图像。并且，这种方法也难以应用于通过可变基线立体相机拍摄的图像。另外，专利文献2所揭示的方法其进行对位的品质和精度在很大程度上依赖于用户的技能。用户进行对位调整，有时需要较长时间，因此不方便。即，这种方法并非是自动对位的方法。此外，专利文献3所揭示的方法是特别针对两个传感器之间具有固定距离且同时拍摄左右图像的立体相机而开发的方法。因而，这种方法难以应用于通过单眼式装置拍摄的图像。另外，这种方法也难以应用于通过可变基线立体相机拍摄的图像。另外，根据专利文献4所揭示的方法，将核点映射在无限远处并使核线与水平轴相平行，但是，进行立
9、体视时即没必要将核点映射在无限远处，也没必要使核线与水平轴平行。因而，对于以实现立体视为目的的图像对位而言，这种方法的处理过于繁复。而本发明的目的在于提供不依赖相机参数的、可应用于通过单眼式相机以及可变基线相机拍摄的图像的，且能够在比现有技术更短的时间内自动对用于立体视的图像对进行对位的立体视用图像对位装置等。用于解决课题的手段为了解决上述课题，涉及本发明的某局面的立体视用图像对位装置包括图像对取得部，取得包含左眼用图像以及与上述左眼用图像相对应的右眼用图像的图像对；对应点检测部，检测以第一点和第二点为一组的对应点，上述第一点包含于作为上述图像对的一方的第一图像中，上述第二点包含于作为上述图像
10、对的另一方的第二图像中，且上述第二点与上述第一点相对应；第一行列算出部，算出变换上述第一点的投射变换行列，以使上述第一点与上述第二点的垂直视差成为最小，且满足核线约束；变换部，利用上述投射变换行列变换上述第一图像；以及输出部，输出第三图像和上述第二图像，上述第三图像是被变换后的上述第一图像。根据上述结构，立体视用图像对位装置能够以去除图像对所包含的左右图像的垂直方向上的视差的方式进行对位。一般而言，进行立体视所需要的视差是水平方向上的视差，而垂直方向上的视差有碍于自然的立体视效果。尤其是，在使用只有一个镜头以及一个传感器的普通数字静态相机，分两次拍摄左右图像从而作成立体视用图像的情况下，本实施
11、方式的立体视用图像对位装置较为有效。关于本实施方式的投射变换行列算出方法，可通过计算机实现自动化，无需依赖相机参数，并可应用于通过单眼式相机以及可变基线相机拍摄的图像对。另外，由于是以图像对所包含的两幅图像中的一方为基准来变换另一方图像，以去除一方图像与垂直方向的视差，因此，与现有技术中的对两幅图像都进行处理的方法相比，大概进行一半的行列计算即可。因此，能在比现有技术更短的时间内进行计算。具体是，上述图像对取得部可以取得由两个图像传感器和两个镜头、一个图像传感器和两个镜头、或两个图像传感器和一个镜头同时进行拍摄的两个图像，以作为上述图像对。另外，上述图像对取得部还可以取得由一个图像传感器和一个
12、镜头从不同的视点在不同的时间拍摄的两个图像，以作为上述图像对。此外，还可以具备第二行列算出部和行列合成部，上述第二行列算出部算出变换上述第三图像的倾斜变换行列，以使上述第三图像的坐标系具有正交性且具有与上述第一图像相同的纵横比，上述行列合成部组合上述投射变换行列和上述倾斜变换行列，生成合成变换行列，上述变换部利用上述合成变换行列变换上述第一图像。在上述结构中，第二行列算出部算出用于对第三图像进行变换的、以使倾斜的第三图像的坐标系具有正交性(即，图像面上的水平方向的轴和垂直方向的轴相垂直)且具有与第一图像相同的纵横比的倾斜变换行列，由此，能够根据所取得的图像，输出可实现精度更高的立体视图像的图像
13、。另外，还可以具备视域算出部，算出视域，该视域是上述第一图像以及上述第二图像的共同区域，上述第二行列算出部算出使上述第三图像中的包含于上述视域的部分的坐标系具有正交性且具有与上述第一图像中的包含于上述视域的部分相同的纵横比的上述倾斜变换行列。根据上述，通过视域算出部能够事先删除有碍于立体视效果的图像区域。其结果， 仅以有利于实现舒适的立体视的图像区域作为对象进行处理，因此能够缩短处理时间，并输出可实现更舒适的立体视的图像对。此外，也可以由上述对应点检测部选择在从上述图像对所包含的上述第一图像以及上述第二图像的各自的中心开始的预定范围内均勻分散的多个小区域，并从该小区域中检测出上述对应点。根据上
14、述，对应点检测部能够注目于对象图像所含区域中的最易于发现对应点的区域，检测出对象点。其结果，可提高对应点的检测精度，以更正确的投射变换行列进行图像的修正处理。此外，还可以具备模糊区域检测部，在上述图像对中检测模糊区域，上述对应点检测部在上述图像对中的上述模糊区域之外的区域中检测上述对应点。一般而言，模糊区域的对应点检测较为困难。因此，通过上述结构，通过事前去除模糊区域，能够提高对应点检测部进行对应点检测的精度。另外，也可以是由上述输出部取得表示视听用户进行的输入操作、显示装置的大小、以及显示装置和视听用户之间的距离中的至少一个的调整信息，并根据上述调整信息， 对上述第三图像以及上述第二图像的视
15、差、三维弹出以及深入效果中的至少一个进行调整并输出。根据上述结构，输出部可根据当时的上下文，以舒适性或安全性等指标为基准，赋予输出画面最适当的立体视效果。此外，也可以由上述图像对取得部，(A)取得多个图像对候补，该图像对候补是图像对的候补，(B)对于多个上述图像对候补中的各图像对候补，分别指定共同视域，该共同视域是上述各图像对候补与其他各图像对候补的共同的上述视域，并取得表示与上述共同视域的光量、亮度、颜色以及鲜明度中的至少一个相关的信息的品质信息，(C)作为上述图像对选择上述品质信息所表示的图像品质最佳的上述图像对候补。根据上述结构，即使在取得了大量的应该成为图像对的图像的情况下，图像对取得
16、部也能够从中选择可获得品质更好的立体视效果的图像，并以此作为图像对。可以由上述图像对取得部(1)在包含上述左眼用图像以及右眼用图像的图像群被压缩，并且被存储在存储卡中的情况下，或者( 在上述图像群被压缩，并且通过网络由外部装置发送的情况下，对被压缩的上述图像群进行解码。根据上述结构，图像对取得部可对于通过外部存储介质或者通信网络所取得的图像进行修正，以实现更适当的立体视。另外，可以由上述对应点检测部算出与陀螺仪传感器的输出相一致的、用于作成上述投射变换行列的旋转参数以及移位参数，上述陀螺仪传感器输出与旋转角相对应的信肩、根据上述结构，对应点检测部通过并用关联技术所示对应点检测运算法和陀螺仪传感器的实测值，能够高速、正确地算出对应点。在此，不仅能通过如上所述的立体视用图像对位装置的形式实现本发明，还能够以立体视用图像对位装置所包含的特征性单元作为步骤的立体视用图像对位方法的形式，以及由计算机执行上述特征性步骤的程序的形式实现本发明。在此，当然能够利用 CD-ROM (Compact Disc Read Only M
