《用于多摄像装置校准的方法与装置的制作方法》由会员分享，可在线阅读，更多相关《用于多摄像装置校准的方法与装置的制作方法（3页珍藏版）》请在金锄头文库上搜索。
1、用于多摄像装置校准的方法与装置的制作方法专利名称：用于多摄像装置校准的方法与装置的制作方法技术领域：本发明涉及用于确定多个摄像装置间校准数据的方法。背景技术：从不同视角的多个摄像装置的校准数据被使用，每当来自个摄像装置的数据不得不被关联至来自另个摄像装置的数据，例如在对由这些摄像装置查看的场景的完整3D重建过程中，当执行人员的3D跟踪时或在计算机生成图像的应用，例如用于增强现实的应用。校准数据通常包括内部的及外部的摄像装置參数。前者涉及摄像装置内部自身的度量，例如像素大小、宽高比、倾斜(skew)与主点(principal point)。外部校准数据涉及该摄像装置的位置与视向(viewing
2、direction),或者相对于特定的世界坐标系(worldframe)，或者相对于另一(参考)摄像装置。 该等内部校准參数并不依赖于该摄像装置的位置，因而可被假定是已知的，因为这些一般是由该摄像装置给出的或者是被估得的。在另一方面，该等摄像装置的相对位置及视向是未知的变量。每次摄像装置被移置或移动时，例如在创建电影图像的过程中，或者在利用移动设备捕获图像的过程中，或者在捕获图像的网络摄像头的移动过程中，这些变量会变化。用于提供这些外部校准数据的已知技术通常涉及些人为介入，其中，这些位置或者是人工测得的，或者是利用些人工介入技术来获得的。完全自动化的技术存在，但仅针对该等摄像装置间的视角与位置
3、的差别的有限情况，因为处理从不同视点所获得的图像中的变形是很困难的。这些有限情况仅涉及例如该等摄像装置间的短距离及小视角差別。发明内容因而本发明实施例的个目的是提供上面已知种类、但完全自动化的方法，该方法可工作于多个摄像装置，而无关其相对位置。根据本发明的实施例，该目的通过该方法得以实现，该方法包括通过对由所述摄像装置拍摄自同一场景的各自图像执行各自的几何分析，确定用于在所述各自图像上识别至少一个各自的单应性变换(homographic transformation)的各自參数的步骤；在所述各自图像上执行至少个各自组合的单应性变换/特性检测步骤，从而获得关于各自经变换的图像的各自特性集的步骤，
4、以使所述校准数据根据在所述各自特性集间所确定的匹配来获得。由此，种通用且完全自动化的技术通过确定參数得以获得，该等參数在由所述摄像装置获取自同一场景的各自图像中识别至少个合适的单应性变换。该等单应性变换自身依赖于所述摄像装置与建立的场景，是通过对所述各自图像执行几何分析来获得的。进步地，通过确定所述各自经转换图像上各自特性集之间的对应项或匹配，来自个摄像装置相对另个的外部校准參数可被获得。该过程可按需要被重复于整个集合中的任意摄像装置对，以获得全部多个摄像装置的校准。因而该校准数据可包括关于所述摄像装置间的相对位置和/或相对视向差别的信息。该相对位置可用相对距离来表述，而该相对视向差别可用该等
5、摄像装置间的相对倾斜(tilting)、翻转(rolling)和平移(panning)角度的差别来表述。识别各自单应性变换的參数可通过对所捕获场景因而所述各自图像的几何分析来被确定。这可以通过多种相对简单的方式来实现通过本文后续部分中所描述的实施例，将变得更清楚。一个变形可能涉及使用该等摄像装置的各自图像中所检测的线段，而另变形可能例如涉及该等图像中曲线段的比较。线条的角度、垂直性及并行性也可以被利用，也可以使用更高层次的技术，如检测矩形及甚至对象识别。在另变形中，这些技术的组合也可以被使用。取决于所使用的场景几何分析的类型，个或多个单应性变换可按每个图像被计 算得。更多的特性还在所附的权项与
6、说明书中被进步地描述。本发明还涉及用于执行本方法的实施例的设备、适用于执行该方法的任一实施例的计算机程序，以及包括此类计算机程序的计算机可读的存储介质。应注意的是，用于该等权项的术语“包括”不应被解读为限于其后列出的装置。因此，表述“种设备包括装置A与B”的范围不应被限于仅由组件A和B组成的设备。这意味着对于本发明，该设备的仅相关的组件是A和B。通过參考实施例的以下描述、结合其中的附图，本发明的以上及其他目的与特性将更为清楚，本发明自身也会最佳地被理解。图Ia示出该方法的实施例的高层示意框图；图Ib示出图Ia的高层框图的第一变形实施例；图Ic示出图Ia的高层框图的第二变形实施例；图2a示意性示
7、出摄像装置的内部校准參数；图2b示意性示出摄像装置的外部校准參数；图3a示出图Ic所示出第一变形实施例的计算机实现；图3b示出图3a的实施例的变形，其中，内部校准參数也被计算得到；图4a_b示出图3a实施例的更详细的实施例，可优选地被用于非自然场景。具体实施例方式该描述与附图仅阐述了本发明的原理。故应理解，本领域技术人员将能够设计各种装置，该等装置在此虽未被明确地描述或示出，但体现了本发明的原理并包含于其精神与范围。进一歩地，在此所列出的所有示例主要g在专门仅用于教导目的，以帮助读者理解该(等)发明人为推进现有技术所贡献的、本发明的原理与概念，并且将被理解为对此类具体表述的范例与条件不作限制。
8、而且，在此叙述本发明的原理、方面与实施例的所有陈述，以及其中的具体范例，g在包括其等同特征。本领域技术人员应理解，在此的任框图表示实现本发明原理的示例性电路的概念性视图。相似地，应理解，任一流程图、作业图、状态转换图、伪代码等表示不同步骤，该等步骤可大体在计算机可读介质中被表示，并被计算机或处理器执行，无论该计算机或处理器是否被明确地不出。在图中所示的各类元件的功能，可通过使用专用硬件被提供，也可通过使用可执行软件的硬件与适合的软件相结合被提供。当由处理装置提供时，所述功能可由単独的专用处理装置，由単独的共享处理装置，或由多个独立的处理装置提供，其中所述多个独立的处理装置中的若干个可能是被共享
9、的。此外，所述术语“处理装置”或“控制装置”的明确使用，不应当被解释为唯一指代可执行软件的硬件，并且可能隐含了包括但不限于数字信号处理装置(DSP)硬件、网络处理装置、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)、及非易失性存储器。其他硬件，传统的和/或自定义的，也可包括于此。相似地，在图中所显示的任何转换装置仅为概念性的。它们的功能可通过程序逻辑的操作、通过专用的逻辑、通过程序控制和专用逻辑的交互或者甚至手动地被实现，在此由实施者所选择的特定技术能根据上下文被更具体地理解。 图Ia示出该用于确定两个摄像装置的校准数据的方
10、法的高层实施例。显然，该实施例也可用于具有超过两个摄像装置的多个摄像装置的情形。该校准数据一般包括内部和外部摄像装置參数。这些參数被分别示于图2a和图2b。该等内部摄像装置參数涉及该摄像装置自身内部的度量，例如如图2a所示,例如涉及主点的两个分量px与py,以及象素宽度(ax)、高度(ay)与倾斜(S)。图2b示出该等外部摄像装置參数，涉及这些摄像装置间的相对位置及其视向。一般，该等摄像装置之一将被作为參考摄像装置，并且，对于该集合中的所有单个摄像装置，其他摄像装置的相对位置与相对视向随后相对该參考摄像装置被确定。该相对位置用(dx，dy，dz)表示，指摄像装置I相对该參考摄像装置的位置向量的
11、三个分量。平移、倾斜与翻转角度构成摄像装置I的视向相对该參考摄像装置的參考视向的差值的三个分量。校准数据待确定的摄像装置被定位于多视图位置，意味着它们都能够或多或少从同一场景获取图像。场景用于表示任何对象，风景、人体、动画等等，它可由摄像装置来光学对准(registered)。因此，“场景”不仅限于人物、风景等的普通图像，还限于那些由摄像装置可检测的虚拟对象或真实对象。与现有方法相反，本方法的实施例将能够生成外部摄像装置校准数据，无关于这些摄像装置间的相对距离与视向差。因此，该等外部摄像装置參数涉及距离之差，例如该等摄像装置的两个主点间的差值或个摄像装置的焦点与參考摄像装置的原点间的差值。一般
12、，该差值可被表示为包括如图2b中所示的三个不同距离分量的位置向量。三个旋转角度的差值，是如图2b所示的且为本领域技术人员熟知的倾斜、平移与翻转角度，一般用旋转矩阵R来表示，该矩阵可由这三个角度、Y计算所得权利要求1.用于在多视角位置为至少两个摄像装置(摄像装置1，摄像装置2)确定校准数据的方法，所述方法包括通过对由所述摄像装置拍摄自同一场景的各自图像(图像1，图像2)执行各自的几何分析，确定用于在所述各自图像上识别至少一个各自的单应性变换的各自参数(h1。，.，!1，(h200,.,h222)的步骤，在所述各自图像上执行至少一个各自组合的单应性变换/特性检测，从而获得关于各自经变换的图像的各自
13、特性集(特性集1，特性集2)的步骤，以使所述校准数据根据在所述各自特性集间所确定的匹配来获得。2.根据权利要求I所述的方法，其中，所述校准数据包括关于所述摄像装置之间的相对位置的信息。3.根据权利要求I或2所述的方法，其中，所述校准数据包括关于所述摄像装置之间的相对视向差别的信息。4.根据权利要求I至3中任一项所述的方法，其中，所述至少一个各自组合的单应性变换/特性检测的步骤(300)包括变换所述各自图像的步骤(302)，随后在所述经变换的图像中进行特性检测的步骤(301)。5.根据权利要求I至3中任一项所述的方法，其中，所述至少一个各自组合的单应性变换/特性检测的步骤(300)包括所述各自图
14、像的像素坐标变换(3002)，随后对部分被变换的图像进行特性检测(3001)直至所述各自图像(图像I)的所有像素坐标被变换的迭代过程。6.根据权利要求I至5中任一项所述的方法，其中，所述各自的几何分析的步骤(100)包括确定所述各自图像上的线段。7.根据权利要求I至5中任一项所述的方法，其中，所述各自的几何分析的步骤(100)包括确定所述各自图像上的弧段。8.根据权利要求I至5中任一项所述的方法，其中，所述各自的几何分析的步骤(100)包括在所述各自图像上执行对象识别。9.根据权利要求6所述的方法，其中，所述各自的线段还被用于确定所述至少两个摄像装置之间的视角差别。10.根据权利要求I至9中任
15、一项所述的方法，其中，所述校准数据还根据所述各自的特性集被确定。11.根据权利要求I至10中任一项所述的方法，其中，所述校准数据还根据用于识别所述各自的单应性变换的所述参数来被确定。12.根据在先权利要求中任一项所述的方法，其中，所述校准数据还包括内部摄像装置参数，其数值还可被基于所述匹配来优化。13.设备，适用于执行根据在先权利要求I至12中所述的步骤中任一项。14.一种计算机程序，适用于执行根据权利要求I至13中任一项所述的方法。15.一种计算机可读的存储介质，包括根据权利要求14所述的计算机程序。全文摘要用于在多视角位置为至少两个摄像装置(摄像装置1，摄像装置2)确定校准数据的方法，包括通过对由所述摄像装置拍摄自同一场景的各自图像(图像1，图像2)执行各自的几何分析，确定用于在所述各自图像上识别至少一个各自的单应性变换的各自参数(h100，.，h122)，(h200，.，h222)的步骤，在所述各自图像上执行至少一个各自组合的单应性变换/特性检测，从而获得关于各自经变换的图像的各自特性集(特性集1，特性集2)的步骤，以使所述校准数据根据在所述各自特性集间所确定的匹配来获得。
