《空间中的变化区域检测装置以及方法》由会员分享，可在线阅读，更多相关《空间中的变化区域检测装置以及方法（5页珍藏版）》请在金锄头文库上搜索。
1、空间中的变化区域检测装置以及方法专利名称：空间中的变化区域检测装置以及方法技术领域：本发明涉及从可移动照相机拍摄的拍摄图像中检测空间内的变化区域的装置以及方法。背景技术：近年来，使用可佩带照相机等进行监视的系统得到实用化。作为该监视系统之一，有基于保安佩带的可佩带照相机的图像检测物品的拿走以及遗弃的系统。通过检测在登记图像中存在但在拍摄图像中不存在的物品来实现物品的拿走(例如相当于失盗)的检测。另一方面，通过检测在登记图像中不存在但在拍摄图像中存在的物品来实现物品的遗弃(例如相当于炸弹等危险物的设置)的检测。另外，由可佩带照相机拍摄的拍摄图像根据该可佩带照相机的位置或朝向等发生变化，因而需要表
2、示对哪个空间进行拍摄的信息(定位信息)。即，可佩带照相机中搭载有GPS、陀螺传感器、磁方 位传感器等传感器类，通过该传感器获取作为拍摄图像的属性信息的定位信息。并且，从登记图像中选择与定位信息对应的图像(以下将该图像称为参考图像)。即，通过定位信息确定与拍摄图像拍摄了相同空间的参考图像。接着，通过比较参考图像和拍摄图像来检测空间中的变化区域，基于该检测结果判定上述的拿走或遗弃等。为了如上所述那样使用由移动照相机拍摄的拍摄图像和参考图像检测空间中的变化区域，首先需要进行拍摄图像与参考图像的对位。即，需要选择与拍摄图像对应的参考图像。作为该对位的方法，可以考虑如下两种方法 上述的使用GPS等传感器
3、的方法 使用图像的图案匹配(pattern matching)等图像处理的方法。关于使用图像处理的对位，例如有专利文献I中记载的技术。现有技术文献专利文献专利文献1:日本特开2003-242509号公报非专利文献非专利文献1:D. Lowe, “Distinctive Image Features from Scale-1nvariantKeypoiunts，International Journal of Computer Vision, Vol. 60, No. 2, pp. 91-110, 2004非专利文献2 :N. Katayama and S. Satoh, “The SR-tre
4、e:An Index Structurefor High-Dimensional Nearest Neighbor Queries”, Proceedings of thel997ACM SIGMODInternational Conference on Management of Data, pp. 369380，199发明内容发明要解决的问题但是，专利文献I中记载的技术原本并未设想在拍摄图像中包含相对参考图像发生变化的变化区域的前提下，选择与拍摄图像相同空间的参考图像。即，在以专利文献I为代表的以往的图像处理中，并未考虑拍摄图像的一部分相对于参考图像发生了变化，因而若通过图案匹配选择与拍摄
5、图像相同空间的参考图像，则有可能无法选择准确的参考图像。尤其是，专利文献I中记载的技术是进行局部特征之间的图案匹配的技术，因而容易受到拍摄图像的变化区域的影响，其结果是，选择错误的参考图像的可能性较高。即，若进行局部特征之间的图案匹配，则拍摄图像中存在但参考图像中不存在的物体、或者相反参考图像中存在但拍摄图像中不存在的物体对图案匹配的结果造成影响，因而对于选择相同空间的参考图像并不理想。若无法选择准确的参考图像(即无法选择与拍摄图像相同空间的参考图像)，则变化区域的检测精度当然也会降低。另一方面，GPS等定位传感器存在可使用位置受到限制的缺点。GPS的情况下只能在室外使用。除了 GPS以外还有
6、基于UWB的定位方法，但在此情况下，需要在设施内设置接收机，因而系统变得复杂。在任一种情况下，在使用传感器进行拍摄图像与参考图像的对位的情况下，与通过图像处理进行对位的情况相比，都存在可使用位置受到限制及/或除了照相机以外还需要复杂的结构等缺点。本发明的目的在于提供不使用定位传感器也能够高精度地检测空间中的变化区域的检测装置以及方法。解决问题的方案本发明的变化区域检测装置的一个形态包括特征点检测单元，检测拍摄图像的特征点；登记图像数据库，存储多个登记图像；第一特征点选择单元，从所述拍摄图像的特征点中，选择用于确定参考图像的特征点；参考图像判定单元，使用由所述第一特征点选择单元选择的特征点和所述
7、登记图像数据库中存储的各登记图像的特征点，进行所述拍摄图像与各登记图像之间的匹配判定，从而将所述多个登记图像中与所述拍摄图像匹配程度最高的图像确定为参考图像；第二特征点选择单元，从所述拍摄图像的特征点和所述参考图像的特征点中，选择用于计算几何变换参数的特征点；几何变换参数计算单元，使用由所述第二特征点选择单元选择的特征点，计算几何变换参数；第三特征点选择单元，从所述拍摄图像的特征点和所述参考图像的特征点中，选择用于求所述拍摄图像与所述参考图像之间的相似度的特征点；相似度计算单元，使用由所述几何变换参数计算单元计算出的几何变换参数，对由所述第三特征点选择单元选择的特征点进行几何变换，计算几何变换
8、后的、所述拍摄图像的特征点与所述参考图像的特征点的相似度；以及变化区域判定单元，基于由所述相似度计算单元获取的相似度，判定变化区域。本发明的变化区域检测方法的一个形态为，计算拍摄图像与参考图像之间的相似度，基于该相似度检测所述拍摄图像中的变化区域的变化区域检测方法，包括第一特征点选择步骤，从所述拍摄图像的特征点中，选择用于确定所述参考图像的特征点；第二特征点选择步骤，从所述拍摄图像的特征点和所述参考图像的特征点中，选择用于计算几何变换参数的特征点；以及第三特征点选择步骤，从所述拍摄图像的特征点和所述参考图像的特征点中，选择用于求所述拍摄图像与所述参考图像之间的相似度的特征点。发明的效果根据本发
9、明，能够独立地进行适于参考图像的特征点选择、适于计算几何变换参数的特征点选择、以及适于计算相似度的特征点选择，因而能够不进行无谓的计算而求出准确的参考图像、准确的几何变换参数、以及准确的相似度。其结果是，能够以较少的计算量，高精度地求出变化区域。图1是表示本发明实施方式的变化区域检测装置的结构的方框图。图2A是表示SR-tree的树结构的图。图2B是表示叶子的数据结构的图。图3是表示对应点搜索单元的处理步骤的流程图。图4是表示登记图像数据库中存储的信息的图。图5是表示参考图像判定单元的处理步骤的流程图。图6A是表示相似度计算单元的处理步骤的流程图。图6B是表示相似度计算单元的处理步骤的流程图。
10、图7是表示变化区域检测装置的变化区域检测处理的示意图。标号说明10变化区域检测装置11特征点检测单元12特征量计算单元13对应点搜索用特征点选择单元14对应点搜索单元15特征量索引单元16参考图像判定单元17登记图像数据库18几何变换参数计算用特征点选择单元19几何变换参数计算单元20相似度计算用特征点选择单元21相似度计算单元22变化区域判定单元具体实施例方式以下，参照附图详细地说明本发明的实施方式。图1表示本发明实施方式的变化区域检测装置的结构。变化区域检测装置10将拍摄图像Si输入到特征点检测单元11。拍摄图像SI是用可佩带照相机等可移动照相机拍摄的图像。特征点检测单元11检测拍摄图像S
11、I的特征点。这里，例如从SIFT(Scale-1nvariant Feature Transform,尺度不变特征变换)中使用的、由不同的平滑图像之差分生成的多个DOG (Difference of Gaussian,高斯差分)图像中，作为极值的点检测特征点即可。基于DOG的特征点提取是记载在例如非专利文献I中的已知技术，因此省略此处的说明。特征点检测单元11从一张拍摄图像中检测出多个特征点。检测出的特征点信息S2被传送至特征量计算单元12。特征量计算单元12对于由特征点检测单元11检测出的各特征点，计算特征量S3并输出。计算出的特征量优选为例如在SIFT中使用的、旋转以及尺度不变的特征量。在
12、本实施方式的情况下，特征量是特征点附近的梯度信息(多维矢量信息)。对应点搜索用特征点选择单元13从由特征点检测单元11检测出的特征点中，选择由对应点搜索单元14使用的特征点。具体而言，对应点搜索用特征点选择单元13在由特征点检测单元11检测出的特征点中，仅选择在由特征量计算单元12计算出的特征量的空间中稀疏的特征点。所谓稀疏的特征点，是附近不存在其他特征点的特征点。此外，可以将由对应点搜索用特征点选择单元13选择的稀疏的特征点，换称为比由后述的相似度计算用特征点选择单元20选择的特征点更稀疏的特征点。通过以此方式选择稀疏的特征点，在输入图像(拍摄图像)中有新出现的物体或消失的物体的情况下，也能
13、够选择准确的参考图像。即，通过选择稀疏的特征点，不易受到输入图像的局部变化的影响，其结果是能够降低选择错误的参考图像的可能性。对应点搜索单元14对于输入图像的Nf个特征点的每个特征点，搜索特征量间的距离为阈值以下的登记图像的特征点(对应点)。此处的特征量间的距离是欧氏距离。在本实施方式的情况下，并不直接使用登记图像，而是基于特征量索引单元中存储的特征量索引来搜索对应点。由此，与直接使用登记图像相比，能够高效率地搜索对应点。特征量索引单元15存储登记图像数据库17中存储的各登记图像所具有的全部特征点的特征量。为了高效率地搜索对应点，特征量索引单元15例如具有SR_tree(Sphere/Rect
14、angle-tree)这样的索引结构。SR-tree是记载在专利文献2等中的公知技术，因此省略此处的说明。图2A中示出SR-tree的树结构，图2B中示出叶子的数据结构。如图2B所示，在SR-tree的叶子的各项目中，除了特征量以外，还存储具有该特征量的原始的登记图像的识别编号(ID)。图3中示出对应点搜索单元14的处理步骤。对应点搜索单元14对于拍摄图像的每一个特征点，从登记图像中搜索多个对应点。例如，假设对拍摄图像的第P特征点的、登记图像的对应点的个数为Kp个。对应点搜索单元14在步骤STll中，选择输入图像(参考图像)中的一个特征点，获取其特征量。在步骤ST12中，通过最近邻搜索，获取步
15、骤STll中获取的特征量的Kp个最近邻特征点作为登记图像的对应点。在步骤ST13中，判断是否搜索了输入图像(拍摄图像)的全部特征点的对应点。若步骤ST13中得到否定结果(步骤ST 否)，则通过反复执行步骤STll至ST12，搜索关于下一个特征点的对应点，若步骤ST13中得到肯定结果(步骤ST :是)，则结束对应点搜索处理。此外，在本实施方式中，设置了特征量索引单元15，但也可以从登记图像直接搜索对应点。参考图像判定单元16使用来自对应点搜索单元14的对应点信息和来自登记图像数据库17的登记图像信息，对于由对应点搜索单元14搜索的对应点，对具有该对应点的原始登记图像投一票。参考图像判定单元16对
16、关于输入图像(参考图像)的全部特征点分别搜索得到的全部对应点，反复进行该投票处理。接着，参考图像判定单元16将得票数最多的登记图像确定为对输入图像的参考图像。这里，更为理想的是，参考图像判定单元16附加与对应点搜索单元14计算的特征量间的距离相对应的权重进行投票。通过这样做，获取考虑了对应点的准确率的得票结果，因而选择更准确的登记图像作为参考图像。如图4所示，登记图像数据库17存储登记图像的ID、从登记图像检测出的特征点的ID、特征点的坐标、以及特征点的特征量作为I记录。另外，登记图像数据库17对于一张登记图像，具有与从该登记图像中检测出的多个特征点对应的多个记录。图5中示出参考图像判定单元16的处理步骤。参考图像判定单元16在步骤ST21中，将通过对应点搜索获取的全部对应点写入搜索结果列表中。所谓搜索结果列表，是由对应点的特征点ID、以及输入图像的特征点与对应点的特征量之间的距离构成的列表。在步骤ST22中，从搜索结果列表中获取一个对应点。在步骤ST23中，从登记图像数据库17获取对应点的原始图像的图像ID。在接着的步骤ST24中，判
