《自动移除全景图像中三脚架残留影像的方法和装置的制作方法》由会员分享，可在线阅读，更多相关《自动移除全景图像中三脚架残留影像的方法和装置的制作方法（4页珍藏版）》请在金锄头文库上搜索。
1、自动移除全景图像中三脚架残留影像的方法和装置的制作方法专利名称：自动移除全景图像中三脚架残留影像的方法和装置的制作方法技术领域：本发明涉及一种图像处理方法和装置，尤其涉及将全景图像中出现的三脚架残留 影像进行自动化移除的方法和装置。背景技术：在全景图像拍摄时，经常会在全景图像中不可避免的出现不希望保存的三脚架残 留影像，这就会对用户的视觉感受带来很大的损失。现有的处理方法是通过手动移除来完 成，具体方式是在需要去除的局部影像中，通过图像编辑工具，手动抠图的方式，对三脚架 残留影像区域进行修复。这种操作方式极大耗费人力。增加了后期处理的负担。传统的修复图像技术分为两类。一类是基于几何图像模型的图
2、像修补 (inpainting)技术，该类技术利用偏微分方程和物理热扩散原理，对图像进行修复，代表的 有:M. Bertalmio、A. L Bertozzi 等.Navier-stokes，fluid dynamics, and image and video inpainting；C.Ballester、V. Caselles 等Avariational model for filling-in gray level and color images；T. F.Chanand J. ShenNon-texture inpainting by curvature-driven diffusi
3、ons (CDD)。该类技术能够保存图像的线性结构，但只适用于修 补图像中的小尺度缺损；对于稍大的区域效果非常糟糕，常常在修复区域出现明显的模糊。 另一类是基于纹理合成的图像补全(completion)技术，其中代表性的有L. Limg，C. Liu 等Real-timetexture synthesis by patch-based sampling;A. Efros and W. T. Freeman Image quilting for texture synthesis and transfer；M.AshikhminSynthesizing natural textures；该类技术
4、优点是速度快，但缺点不能很好的保存图像线性结构。之后 的作者在借鉴inpainting的思想，对此进行改进，比如A. Criminisi等Object removal by exemplar-based inpainting) ；D. Simakov 等(Summarizing visual data using bidirectional similarity). CH0,T. S.等The patch transform and its appl ications to image editing；K0M0DAKIS, N.等Image completion using efficient
5、 belief propagation viapriority scheduling and dynamic pruning；KUMAR, N.等What is a goodnearest neighbors algorithm for finding similar patches in images ？)； RUBINSTEIN, .等Improved seam carving for video retargeting；WEXLER, Y 等 (Space-time completion of video。该技术对于填充图像中大的丢失块有较好的效果， 也能保存图像的结构，但速度非常慢，对
6、于一张1200*1200大小的图片，修复200*200区域 常常需要几分钟甚至半小时。因此上述技术对于局部影像去除或修复应用来说，都具有很 大的局限性。所以，如何在全景图像中自动去除或修复三脚架残留影像区域，是个急需解决的 问题。发明内容本发明的目的在于解决上述问题，提供了一种自动移除全景图像中三脚架残留影像的方法，具有修复速度快且修复效果好的优点。本发明的另一目的在于提供了一种自动移除全景图像中三脚架残留影像的装置。本发明的技术方案为本发明揭示了一种自动移除全景图像中三脚架残留影像的 方法，包括设置原始全景图上的待替换边界，以遮盖三脚架残留影像；设置以待替换边界上的点为中心的边界点所在块；在
7、所有的边界点中找出块置信度最高的点，点对应的边界点所在块是 Vp；将待替换边界进行外扩，形成外扩后边界；在外扩后边界的范围内找出和点P的边界点所在块UV相较特征相似度最大的 边界点所在块，Vi对应的边界点是q，用UV来替换,；将点q的8邻接像素与点P比较的特征相似度最大值赋给点P；返回查找置信度最高的点的步骤，在未处理过的边界点所在块中查找置信度最高 的点，直到所有的待替换边界处理完毕。根据本发明的自动移除全景图像中三脚架残留影像的方法的一实施例，在设置原 始图上的待替换边界之前还包括将原始全景图进行缩小，以使后续的处理对象是缩小后的原始全景图。根据本发明的自动移除全景图像中三脚架残留影像的方
8、法的一实施例，通过插值 算法将原始全景图进行缩小。根据本发明的自动移除全景图像中三脚架残留影像的方法的一实施例，在找到点 P和点q之后，根据原始全景图缩小比例找到原始全景图中对应的两个点P和q以及这 两个点P和q所对应的块* ,，用,替换，并将点q的8邻接像素与点比较的 特征相似度最大值赋给点P。根据本发明的自动移除全景图像中三脚架残留影像的方法的一实施例，在设置原 始全景图上的待替换边界的步骤中，将待替换边界标记为和背景色不同的颜色，以使与背 景色颜色不同的边界成为待替换边界。本发明还揭示了一种自动移除全景图像中三脚架残留影像的装置，包括边界设置模块，设置原始全景图上的待替换边界，以遮盖三脚
9、架残留影像；边界点所在块设置模块，耦接边界设置模块，设置以待替换边界上的点为中心的 边界点所在块；置信度处理模块，耦接置信度处理模块，在所有的边界点中找出块置信度最高的 点P，点对应的边界点所在块为UV ；边界外扩模块，耦接置信度处理模块，将待替换边界进行外扩，形成外扩后边界；替换处理模块，耦接该边界外扩模块，在外扩后边界的范围内找出和点的边界 点所在块UV相较特征相似度最大的边界点所在块，V,对应的边界点是Y，用边界 点所在块11V替换边界点所在块Vp,；赋值模块，耦接替换处理模块和置信度处理模块，将点q的8邻接像素与点 比较的特征相似度最大值赋给点P，返回置信度处理模块进行处理，由置信度处
10、理模块在 未处理过的边界点所在块中查找置信度最高的点，直到所有的待替换边界处理完毕。根据本发明的自动移除全景图像中三脚架残留影像的装置的一实施例，该装置还 包括图像缩小模块，耦接在边界设置模块之前，该图像缩小模块将原始全景图进行缩小，以 使后续的处理对象是缩小后的原始全景图。根据本发明的自动移除全景图像中三脚架残留影像的装置的一实施例，在图像缩 小模块中设有一插值处理单元，通过插值处理单元中的插值算法的运行将原始全景图进行 缩小。根据本发明的自动移除全景图像中三脚架残留影像的装置的一实施例，在替换处 理模块中还包括原始全景图映射单元，该替换处理模块在找到点P和点q之后启动原 始全景图映射单元，
11、原始全景图映射单元根据原始全景图缩小比例找到原始全景图中对应 的两个点P和q以及这两个点P和q所对应的块和，以使替换，并在赋值模 块中将点q的8邻接像素与点比较的特征相似度最大值赋给点P。根据本发明的自动移除全景图像中三脚架残留影像的装置的一实施例，在边界设 置模块中，将待替换边界标记为和背景色不同的颜色，以使与背景色颜色不同的边界成为 待替换边界。本发明对比现有技术有如下的有益效果本发明可自动移除全景图像中的三脚架 残留影像，使得全景影像的提供者更容易去除由于全景采集不可避免出现的三脚架或其他 全景拍摄设备支架残留在全景影像中的问题，从而解决了全景图像处理三脚架或其他全景 拍摄设备支架去除过
12、于依赖人力，效率低下，成本过高的问题。图1是本发明的自动移除全景图像中三脚架残留影像的方法的第一实施例的流 程图。图2是本发明的自动移除全景图像中三脚架残留影像的方法的第二实施例的流 程图。图3是图2实施例的细化流程图。图4是本发明的自动移除全景图像中三脚架残留影像的装置的第一实施例的原 理图。图5是本发明的自动移除全景图像中三脚架残留影像的装置的第二实施例的原 理图。具体实施例方式下面结合附图和实施例对本发明作进一步的描述。在介绍本发明的各个实施例之前，首先对全景或者全景图像(影像)作一个说明 若将图像放在一个球空间、或立方体空间、或柱形空间、或锥形空间、或椭球空间中，通过上 述空间中固定一
13、点作为观察点，通过该观察点采用单点透视该图像所获得的影像的过程即 为全景播放，则该图像被对应的称为球形全景、或立方体全景、或柱形全景、或锥形全景、或 椭球全景，并且统称该图像为全景或全景图像(影像)。自动移除全景图像中三脚架残留影像的方法的第一实施例图1示出了本发明的自动移除全景图像中三脚架残留影像的方法的实施例。请参见图1，下面是对本实施例的自动移除全景图像中三脚架残留影像的方法的各个步骤的详 细描述。步骤SlO 设置原始全景图上的待替换边界，以遮盖选定影像。待替换边界可标记为统一的颜色，遮盖住原始全景图上的背景色。也就是说，将待 替换边界标记为和背景色不同的颜色，这样与背景色颜色不同的边界
14、就可被判定为待替换 边界。步骤Sll 设置以待替换边界上的点为中心的边界点所在块。在待替换边界上的任意点的周围一定像素范围内，设置以该点为中心的块，用来 进行后续的对比和替换，块的大小可任意设定。步骤S12:在所有未处理过的边界点中找出块置信度最高的点，此时点对 应的边界点所在块为,。步骤S13 将待替换边界进行外扩，形成外扩后边界。例如，原来的待替换边界是(rXm)，则外扩后边界是 (r+areasize) X (m+areasize)，其中areasize是一个参数，表示在待替换边界范围外扩大 多少个像素，将在这一范围内查找可供替换的块影像。值得注意的是，在步骤SlO中设定的用于标记待替换
15、边界范围内的唯一像素RGB 值(也就是颜色)与在外扩后边界范围内原图的各像素RGB值全不相同。步骤S14 在外扩后边界的范围内找出和当前置信度最高的点P所在块UV相 较特征相似度最大的边界点所在块，V,对应的边界点是Y，用来替换。在本步骤中，完成了点所在块的影像替换，但这时为防止替换时的像素损失， 需要进行后续的步骤，将保证替换得到的影像与周围的影像完全融合。步骤S15:将点q的8邻接像素与点比较的特征相似度最大值赋给点。本步骤结束后跳转到步骤S11，直至所有的待替换边界全部查询完毕。在本步骤中，还需要通过一种技术手段将已经处理的边界点所在块(例如UV ) 排除在下一次循环的查找范围之外，以保
16、证在跳转到步骤Sll的时候不用再查找已经处理 过的边界。这样的技术手段例如是将点P的置信度设为0(具体可参见图3的实施例)。在本实施例中，在步骤Sll至S15之间进行循环，直到步骤SlO中所述的待替换边 界处理完毕。自动移除全景图像中三脚架残留影像的方法的第二实施例图2示出了本发明的自动移除全景图像中三脚架残留影像的方法的第二实施例。 请参见图2，下面是对本实施例的方法中的各个步骤的详细描述。步骤S20 将原始全景图进行缩小，以使后续的处理对象是缩小后的原始全景图。可以预设一个尺寸范围()，如果原始全景图本身就在这个尺寸范围内，则不 需要再进行缩放，而用原始全景图代入后续的运算。如果原始全景图本身不在这个尺寸范围内，则采用插值算法，将其缩放到的 尺寸范围内，并单独存储该缩小的图像。缩小尺寸的目的在于提高运算的速度，保证查找相 关匹配点及区域的时候，造成的遍历次数大大减少。
