《物联网识别技术 教学课件 ppt 作者 丁明跃 物联网-第六章》由会员分享，可在线阅读，更多相关《物联网识别技术 教学课件 ppt 作者 丁明跃 物联网-第六章（61页珍藏版）》请在金锄头文库上搜索。
1、第六章 图像配准与融合技术,主 要 内 容,图像配准的原理和方法 常用的特征提取算法 图像融合原理和方法,目前，数字图像处理已成为计算机科学、信息科学、统计学、医学等领域学习和研究的对象和热点，涉及到各种图像处理技术：图像增强、分割、配准、去噪、显示等。图像配准就是将不同时间、不同传感器或不同条件下获取的两幅或多幅图像进行匹配、叠加的过程。由于不同图像传感器获取的图像数据在几何、光谱、时间和空间分辨率等方面存在明显的局限性和差异性。图像融合技术就是将不同传感器获取的图像数据综合起来，达到对目标有一个更全面、更清晰、准确的理解和认识的目的。,图像配准概述,第一节 图像配准,图像配准就是将不同时间
2、、不同传感器(成像设备)或不同条件下(天候、照度、摄影位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。其流程如下：首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对，然后通过匹配的特征点对得到图像空间坐标变换的参数；最后由坐标变换参数进行图像配准。从上述过程可以看到，特征提取是图像配准技术中的关键步骤，只有准确提取才能为特征匹配的成功提供保障。因此，寻求具有良好不变性和准确性的特征提取方法，对于匹配的精度至关重要。,图像配准的原理,1、图像配准的数学定义 把xy实平面分为网格，每一网格中心的坐标就是笛卡尔积Z2的一对元素，Z2是所有有序元素对(zi，zj)的集合
3、，zi和zj是Z中的整数。令(x，y)为Z2中的整数，f为把灰度级值R赋予每个坐标对(x，y)的函数，则f(x，y)就表示一幅数字图像。 若约定原点坐标值(x，y)=(1，1)，则MN的数字图像f(x，y)可用矩阵表示为： 数字图像可以用一个二维矩阵表示，如果用I1(x， y)、I2(x， y)分别浮动图像和参考图像在点(x， y)处的灰度值，那么图像I1、I2的配准关系可表示为： 其中，f代表二维的几何变换函数；g表示一维的灰度变换函数。,配准的主要任务就是寻找最佳的空间变换关系f与灰度变换关系g，是两幅图像实现最佳对准。由于空间变换是灰度变换的前提，而且有些情况下灰度变换关系的求解并不c是
4、必需的，所以寻找空间几何变换关系f便成为配准的关键所在，于是改为更为简单的表示形式：,图像配准的原理,2、图像配准的基本框架 前面已经提到过图像配准的流程，从中可以看出，图像配准的基本框架可以由以下四个部分组成：特征空间、搜索空间、搜索策略和相似性测度。 特征空间：是指从参考图像和浮动图像中提取的可用于配准的特征。在基于灰度的图像配准方法中，特征空间为图像像素的灰度值；而在基于特征的图像配准方法中，特征空间可以是点、边缘、曲线、曲面、不变矩等。 理想的特征空间应该满足一下几个条件： 特征提取简单快捷；特征匹配运算量小；特征数据量合适；不受噪声、光照度等因素影响；对各种图像均能使用。 搜索空间：
5、是指在配准过程中对图像进行变换的范围及变换方式。图像的变换范围可以分为三类：全局的、局部的和位移场的。全局变换是指在图像配准过程中整个图像的空间变换都可以用相同的变换参数表示。局部变换是指在图像的不同区域可以有不同的变换参数，通常做法是在区域的关键点位置上进行参数变换，其他位置进行差值处理。位移场变换是指对图像中的每一像素点独立地进行参数变换，通常使用一个连续函数来实现优化和约束。,图像配准的原理,相似性度量：是衡量每次变换结果优劣的准则，用来对变换结果进行评估，为搜索策略的下一步动作提供依据。 相似性度量和特征空间、搜索空间紧密相关，不同的特征空间往往对应不同的相似性度量；而相似性度量的值将
6、直接决定配准变换的选择，以及判断在当前所取的变换模型下图像是否被正确匹配了。通常配准算法抗干扰的能力是由特征提取和相似性度量共同决定的。 常用的相似性度量有互信息、归一化互信息、联合熵、相关性、欧式距离、梯度相关性等。 搜索策略：是在搜索空间中找到最优的配准参数，在搜索过程中以相似性度量的值作为判优依据。 由于配准算法往往需要大量的运算，而常规的贪婪搜索法在实践中是无法接受的，因此设计一个有效的搜索策略显得尤为重要。搜索策略将直接关系到配准进程的快慢，而搜索空间和相似性度量也在一定程度上影响了搜索策略的性能。常用的搜索策略有黄金分割法、Brent法、抛物线法、三次插值法、Powell法、遗传算
7、法、蚁群算法、牛顿法、梯度下降法、粒子群法等。,图像配准的原理,1、按图像的维数分类 按图像的空间维数可分为2D/2D，2D/3D，3D/3D图像配准。2D/2D是指两幅二维空间图像间的配准，在医学影像上主要应用于相同或不同断层扫描数据的不同片层之间的配准，是目前应用最为广泛的图像配准。2D/3D是指二维空间图像和三维空间图像的配准，主要应用于空间数据和投影数据之间的配准，如手术过程中的二维X线影像和手术前的三维CT影像间的配准。还有是2D片层扫描数据和3D空间数据的配准。3D/3D是指两幅三维空间图像的配准，一般应用于两个断层扫描数据的配准。当2D扩展到3D时，参数个数和图像数据量会急剧增大
8、，配准过程也会变得更加复杂。如果在空间维数的基础上再加上时间维数，则原来的2D、3D就分别变成了3D、4D，在临床医学上可用来观察儿童骨骼发育、跟踪肿瘤变化、监视窗口愈合等。,第二节 图像配准的分类,2、按成像模式分类 按成像的模式不同可分为单模态图像配准和多模态图像配准。单模态图像配准是指浮动的两幅图像是同一种成像设备获取的，主要用于不用的MRI加权像间的配准、电镜图像序列的配准、fMRI图像序列的配准。 多模态图像配准是指浮动的两幅图像来源于不同的成像设备。如CT和MRI图像间配准后，可以同时得到高分辨率的骨组织和软组织图像；又如，将反映人体的功能和代谢信息的SPECT和PET图像与CT或
9、者MRI图像配准后，可以同时提供高分辨率的机构信心和功能信息，具有更好的临床应用价值 。由于成像设备的原理不同，扫面参数条件各异，所以两种断层图像间不存在简单的点与点对应关系。,第二节 图像配准的分类,3、按图像的来源和成像的部位分类 按照配准图像的来源，可以分为同一个体的图像配准、不同个体之间的图像配准、个体和图谱之间的配准。对于同一病人在不同时间获得的同一器官或者解剖部位的图像配准，可以用于纵向对比研究，从而监视疾病的发展及治疗过程。将患者的图像与典型正常人相同部位的图像对比，可以确定患者是否正常。此外，图像与标准图谱配准可以实现图像的自动分割，这属于不同个体之间的配准。不同个体间的图像配
10、准，由于个体解剖结构之间的差异，显然要难于个体自身图像间的配准。一般的做法是通过模拟一定的弹性力学过程，如薄板样条、粘弹性流体等，将一幅图像通过非线性形变使它最终能与另外一个图像实现最佳匹配。,第二节 图像配准的分类,4、按控制点分类 按照控制点分类，可以分为基于外部控制点的配准和基于内部控制点的配准。基于外部控制点的配准在成像前需要在感兴趣的解剖点人工设立标记，只要标记配准了整幅图像也就配准了。对标记物的材料和形状设计要求是，能在需要配准的所有图像模态中均能清楚可视和精确检测。解决方法一般是在不同图像模态的成像过程时，向标记物里灌入不同的显影物质。基于外部特征的配准方法所求的参数可以明确求解
11、，无需复杂的优化算法，因此配准实现比较容易。但最大缺点是必须在图像的成像阶段使用标记物，对人不太友好，无法实现图像的回溯式配准。,第二节 图像配准的分类,5、按空间变换模型分类 图像配准中的变换函数可以分为四类：刚性变换(rigid)、仿射变换(affine)、投影变换(projective)和非线性变换(non-linear)(弹性变换)。如果仅存在坐标轴的旋转和平移，则图像变换是刚性的，这时平行直线映射成平行直线，相互垂直的直线映射成相互垂直的直线。如果只能将平行直线映射成平行直线，垂直性不能保持，图像的坐标变换是仿射的。如果只能将直线映射成直线，平行性和垂直性都不能保持时，图像的坐标变换
12、是投影变换。如果直线映射成曲线，图像的变换就是非线性的(弹性变换)。每一类变换都包含它前面一类变换，这四类变换依次包含，即弹性变换包含投影变换，投影变换包含仿射变换，仿射变换包含刚性变换。多个变换组合时，最终的变换是复杂度最高的变换，例如，投影变换和仿射变换的组合是投影变换。,第二节 图像配准的分类,6、按配准过程分类 按配准过程可以分为基于特征的图像配准和基于灰度的图像配准。这两者的主要区别是是否包含分割步骤。基于特征的方法包括图像的分割过程，用于提取图像的特征信息，然后对图像的显著特征进行配准。其变换参数是对两幅图像中获得的对应数据使用联立方程组而直接计算得到。 基于灰度的配准方法无需进行
13、图像的分割与特征提取，直接用图像的统计信息作为配准的相似性度量。这样配准问题就转化为参数寻优的问题，即是由变换参数表示的能量函数(一般是逆凸和非线性的，能用标准的优化算法求解极值)的极值求解问题。目前采用的优化算法有：Powell法、下山单纯行法、Marquadrt-Levenberg法、梯度下降法、遗传算法、模拟退火法、粒子群优化法和组合方法。在实际应用中，经常使用附加的多分辨率和多尺度方法，目的是加速收敛速度、降低需要求解的变换参数的数目、避免局部最小值，并且多种优化算法混合使用，即开始时使用粗略的快速算法，然后使用精确的慢速算法。,第二节 图像配准的分类,7、按交互性分类分类 按配准过程
14、中的交互性可分为人工配准、半自动配准和全自动配准。人工配准完全由人工凭借经验进行，输入计算机后实现的只是显示工作，不需要复杂的配准计算法；半自动配准过程需要人工给出一定的初始条件，如人工勾画轮廓、控制优化参数等；全自动化配准不需要人工干预，由计算机自动完成。 。,第二节 图像配准的分类,8、按变换函数作用域分类 根据空间几何变换函数的作用域，配准可以分为全局变换和局部变换。全局变换是指将两幅图像之间的空间对应关系用同一个函数表示，大多数图像配准方法采用此变换。局部变换是两幅图像中不同部分的空间对应关系用不同的函数表示，适用于在图像中存在非刚性形变的情形。通常当全局变换不能满足需求时，需要采用局
15、部变换。,第二节 图像配准的分类,图像特征的提取是图像配准的关键，因而特征的提取显得尤为重要，下面介绍下一些特征的提取。 1、点特征提取 点特征是影像最基本的特征，它是指那些灰度信号在二维方向上都有明显变化的点，如角点、圆点等。点特征可以应用于诸如图像的配准与匹配，目标描述与识别，光束计算，运动目标跟踪、识别和立体像对3D建模等众多领域。使用点特征进行处理，可以减少参与计算的数据量，同时又不损害图像的重要灰度信息，在匹配运算中能够较大的提高匹配速度，因而受到人们的关注。提取点特征的算子称为兴趣算子或有利算子( interest operator) ，即利用某种算法从影像中提取人们感兴趣的，即有
16、利于某种目的的点。在影像分析和计算机的视觉领域，根据不同应用目的选择有效的点特征提取算子是非常重要的。,第三节 图像特征提取算子,Moravec算子是Moravec于1977年提出利用灰度方差提取点特征的算子。 Moravee算子是在四个主要方向上，选择具有最大、最小灰度方差的点作为特征点。基本思想是，以像元的四个主要方向上最小灰度方差表示该像元与邻近像元的灰度变化情况，即像元的兴趣值，然后在图像的局部选择具有最大的兴趣值得点(灰度变化明显得点)作为特征点，具体算法如下： (1)计算各像元的兴趣值IV(interest value)，例如计算香元(c，r)的兴趣值，先在以像元(c，r)为中心的nn的影像窗口中，计算四个主要方向相邻像元灰度差的平方和： 其中k=INT(n/2)。取其中最小者为像元 (c，r)的兴趣值：IV c，r=minV1，V2，V3，V4。,第三节 图像特征提取算子,(2)根据给定的阈值，选择兴趣值大于改阈值的点作为特征点的候选点。阈值得选择应以候选点中包括需要的特征点，而又不含过多的非特征点。 (3)在候选点中选取局部极大值点作为需要的特征
