《医学图像配准与融合ppt课件》由会员分享，可在线阅读，更多相关《医学图像配准与融合ppt课件（51页珍藏版）》请在金锄头文库上搜索。
1、生物医学工程系生物医学工程系医学影像图像处理医学影像图像处理1.图像配准：图像配准： 解决几幅图的对齐问题。解决几幅图的对齐问题。图像配准是图像融合的前提。图像配准是图像融合的前提。图像配准是图像融合的前提。图像配准是图像融合的前提。 (a) CT图像图像 (b) MRI图像图像 (c) 融合图像融合图像 2 6.1 概述概述一、医学图像配准的必要性一、医学图像配准的必要性一、医学图像配准的必要性一、医学图像配准的必要性 基于多种原因，临床上通常需要对同一个病人基于多种原因，临床上通常需要对同一个病人基于多种原因，临床上通常需要对同一个病人基于多种原因，临床上通常需要对同一个病人进行多种模式或
2、同一种模式的多次成像。即同时进行多种模式或同一种模式的多次成像。即同时进行多种模式或同一种模式的多次成像。即同时进行多种模式或同一种模式的多次成像。即同时从几幅图像获得信息，进行综合分析从几幅图像获得信息，进行综合分析从几幅图像获得信息，进行综合分析从几幅图像获得信息，进行综合分析 。 3 描述生理形态的形态描述生理形态的形态描述生理形态的形态描述生理形态的形态( ( ( (结构结构结构结构) ) ) )成像：成像：成像：成像： 描述人体功能或代谢的功能成像描述人体功能或代谢的功能成像描述人体功能或代谢的功能成像描述人体功能或代谢的功能成像X-Ray; X-Ray; DSADSAX-CTX-C
3、TMRI; MRI; MRAMRAUltrasoundUltrasoundSPECTSPECTPETPETf MRIf MRIEEGEEGMRSMRS4对几幅不同的图象作定量分析，首先要将图像对几幅不同的图象作定量分析，首先要将图像转换到一个公共的坐标框架内研究，解决图像的转换到一个公共的坐标框架内研究，解决图像的严格对齐严格对齐问题，这就是图像的问题，这就是图像的配准配准。5二、图像配准的概念二、图像配准的概念oo医学图象配准医学图象配准医学图象配准医学图象配准：对于一幅医学图象寻求一种：对于一幅医学图象寻求一种：对于一幅医学图象寻求一种：对于一幅医学图象寻求一种( ( ( (或一或一或一或
4、一系列系列系列系列) ) ) )空间变换，使它与另一幅医学图象上的空间变换，使它与另一幅医学图象上的空间变换，使它与另一幅医学图象上的空间变换，使它与另一幅医学图象上的对应对应对应对应点点点点达到空间上的一致。达到空间上的一致。达到空间上的一致。达到空间上的一致。oo这种一致是指人体上的同一这种一致是指人体上的同一这种一致是指人体上的同一这种一致是指人体上的同一解剖点解剖点解剖点解剖点在两张匹配图在两张匹配图在两张匹配图在两张匹配图象上有相同的空间位置。象上有相同的空间位置。象上有相同的空间位置。象上有相同的空间位置。oo配准的结果应使两幅图象上所有的解剖点，或至配准的结果应使两幅图象上所有的
5、解剖点，或至配准的结果应使两幅图象上所有的解剖点，或至配准的结果应使两幅图象上所有的解剖点，或至少是所有具有诊断意义的点及手术感兴趣的点都少是所有具有诊断意义的点及手术感兴趣的点都少是所有具有诊断意义的点及手术感兴趣的点都少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。达到匹配。达到匹配。达到匹配。6配准示意图配准示意图7 基于多种原因，临床上基于多种原因，临床上通常需要对同一个病人进行多通常需要对同一个病人进行多种模式或同一种模式的多次成种模式或同一种模式的多次成像。即同时从几幅图像获得信像。即同时从几幅图像获得信息，进行综合分析。息，进行综合分析。 使用同种成像设备在不同使用同种成像设
6、备在不同时间成像，可以观察病灶生长，时间成像，可以观察病灶生长，对比手术前后的治疗效果等。对比手术前后的治疗效果等。 人脑多种模式成像人脑多种模式成像 8不同不同不同不同 MR MR 加权图像间的配准加权图像间的配准加权图像间的配准加权图像间的配准图象序列的配准图象序列的配准图象序列的配准图象序列的配准 fMRIfMRI图象序列的配准图象序列的配准图象序列的配准图象序列的配准 胸、腹部脏器的图象配准胸、腹部脏器的图象配准胸、腹部脏器的图象配准胸、腹部脏器的图象配准 同一部位，不同时间图像的配准同一部位，不同时间图像的配准同一部位，不同时间图像的配准同一部位，不同时间图像的配准n n同一对象同一
7、对象同一对象同一对象 (intrasubject) (intrasubject) 的图象配准的图象配准的图象配准的图象配准()()()()单模单模(monomodality)多模多模(multimodality) CTCT和和和和MRIMRI图象图象图象图象 CT(CT(或或或或MRI)MRI)与与与与SPECT(SPECT(或或或或PET)PET)配准配准配准配准 SPECT/ECTSPECT/ECT与与与与CT/MRI/DSACT/MRI/DSA配准配准配准配准9qq不同对象间不同对象间不同对象间不同对象间 (intersubject) (intersubject) 的图象配准的图象配准的
8、图象配准的图象配准 将被试的图象与典型正常人相同部位的图象对比，以将被试的图象与典型正常人相同部位的图象对比，以确定被试者是否正常。如果异常，也许还要与一些疾确定被试者是否正常。如果异常，也许还要与一些疾病的典型图象对比，确定患者是否属于同类病的典型图象对比，确定患者是否属于同类 106.2图像配准方法图像配准方法按按对图像信息的利用情况分像信息的利用情况分类基于基于图像像灰度信息灰度信息的方法的方法基于基于时域的域的图像配准方法像配准方法基于基于频域的域的图像配准方法像配准方法基于基于特征特征的的图像配准方法像配准方法基于不基于不变量描述子得量描述子得图像配准方法像配准方法基于基于轮廓的廓的
9、图像配准方法像配准方法基于其他特征的基于其他特征的图像配准方法像配准方法11配准算法的一般步骤特征提取特征提取 特征匹配特征匹配 估计变换模型估计变换模型 图像重采样及变换图像重采样及变换 126.2.1配准配准算法的一般步骤算法的一般步骤特征提取特征提取 特征提取是指分别提取两幅图像中共有的图像特征提取是指分别提取两幅图像中共有的图像特征。这种特征特征。这种特征是出现在两幅图像中对比例、旋转、是出现在两幅图像中对比例、旋转、平移等变换保持一致性的特征平移等变换保持一致性的特征，如线交叉点、物体，如线交叉点、物体边缘角点、虚圆闭区域的中心等可提取的特征。特边缘角点、虚圆闭区域的中心等可提取的特
10、征。特征包括：点、线和面三类。征包括：点、线和面三类。13-点特征点特征是最常采用的一种图像特征，包括是最常采用的一种图像特征，包括物体边缘点、角物体边缘点、角点、线交叉点点、线交叉点等；根据各特征点的兴趣值将特征点分成几等；根据各特征点的兴趣值将特征点分成几个等级。对不同的目的，特征点的提取应有所不同。个等级。对不同的目的，特征点的提取应有所不同。-线特征线特征是图像中明显的是图像中明显的线段特征线段特征，如道路河流的边缘，目，如道路河流的边缘，目标的轮廓线等。线特征的提取一般分两步进行：首先采用标的轮廓线等。线特征的提取一般分两步进行：首先采用某种算法提取出图像中明显的线段信息，然后利用限
11、制条某种算法提取出图像中明显的线段信息，然后利用限制条件筛选出满足条件的线段作为线特征；件筛选出满足条件的线段作为线特征；14主要配准方法主要配准方法点法（点法（Point MethodPoint Method） ：分分为内部点法与外部点法。内部点法与外部点法。标志点一旦确定，志点一旦确定，图象配准象配准问题就就归结为求解求解对应点点集的集的刚体体变换；对准了准了这些些标志点，志点，图象也就配准象也就配准内部点：解剖标志点；内部点：解剖标志点；耳蜗尖端拐点处；耳蜗尖端拐点处；两个线性结构的交点；两个线性结构的交点；血管的分叉或相交处等；血管的分叉或相交处等；优点：对受试者友好；优点：对受试者友
12、好；缺点：难以识别，需要一缺点：难以识别，需要一定的经验。定的经验。外部点：外部点：n在受试着颅骨嵌入的螺钉；在受试着颅骨嵌入的螺钉；n在皮肤上作记号；在皮肤上作记号；n其他在两幅图像都可以检测其他在两幅图像都可以检测到的附加标记物：如充有硫到的附加标记物：如充有硫酸铜的管子、玻璃珠、铬合酸铜的管子、玻璃珠、铬合金球、明胶球等。金球、明胶球等。n优点：容易识别；优点：容易识别；n缺点：受试者在扫描装置内缺点：受试者在扫描装置内要求严格不动；要求严格不动；15曲线法曲线法(Curve Method) (Curve Method) ：边界曲线的匹配：边界曲线的匹配n用人工方法在两幅配准图象中寻找对
13、应的用人工方法在两幅配准图象中寻找对应的开曲线，再在两条开曲线局部曲率最佳拟开曲线，再在两条开曲线局部曲率最佳拟合的线段用相同的采样率找出一组对应点合的线段用相同的采样率找出一组对应点n对这组对应点使用点法匹配两幅图象对这组对应点使用点法匹配两幅图象16o矩和主轴法矩和主轴法(Moment and Principal Axes Method) (Moment and Principal Axes Method) 根据力学中物理质量分布的概念：根据力学中物理质量分布的概念：n先计算两幅图象象素点的质心和主轴；先计算两幅图象象素点的质心和主轴；n再通过平移和旋转使两幅图象的质心和主轴对齐，从再通过
14、平移和旋转使两幅图象的质心和主轴对齐，从而达到配准。而达到配准。n缺点：对数据缺失敏感；缺点：对数据缺失敏感； 对神经医生感兴趣的某些病案效果不佳。对神经医生感兴趣的某些病案效果不佳。应用：粗配准；初步对齐；应用：粗配准；初步对齐；176.2.2配准算法的一般步骤估计变换模型1.1.刚体变换模型刚体变换模型刚体变换是平移、旋转与缩放的组合，适用于刚体变换是平移、旋转与缩放的组合，适用于具有相同具有相同视角视角，但，但拍摄位置不同的来自同一传感器的两幅图像的拍摄位置不同的来自同一传感器的两幅图像的配准配准。刚体变换模型下，若点。刚体变换模型下，若点 ， 分别为参考分别为参考图像和待配准图像中对应
15、的两点，则它们之间满足以下图像和待配准图像中对应的两点，则它们之间满足以下关系：关系：18同一刚体变换结果实现的两同一刚体变换结果实现的两种方法：种方法：1、先旋转、先旋转10度，后度，后x轴平移轴平移4单位，再单位，再y轴平移轴平移9单位；单位；2、先、先x轴平移轴平移2.3764单位，后单位，后y轴平移轴平移9.5579单位，再旋转单位，再旋转10度；度；n对于刚体变换无须关心其实际的旋转与平移顺序。对于刚体变换无须关心其实际的旋转与平移顺序。19配准算法的一般步骤估计变换模型2.仿射变换模型仿射变换模型如果第一幅图像中的一条直线经过变换后，映射到第二幅图如果第一幅图像中的一条直线经过变换
16、后，映射到第二幅图像上仍然为直线，且平行直线仍旧被映射为平行直线，这样像上仍然为直线，且平行直线仍旧被映射为平行直线，这样的变换称为仿射变换。该变换的变换称为仿射变换。该变换保持直线间的平行关系保持直线间的平行关系，但，但由由于引入了缩放参数，故它不能保持直线段的长度和角度于引入了缩放参数，故它不能保持直线段的长度和角度 ，若若点点 ， 分别为参考图像和待配准图像中对应的两点，则它分别为参考图像和待配准图像中对应的两点，则它们之间满足以下关系：们之间满足以下关系：203. 3.投影变换投影变换投影变换投影变换(Projective transformation)(Projective tran
17、sformation)(Projective transformation)(Projective transformation)4. 4.非线性变换非线性变换非线性变换非线性变换(Nonlinear(Nonlinear(Nonlinear(Nonlinear transformationtransformationtransformationtransformation) )21投影变换o线性变换的最一般形式线性变换的最一般形式o直线经变换后仍然为直线，但平行性不再保持直线经变换后仍然为直线，但平行性不再保持22血管瘤手术计划：三维血管模型与血管瘤手术计划：三维血管模型与x x射线血管造影图
18、像在正交的、射线血管造影图像在正交的、前后方向（右图）和侧向（左图）投影配准。前后方向（右图）和侧向（左图）投影配准。23非线性变换非线性变换o非线性空间变换可以用于校正图象获取过程中非线性空间变换可以用于校正图象获取过程中由仪器引起的畸变，也可以用于图象配准由仪器引起的畸变，也可以用于图象配准o常用的非线性变换模型有常用的非线性变换模型有n低阶多项式变形低阶多项式变形n基于薄板样条函数的变换基于薄板样条函数的变换n基于基于B B样条的变换样条的变换非线性变换多用于使解剖图谱变形来拟合图像数非线性变换多用于使解剖图谱变形来拟合图像数据或对有全局性形变的胸、腹部脏器图像的配准。据或对有全局性形变
19、的胸、腹部脏器图像的配准。246.2.3配准算法的一般步骤配准算法的一般步骤图像重采样及变换图像重采样及变换 在得到两幅图像间的变换参数后，要将输入图像做相应在得到两幅图像间的变换参数后，要将输入图像做相应参数的变换，参数的变换，使之与参考图像处于同一坐标系下使之与参考图像处于同一坐标系下，则校正后，则校正后的输入图像与参考图像可用作后续的图像融合、目标变化检的输入图像与参考图像可用作后续的图像融合、目标变化检测处理或图像镶嵌；测处理或图像镶嵌； 涉及输入图像变换后所得点坐标不一定为整像素数，则涉及输入图像变换后所得点坐标不一定为整像素数，则应进行插值处理。常用的插值算法有应进行插值处理。常用
20、的插值算法有最近邻域法、双线性插最近邻域法、双线性插值法值法和和立方卷积插值法立方卷积插值法。256.3 图像配准举例刚性变换刚性变换刚性变换刚性变换基准点基准点极值点极值点曲线曲线266.3.1基于基于灰度信息的图像配准灰度信息的图像配准实现简单不能实现非线性变换,运算量大灰度的相似度量函数序列相似性序列相似性检测函数函数交叉相关性相似性度量函数交叉相关性相似性度量函数基于交互信息的相似性度量函数基于交互信息的相似性度量函数276.3.2基于特征的图像配准基于特征的图像配准基准图像描述子集合匹配图像描述子集合特征提取特征提取特征匹配参数估计图像采样匹配结果286.3.3基于最大互信息的多模图
21、象配准法基于最大互信息的多模图象配准法互信息作为一种相似性测度应用于图象配准，主互信息作为一种相似性测度应用于图象配准，主要是因为当两幅图象空间位置一致时，对应象素要是因为当两幅图象空间位置一致时，对应象素灰度的互信息最大灰度的互信息最大配准原理：对于不同的两幅配准原理：对于不同的两幅图象图象A和和B，需要定义，需要定义一个相似性测度并寻找一个空间变换关系，使得一个相似性测度并寻找一个空间变换关系，使得经过该空间变换后两幅图象间的相似性达到最大。经过该空间变换后两幅图象间的相似性达到最大。也就是使也就是使A中的每一个点在图象中的每一个点在图象B中都有唯一的点中都有唯一的点与之对应，并且这两个点
22、对应同一个解剖与之对应，并且这两个点对应同一个解剖位置。位置。29相似性度量相似性度量o模板匹配法是在一幅影像中选取一个的影像窗口作模板，模板匹配法是在一幅影像中选取一个的影像窗口作模板，大小通常为大小通常为55或或77，然后通过相关函数的计算来找到它，然后通过相关函数的计算来找到它在搜索图中的坐标位置。设模板在搜索图中的坐标位置。设模板T放在搜索图放在搜索图S上平移，模上平移，模板覆盖下的那块搜索图叫做子图板覆盖下的那块搜索图叫做子图Si,j，子图的中心点在，子图的中心点在S图图中的坐标中的坐标(i,j)，叫参考点。，叫参考点。 30o用以下测度来衡量用以下测度来衡量T和和Si,j的相似程度
23、：的相似程度：o根据施瓦兹不等式，根据施瓦兹不等式， ，并且在，并且在 比值为常数时取极大值为比值为常数时取极大值为1。但实际上两幅不同图像的。但实际上两幅不同图像的P值值介于介于0和和1之间，很难达到理想值。根据经验取某个阈值之间，很难达到理想值。根据经验取某个阈值P0，如果，如果P P0，则匹配成功；，则匹配成功； P P0，则匹配失败。，则匹配失败。 31输入图像输入图像提取图像的边缘特征信息提取图像的边缘特征信息计算特征点集合的互信息计算特征点集合的互信息归一化处理归一化处理 配准提取的特征图像配准提取的特征图像优化搜索优化搜索根据配准参数根据配准参数配准配准原图像原图像采用基于采用基
24、于Canny算子和小波算子和小波提升变换的边缘检测方法提升变换的边缘检测方法采用归一化互信采用归一化互信息为测度息为测度采用改进的鲍威尔算法，寻采用改进的鲍威尔算法，寻找最大归一化互信息的位置找最大归一化互信息的位置改进算法的流程图改进算法的流程图东北大学东北大学32仿真实验 (a)CT图像图像 (b)MRI图像图像 (c) 最大的最大的互信息配准法互信息配准法 (d) 所提方所提方法法33CT/MRI图像各配准方法的配准参数及性能比较图像各配准方法的配准参数及性能比较 传统的互信息配准方法所提方法RMSE19.4315.32R0.92160.9812水平和垂直偏移量（9.02 8.52）（9
25、.93 9.56）角度偏移量9.5979.96034DSA图像35脑部 MRI 的 PD、T1w 和 T2w 图像PDT1wT2w36心脏 MRI 的 T1 和 T2 图像T1T237MRA 图像38CT 与 MRI 图像的配准39同一病人在不同时间获取的 MRI 图像的配准40小结：对于医学图像，常用的方法是互信息，因为其特对于医学图像，常用的方法是互信息，因为其特征不明显。征不明显。对于模板匹配，常用的方法是互相关。对于模板匹配，常用的方法是互相关。416.4 6.4 医学医学医学医学图象配准的评估图象配准的评估图象配准的评估图象配准的评估 1.1.1.1.体模体模体模体模软体模与硬体模软
26、体模与硬体模软体模与硬体模软体模与硬体模2.2.2.2.准标法准标法准标法准标法423. 3.图谱图谱图谱图谱(atlas) (atlas) 4. 4.目测目测目测目测检验检验检验检验(visual inspection) (visual inspection) 43配准算法评价精度精度 配准过程中很容易引入各种各样的配准过程中很容易引入各种各样的误差误差,而且而且很难区分是由配准算法引起的很难区分是由配准算法引起的,还是由图像间的还是由图像间的固有差异引起的。在评估配准精度时固有差异引起的。在评估配准精度时,主要将误主要将误差分为差分为3类类:位置误差位置误差、匹配误差匹配误差和和对齐误差对
27、齐误差。位置误差是指由不精确检测引起的控制点坐标偏移位置误差是指由不精确检测引起的控制点坐标偏移 。匹配误差则是指在候选控制点之间建立匹配关系时误匹配误差则是指在候选控制点之间建立匹配关系时误匹配的控制点对数目匹配的控制点对数目 。 对齐误差是指配准过程中采用的变换模型和图像真实对齐误差是指配准过程中采用的变换模型和图像真实畸变畸变(包括比例缩放、旋转、平移以及传感器影响等包括比例缩放、旋转、平移以及传感器影响等)之之间的差异间的差异 。44鲁棒性鲁棒性 鲁棒性是指如果让输入图像有一点小的变动鲁棒性是指如果让输入图像有一点小的变动, ,配配准算法还能收敛到相同的结果准算法还能收敛到相同的结果。
28、自动化自动化 自动化指配准算法的自动化执行程度自动化指配准算法的自动化执行程度, ,包括人包括人 工、工、半自动、自动半自动、自动3 3种形式。种形式。 45实时性实时性 只有满足实时性要求只有满足实时性要求, ,配准结果才具有实际配准结果才具有实际应用价值。实时性研究涉及资源需求和算法的复应用价值。实时性研究涉及资源需求和算法的复杂度。杂度。可靠性可靠性 在实际应用中在实际应用中, ,要注意满足不同算法的前提要注意满足不同算法的前提约束条件。若给定算法所需要的输入条件约束条件。若给定算法所需要的输入条件, ,配准配准结果应该和理论上计算的一样结果应该和理论上计算的一样, ,即算法具有较强即算
29、法具有较强的容错性。的容错性。466.4 图像融合实例图像融合实例4760.980.98 mm60.980.98 mm60.980.98 mm60.980.98 mm50.570.57mm50.570.57mm脑部星细胞瘤脑部星细胞瘤(astrocytoma)(astrocytoma)检查的原始图像检查的原始图像CTCTT1 wT1 wT2 wT2 w5.13.383.38mm5.13.383.38mmPETPET48PETPET 图像与图像与 MRMR 图像重叠显示图像重叠显示绿色对应低水平糖代谢绿色对应低水平糖代谢绿色对应低水平糖代谢绿色对应低水平糖代谢(glucose metabolism)(glucose metabolism)红色对应高水平糖代谢。红色对应高水平糖代谢。红色对应高水平糖代谢。红色对应高水平糖代谢。低于某阈值的低于某阈值的低于某阈值的低于某阈值的PETPET图像被略去。图像被略去。图像被略去。图像被略去。图中可以清晰看到肿瘤和瘤腺体。图中可以清晰看到肿瘤和瘤腺体。图中可以清晰看到肿瘤和瘤腺体。图中可以清晰看到肿瘤和瘤腺体。49利用利用 CTA CTA 最大密度像与最大密度像与 DSA DSA 融合标识动脉瘤融合标识动脉瘤50DSA图像的三维重建显示与融合51
