《医学图像处理PPT课件》由会员分享，可在线阅读，更多相关《医学图像处理PPT课件（72页珍藏版）》请在金锄头文库上搜索。
1、谯旭旭2012-13学年第二学期学年第二学期4/12/2013控制科学与工程学院生物医学工程2010级医学图像处理Medical Imaging Processing个人简介 谯旭旭工学博士研究方向：医学图像处理，模式识别, CAD系统开发办公室（临时）：千佛山校区主楼636室联系方式:办公电话：暂无办公邮箱：本课程的学习目标控制科学与工程学院生物医学工程2010级4/12/2013本课程的学习目标控制科学与工程学院生物医学工程2010级4/12/2013第6章 图像校正与修补控制科学与工程学院生物医学工程2010级背景背景：一幅灰度图像是由在不同位置具有不同灰度的像素构成的，像素位置像素位置
2、的变化或者灰度灰度的变化会导致图像的变化。问题1：如果图像发生了改变，如何修复图像？问题2：相关图像恢复的技术有哪些？这些技术的原理是怎样的？4/12/2013目 录控制科学与工程学院生物医学工程2010级1.图像仿射变换2.几何失真校正3.图像修复4.区域填充（*）4/12/20134/12/2013控制科学与工程学院生物医学工程2010级图像的仿射变换图象坐标变换控制科学与工程学院生物医学工程2010级坐标变换示例：平移变换 4/12/2013控制科学与工程学院生物医学工程2010级平移变换的矩阵表达 4/12/2013图象坐标变换控制科学与工程学院生物医学工程2010级旋转变换（绕X轴，
3、Y轴，Z轴） 4/12/2013图象坐标变换坐标变换讨论控制科学与工程学院生物医学工程2010级变换级连对一个坐标为 v 的点的平移、放缩、绕 Z 轴旋转变换可表示为：用单个变换矩阵的方法可对点矩阵v 变换 这些矩阵的运算次序一般不可互换4/12/2013坐标变换讨论控制科学与工程学院生物医学工程2010级变换的推广3-点映射变换：将一个三角形映射为另一个三角形，而将一个矩形映射为一个平行四边形 拉伸（stretch）和剪切（shearing）变换 4/12/2013坐标变换讨论控制科学与工程学院生物医学工程2010级坐标变换反变换 4/12/2013仿射变换控制科学与工程学院生物医学工程20
4、10级仿射（affine）变换常看作是一种特殊的投影（projective）变换q = Hp 4/12/2013投影变换控制科学与工程学院生物医学工程2010级投影变换通用的非奇异齐次线性变换A是一个22的非奇异矩阵，t是一个21的矢量，而矢量v = v1, v2T 变换可用8个独立的参数表示一个投影变换共有8个自由度（degrees of freedom，dof），可根据4组点的对应性来计算 4/12/2013一般仿射变换 控制科学与工程学院生物医学工程2010级仿射变换一个非奇异线性变换接上一个平移变换一个平面上的仿射变换有6个自由度 4/12/2013一般仿射变换 控制科学与工程学院生物
5、医学工程2010级仿射变换线性分量A可考虑成两个基本变换的组合：旋转和非各向同性放缩 ：4/12/2013一般仿射变换 控制科学与工程学院生物医学工程2010级仿射变换的性质：(1)仿射变换将有限点映射为有限点(2)仿射变换将直线映射为直线(3)仿射变换将平行直线映射为平行直线(4)当区域P和Q是没有退化的三角形（即面积不为零），那么存在一个唯一的仿射变换A可将P映射为Q，即Q = A(P)4/12/2013特殊仿射变换 控制科学与工程学院生物医学工程2010级1.相似变换s ( 0)表示各向同性放缩，R是一个特殊的2 2正交矩阵（RTR = RRT = I），对应这里的旋转。典型特例为纯旋转
6、（此时t = 0）和纯平移（此时R = I） 4/12/2013特殊仿射变换 控制科学与工程学院生物医学工程2010级1.相似变换保形性（保持形状）或保角性 相似变换可以保持两条曲线在交点处的角度 平面上的相似变换有4个自由度，所以可根据2组点的对应性来计算（没有非各向同性放缩 ） 4/12/2013特殊仿射变换 控制科学与工程学院生物医学工程2010级2.刚体变换(等距变换)刚体变换T能保持区域中两个点间的所有距离给定两个点p1, p2 P，距离d1,2 = dist(p1, p2)，那么必有distT(p1), T(p2) = d1,2 相似变换中的 s = 1 4/12/2013特殊仿射
7、变换 控制科学与工程学院生物医学工程2010级3.欧氏变换欧氏变换可表达刚体的运动（平移和旋转的组合）。一个欧氏运动是先旋转（可看作特殊的正交变换）后平移的组合所有区域都可以认为是全等的 4/12/2013特殊仿射变换 控制科学与工程学院生物医学工程2010级4.等距变换刚体变换和欧氏变换可集合在等距变换之下等距（isometry）指在2-D空间保持欧氏距离（iso表示相同，metric表示测度）e = 1，那么等距还能保持朝向且是欧氏变换。e = 1，将反转朝向，即变换矩阵相当于一个镜像与一个欧氏变换的组合 4/12/2013变换的层次 控制科学与工程学院生物医学工程2010级平行的直线变成
8、会聚的直线圆环变成椭圆平行或垂直的直线仍具有相同的相对朝向圆环和正方形都不变化形状仿射变换相似变换4/12/20134/12/2013控制科学与工程学院生物医学工程2010级几何失真校正几何失真校正 控制科学与工程学院生物医学工程2010级l 空间变换 图象平面上的象素进行重新排列以恢复原空间关系 l 灰度插值 对空间变换后的象素赋予相应的灰度值以恢复原位置的灰度值 4/12/2013空间变换 控制科学与工程学院生物医学工程2010级模型图象f (x, y)受几何形变的影响变成失真图象 g(x, y ) 线性失真（非线性）二次失真 4/12/2013空间变换 控制科学与工程学院生物医学工程20
9、10级约束对应点方法在输入图（失真图）和输出图（校正图）上找一些其位置确切知道的点，然后利用这些点建立两幅图间其它点空间位置的对应关系 选取四边形顶点四组对应点解八个系数 g(x, y)灰度插值 控制科学与工程学院生物医学工程2010级w用整数处的象素值来计算在非整数处的象素值w(x, y)总是整数，但(x, y )值可能不是整数 最近邻插值 也常称为零阶插值 将离(x, y )点最近的象素的灰度值作为(x, y )点的灰度值赋给原图(x, y)处象素 灰度插值 控制科学与工程学院生物医学工程2010级前向映射 一个失真图的象素映射到不失真图的四个象素之间最后灰度是由许多失真图象素的贡献之和决
10、定 灰度插值 控制科学与工程学院生物医学工程2010级后向映射 实际失真图中四个象素之间的位置对应不失真图的某个象素，则先根据插值算法计算出该位置的灰度，再将其映射给不失真图的对应象素 灰度插值 控制科学与工程学院生物医学工程2010级双线性插值 利用(x, y )点的四个最近邻象素A、B、C、D，灰度值分别为g(A)、g(B)、g(C)、g(D) 4/12/2013控制科学与工程学院生物医学工程2010级图像修复图像修复Bertalmio2000年首次提出“图像修补（imageinpainting）”利用损坏图像已知信息，按照一定规则对损坏区域进行填补，其目的是使修复够图像接近或达到原图像的
11、视觉效果。缺少足够信息保证唯一正确的修复结果，因此是一个病态问题，解的合理性取决于人类视觉系统的接受程度。旧照片修复OldPhotoRestoration几种图像修复实例字幕去除TextRemoval目标物去除 Object Removal视觉认知规律结构性结构型轮廓在感知中的作用最为明显，断断续续的线条出现，大脑将其连接成一个整体。相似性对于未知区域的信息，大脑根据相似性原理，使用其邻域的信息进行推断，把类似的物体组合在一起。结构优先结构在视觉感知中作用更重要，结构修复优先保持整体图像一致性，否则先进行纹理填充会出现细节相似但整体产生偏差的情况纹理一致纹理并不被大脑所重视，如果不仔细观察，则
12、被看成是相似物体，而不会主动分辨其中细节，因此，修复纹理时只要不出现不同于当前纹理的新信息，大脑就不容易察觉。图像修复经典方法图像修复方法变分PDE模型基于纹理修复偏微分方程方法变分方法纹理合成方法特征匹配基于结构修复基于学习修复一. 基于结构的修复方法模拟微观修复机制模拟微观修复机制BSCB模型Bertalmio（2000）依据手工修复的经验，将边缘信息沿着等照度线方向扩散到待修复区域内。修复结果存在问题算法时间复杂度太高，执行速度非常慢对大的缺陷区域的修复，效果不好稳定性不好，有时会导致修复图像视觉效果不好容易受到噪声干扰，影响等照度线方向的判断整体变分模型模拟宏观修复机制模拟宏观修复机制
13、1.1.整体整体变分（分（TVTV）模型）模型Chan&Shen（2001）“最佳猜测”原理与贝叶斯框架理论图像修复问题是一个贝叶斯问题u：原始图像u0：破损图像P(u0|u)：似然项（数据模型），依赖观测数据P(u)：先验项（图像模型），反映主观自然性评价TV模型 D：待修补区域 E：待修补区域的外邻域 I：原始图像 I0：破损图像第一项是为了使待修复区域及其边界尽可能的平滑第二项是保持修复结果与原图的一致性由变分原理，最小化上式等价于求解对应的Euler-Lagrange方程整体变分模型实质为各向异性扩散方程物理意义：如果当前点与邻点的梯度较小，即差别较小时，具有较高的扩散系数，会与邻点相
14、平滑；如果差别较大，那么扩散系数较低，则基本保持当前点的值。整体变分模型缺点：不满足“连接性准则”，扩散强度仅依赖于等照度线的对比度或强度，不依赖于等照度线的几何信息。整体变分模型基于曲率基于曲率驱动扩散散（Curvature-DrivenDiffusion,CDD）方法方法加入等照度线几何信息曲率加入曲率信息，大曲率处扩散强度大，小曲率处扩散逐渐消失基于结构修复算法缺点本质上是一种信息扩散的过程，修复区域较大时，使由外边界向区域中心的信息扩散过程变得极慢，运算量剧增。扩散过程使得修复区域过于平滑，若修复区域存在丰富纹理，就会使修复区域变得模糊。分析过于局部，仅利用修复区域邻域的信息，缺少整体
15、指导。基于纹理修复与基于结构修复方法不同1.充分利用视觉认知规律的相似性原则，追求整体一致性。2.基于结构修复是通过信息扩散实现修复，是基于点的分析；基于纹理修复利用图像块之间的相似性，是基于块的分析。3.基于纹理修复是在全图搜索以寻找最匹配的块，利用信息更充分。基本思想：由为缺损区域中采样合适的图像块，复制或合成到缺损区域中，同时保证纹理结构的连续性和相似性。修复过程：搜索、匹配、合成修复优先级问题修复块优先级决定因素：1.数据项：在图像边缘数据项值较大，优先修复边缘。2.置信度：反映待修复块信息完整程度。置信度越高，块内信息缺失越少，修复可靠度越高，应优先修复。修复结果算法缺点：寻找匹配块
16、时，大多采用全局搜索方法，增大了修复时间。缺少对图像结构分析，造成局部相似整体却不和谐的结果。由于采用块匹配粘贴的缘故，在处理结构信息时，可能无法自然的拼接，产生块效应。改进：研究规则纹理的方向特性，找到图像中纹理的大致走向，沿该走向寻找匹配块，可减少搜索空间。对图像进行结构-纹理分解，分别对结构纹理进行修复。对块拼接的边界进行处理，实现无缝拼接，达到自然过渡的效果。基于学习的修复方法非学习方法：通过设定一些前提条件如平滑性假设、局部相似性假设，然后以此为基础进行修复缺点：仅适用原图少量信息，对图像中所呈现出的模式缺乏一个整体认识。基于学习的修复方法在原图的有效区域或其他图像数据库中，通过学习
17、发掘出图像的统计信息或先验概率，并通过某些优化算法如置信度传播（BP）、梯度下降法等来获得修复结果。Levin（2003）从图像统计的角度，提出学习型图像修复方法。统计学习的信息为每点的梯度幅度以及相邻点梯度的夹角：参照Markov随机场中概率函数的定义方式，将修复图像的概率函数定义为：为简化求解，定义：通过置信度扩散（BP）方法求解，得到具有最大概率函数的图像值，即为修复结果。修复结果修复结果与训练的图像密切相关，充分反映了所学习的模式特征。存在问题最优概率函数的求解复杂度较高，学习的信息较为简单，只有梯度幅度以及相邻点梯度的夹角，只能描述一些较为简单的结构（如结构拐角处的修复）。4/12/
18、2013控制科学与工程学院生物医学工程2010级区域填充区域填充区域区域指已经表示成点阵形式的填充图形，它是象素的集合。区域填充区域填充指先将区域的一点赋予指定的颜色，然后将该颜色扩展到整个区域的过程。区域填充算法要求区域是连通的基本思路：（1）将图像理解分解为结构部分和纹理部分，对结构性强的部分使用扩散方法进行填充，对纹理明显的部分借助纹理合成的技术进行填充；（2）在图像未退化部分选取样本块，用这些样本块来代替拟填充区域边界处的图像块（要接近），并逐步向拟填充区域内部递进填充本课重点回顾：放射变换的原理，性质及相关的额特殊变换的关系如何校正图像中由于采集和处理等导致的几何失真的原理和方法（空
19、间变换，灰度差值）了解和掌握图像修复技术的原理（主要掌握全变分模型）总 结课下思考与作业阅读 【区域填充】的部分课后作业：Page 149 6-2， 6-5， 6-7，6-11，6-12（不要局限于课本，多去查找资料）4/12/2013控制科学与工程学院生物医学工程2010级实 验实验：图像的几何失真校正实验目的1. 熟练掌握MATLAB图像处理工具箱中的imresize函数与imrotate函数。2. 根据自己编写的程序，选定图像进行放大或缩小，进一步理解图像缩小、放大与旋转操作的原理。imresize函数函数 imrersize函数使用由参数method指定的插值运算来改变图像的大小。me
20、thod的几种可选值： nearest（默认值）最近邻插值 bilinear双线性插值 bicubic双三次插值B = imresize(A,m)表示把图像A放大m倍B = imresize(.,method,h)中的h可以是任意一个FIR滤波器（h通常由函数ftrans2、fwind1、fwind2、或fsamp2等生成的二维FIR滤波器）。imrotate函数函数函数功能：对图像进行旋转操作。在matlab命令窗口中键入help imrotate 或 doc imrotate或lookfor imrotate可以获得该函数帮助信息。 调用格式： B = imrotate(A,angle)
21、将图像A（图像的数据矩阵）绕图像的中心点旋转angle度， 正数表示逆时针旋转， 负数表示顺时针旋转。返回旋转后的图像矩阵。 以这种格式调用该函数， 该函数默认采用最近邻线性插值（Nearest-neighbor interpolation）。旋转后的图像超出的部分填充0（黑色）。 B = imrotate(A,angle,method) 使用method参数可以改变插值算法，method参数可以为下面这三个值： nearest：最邻近线性插值（Nearest-neighbor interpolation） bilinear： 双线性插值（Bilinear interpolation） bic
22、ubic： 双三次插值（或叫做双立方插值）（Bicubic interpolation） B = imrotate(A,angle,method,bbox) 。%调用MATLAB图像处理工具箱中的imresize函数和imrotate函数对图像进行缩小、放大、%旋转变换clc,clear allI=imread(football_iverse.jpg);figure,imshow(I);title(原始图像);J=imresize(I,0.5);P=imresize(I,1.5);figure,imshow(J);title(将原图像缩小0.5倍);figure,imshow(P);title
23、(将原图像放大1.5倍);xlabel(观察发现：图像出现了马赛克现象);Q=imrotate(I,45);figure,imshow(Q);title(逆时针旋转45度后的图像);原始原始图像像处理后理后图像像图像进行缩小、放大原始原始图像像处理后理后图像像图像进行旋转%对图像像进行行隔隔行行隔隔列列采采样，把把原原图像像缩小小为原原图像像的的1/4clc,clear allI=imread(cameraman.tif);s=size(I);J=zeros(s(1)/2,s(2);%隔隔行行采采样for i=1:s(1)/2 for j=1:s(2) if mod(i,2)=0 J(i,j)
24、=I(2*(i-1)+1,j); else J(i,j)=I(2*i-1,j); end endend%隔列采样T=zeros(s(1)/2,s(2)/2);for i=1:s(1)/2 for j=1:s(2)/2 if mod(j,2)=0 T(i,j)=J(i,2*(j-1)+1); else T(i,j)=J(i,2*j-1); end endendfigure,imshow(uint8(I);title(原始图像);figure,imshow(uint8(J);title(隔行采样后的结果);figure,imshow(uint8(T);title(再隔列采样后的结果);原始原始图像
25、像处理后理后图像像原图像缩小为原图像的1/4%最小近邻插值法clc,clear allI=imread(tire.tif);s=size(I);m=1.5*s(1);n=1.5*s(2);J=zeros(m,n);for i=1:m for j=1:n J(i,j)=I(round(i/1.5),round(j/1.5); endendfigure,imshow(I);title(原始图像);figure,imshow(uint8(J);title(最小近邻插值后的图像);xlabel(长和宽各放大为原来的1.5倍);原始原始图像像处理后理后图像像最小近邻插值法上机作业依据前面所述的双双线性插性插值法法的原理，将扩大的图像的像素值反映射回原来的图像，找出对应的像素点（可能为分数点），将对应分数点上的像素值填充到扩大的图像中。确定分数点的灰度值：用分数点周围4个邻点的灰度值加权内插作为灰度校正值。根据上述思路，编写相应的MATLAB程序
