《工学试讲图像复原与超分辨重建ppt课件》由会员分享，可在线阅读，更多相关《工学试讲图像复原与超分辨重建ppt课件（47页珍藏版）》请在金锄头文库上搜索。
1、1.聚类分析2.图象超分辨重建技术1 1主要内容uu1 聚类分析的相关概念uu2 层次聚类法uu3 k-均值聚类法uu4 ISODATA法（迭代自组织数据分析法） uu5 核函数聚类法2 21 聚类分析的相关概念 对一批没有标出类别的模式样本集，在没有训练样本情况下，按照样本之间的相似程度分类，相似的归为一类，这种分类称为聚类分析，也称为无监督分类。聚类分析定义：3 3影响聚类结果的因素uu特征的选取uu相似性测度uu聚类准则4 4相似性测度uu目的：为了能将模式集划分成不同的类别，必须定目的：为了能将模式集划分成不同的类别，必须定义一种相似性的测度，来度量同一类样本间的类似义一种相似性的测度
2、，来度量同一类样本间的类似性和不属于同一类样本间的差异性。性和不属于同一类样本间的差异性。uu欧氏距离设设x x和和y y为两个模式，其欧氏距离定义为：为两个模式，其欧氏距离定义为：D = | x - y |D = | x - y |uu马氏距离 设设x x是模式向量，是模式向量，mm是均值向量，是均值向量，C C为模式总体的协方差矩阵，为模式总体的协方差矩阵，则马氏距离的表达式：则马氏距离的表达式：5 5聚类准则uu1、误差平方和准则： 将样本分成c个子集D1, , Dc，ni为第i个子集的样本数，mi为样本均值： 误差平方和准则：6 62.散布矩阵uu类内散布矩阵：uu类间散布矩阵：uu总
3、体散布矩阵：7 7几种基于散布矩阵的散布准则8 82 层次聚类法uuStep1：每个样本为一类。uuStep2：最近的两类合并。直到到达所 设类别数或只剩一类。基本原理9 9层次聚类示意图1010层次聚类的相关问题uu应分几类？uu两类的距离？uu最近距离：uu最远距离：uu平均距离：1111层次聚类的特点uu层次聚类不用初始化聚类中心，因此聚类结果不层次聚类不用初始化聚类中心，因此聚类结果不受初始聚类中心的影响；受初始聚类中心的影响；uu需要定义类别之间的相似性度量；需要定义类别之间的相似性度量；uu当样本数比较多时，算法的计算量比较大。当样本数比较多时，算法的计算量比较大。uu聚类结果是对
4、平方误差准则函数的贪心优化结果。聚类结果是对平方误差准则函数的贪心优化结果。12123 k-均值聚类法1.1.参数初始化：样本数参数初始化：样本数n n，聚类数，聚类数c c，初始聚，初始聚类中心类中心mm1 1, , , m, mc c；2.2.执行执行 i) i)按照最近邻按照最近邻mmi i分类分类n n个样本；个样本； ii)ii)重新计算聚类中心重新计算聚类中心mm1 1, , , m, mc c； 直到直到 mmi i不再改变；不再改变；1313k-均值聚类的特点uuk-k-均值算法可以看作是对平方误差准则函数的贪均值算法可以看作是对平方误差准则函数的贪心搜索算法；心搜索算法；uu
5、聚类结果受初始聚类中心的选择影响很大，不同聚类结果受初始聚类中心的选择影响很大，不同的初始聚类中心会导致不同的聚类结果。的初始聚类中心会导致不同的聚类结果。uu如果模式样本可以形成若干个相距较远的孤立的如果模式样本可以形成若干个相距较远的孤立的区域分布，一般都能得到较好的收敛效果。区域分布，一般都能得到较好的收敛效果。 uuK-K-均值算法比较适合于分类数目已知的情况。均值算法比较适合于分类数目已知的情况。14144 ISODATA法uu与与与与K-K-K-K-均值算法的比较均值算法的比较均值算法的比较均值算法的比较uu考虑了类别的合并与分裂，最近的两类合并，类内方差大，考虑了类别的合并与分裂
6、，最近的两类合并，类内方差大，样本数多的类别进行分裂。样本数多的类别进行分裂。uuK-K-均值算法通常适合于分类数目已知的聚类，而均值算法通常适合于分类数目已知的聚类，而ISODATAISODATA算法则更加灵活；算法则更加灵活；uu从算法角度看，从算法角度看， ISODATAISODATA算法与算法与K-K-均值算法相似，聚类均值算法相似，聚类中心都是通过样本均值的迭代运算来决定的；中心都是通过样本均值的迭代运算来决定的；uuISODATAISODATA算法加入了一些试探步骤，并且可以结合成人算法加入了一些试探步骤，并且可以结合成人机交互的结构，使其能利用中间结果所取得的经验更好地机交互的结
7、构，使其能利用中间结果所取得的经验更好地进行分类进行分类1515基本算法步骤（1 1）选择某些初始值，包含类别数、各类别中心）选择某些初始值，包含类别数、各类别中心以及各类别的初始聚类。以及各类别的初始聚类。（2 2）计算各类中诸样本的距离指标函数。）计算各类中诸样本的距离指标函数。（3 3）按给定的要求，将前一次获得的聚类集进行）按给定的要求，将前一次获得的聚类集进行分裂和合并处理，从而获得新的聚类中心。分裂和合并处理，从而获得新的聚类中心。（4 4）重新进行迭代运算，计算各项指标，判断聚）重新进行迭代运算，计算各项指标，判断聚类结果是否符合要求。经过多次迭代后，若结果类结果是否符合要求。经
8、过多次迭代后，若结果收敛，则运算结束。收敛，则运算结束。1616博士期间主要工作uu1 1、基于前后向扩散的图像去噪与增强技术、基于前后向扩散的图像去噪与增强技术uu2 2、基于频谱扩展与补偿的单帧超分辨技术、基于频谱扩展与补偿的单帧超分辨技术uu3 3、两帧至多帧频域解混叠超分辨技术、两帧至多帧频域解混叠超分辨技术uu4 4、改进的、改进的Poisson MAPPoisson MAP超分辨重建技术超分辨重建技术uu5 5、改进的、改进的POCSPOCS超分辨重建技术超分辨重建技术uu6 6、PMAP/POCSPMAP/POCS融合超分辨重建技术融合超分辨重建技术uu7 7、基于、基于BPNN
9、BPNN与与RBFRBF的超分辨重建技术的超分辨重建技术uu8 8、提出一种发光标志器光学强度的计算方法（利、提出一种发光标志器光学强度的计算方法（利 用平面积分，柱面积分和圆锥积分从接收到的平面用平面积分，柱面积分和圆锥积分从接收到的平面图像像素灰度值来计算远处标志灯的发光强度）图像像素灰度值来计算远处标志灯的发光强度） 。1717参与项目uu作为主要成员之一，参与了总装作为主要成员之一，参与了总装“ “十一五十一五” ”预研项目预研项目“ “遥感图象超分辨处理技术遥感图象超分辨处理技术” ”的研究，主要负责其频空域的研究，主要负责其频空域超分辨重建技术的开发研究及其算法软件模块的设计和超分
10、辨重建技术的开发研究及其算法软件模块的设计和调试。调试。uu作为主要成员之一，参与了总装项目作为主要成员之一，参与了总装项目“ “遥感图象复原及遥感图象复原及信息增强处理系统信息增强处理系统” ”的立项工作，主要负责单帧图象复的立项工作，主要负责单帧图象复原与超分辨处理算法及软件模块的编制和调试等工作。原与超分辨处理算法及软件模块的编制和调试等工作。uu作为成员之一，参与了国家作为成员之一，参与了国家921921二期工程关键项目二期工程关键项目交会对接交会对接CCDCCD光学成像敏感器目标标志器及相机窄带干光学成像敏感器目标标志器及相机窄带干涉滤光片的研制，从事电、光、机设计中数据处理算法涉滤
11、光片的研制，从事电、光、机设计中数据处理算法的研究、计算分析及试验验证工作。的研究、计算分析及试验验证工作。18181.图像超分辨重建的概念和理论基础 uu图象超分辨重建技术是指由一帧或多帧同一目标的低分辨率图象图象超分辨重建技术是指由一帧或多帧同一目标的低分辨率图象来重建一帧高分辨率图象的技术，它不改变成像系统的来重建一帧高分辨率图象的技术，它不改变成像系统的硬件硬件。 一帧或多帧LRIs超分辨重建图像超分辨算法退化过程HR图象uu超分辨的概念超分辨的概念uu提高图象分辨率的两个途径：改善硬件设备和超分辨重建提高图象分辨率的两个途径：改善硬件设备和超分辨重建 。1919(4) (4) (4)
12、 (4) 先验信息先验信息先验信息先验信息亚像素位移(3) (3) (3) (3) 亚像素位移亚像素位移亚像素位移亚像素位移(2) (2) (2) (2) 频谱混叠理论频谱混叠理论频谱混叠理论频谱混叠理论(1) (1) (1) (1) 解析延拓理论解析延拓理论解析延拓理论解析延拓理论 若解析函数在某一有限区间上的取值已知，就会处处已知。uu理论基础理论基础2020(1)视频监控领域(2)军事遥感侦察领域(3)资源与环境的遥感应用领域(4)医学成像领域(5)其它领域uu应用领域应用领域21212. 基于频谱扩展与补偿的单帧超分辨技术u振铃出现的原因振铃出现的原因N-1klnF (k)N/202N
13、-1Nk3N/2N/20lnG (k)(a) F(k) (非欠采样) (b) G(k) (P=2) lnG1 (k)k0N-12N-1N/2-13N/2N-1N/2ln(F1(k)k0(c) F1(k) (欠采样) (d) G1(k) (P=2) 2222b) 一维抑制振铃滤波器a) 原一维归一化频谱(F(k), N=128)实际景物频谱混叠频谱c) 一维超分辨处理后的频谱u基本原理基本原理2323u抑制振铃的基础函数抑制振铃的基础函数 式中，式中，n n为为频谱点，频谱点，A A为实际的插值倍数，为实际的插值倍数，p p是与振铃程度是与振铃程度有关的控制参数。有关的控制参数。 2424A(0
14、) )A(1) )A(2) )A(3) )A(4) )A(5) )0.1322- -2.316014.9955- -44.514558.2263- -16.3361uP P值的自适应设置值的自适应设置频域振幅方差 2525uuP P值示意图值示意图2626uu频谱扩展与补偿滤波器频谱扩展与补偿滤波器2727uu一维数据实验结果一维数据实验结果a)b)c)2828uu二维图像实验结果二维图像实验结果a)b)c)2929 a)原3m的测试图象 b)处理后的图象 c)原2m的测试图象uu对对3 3米分辨率图象的实验结果米分辨率图象的实验结果-1-13030 a)原3m的测试图象 b)处理后的图象 c
15、)原2m的测试图象uu对对3 3米分辨率图象的实验结果米分辨率图象的实验结果-2-23131 a)原2m的测试图象 b)处理后的图象 c)原1.6m的测试图象uu对对2 2米分辨率图象的实验结果米分辨率图象的实验结果-1-13232uu对对2 2米分辨率图象的实验结果米分辨率图象的实验结果-2-2 a) 原2m的测试图象 b)处理后的图象 c)原1.6m的测试图象3333 3. 多帧频域解混叠超分辨重建技术 uu频域解混叠的理论基础 uu频域解混叠的数学模型 uu频域解混叠迭代计算模型 uu限制条件的突破技术 uu实验结果与分析 3434uu1、采样定理uu2、CFT与DFT的混叠关系uu3、
16、CFT与DFT的位移性质uu频域解混叠的理论基础频域解混叠的理论基础3535uu频域解混叠的数学模型频域解混叠的数学模型3636uu频域解混叠的迭代计算模型频域解混叠的迭代计算模型 3737输入图象的帧数不少于输入图象的帧数不少于4 4帧；帧；输入图象的亚像元位移满足一定的要求输入图象的亚像元位移满足一定的要求uu频域解混叠的四个限制条件频域解混叠的四个限制条件平行于坐标平行于坐标x x轴和轴和y y轴轴的帧间平移点对数不多于的帧间平移点对数不多于2 2；对称于直线对称于直线y=xy=x的帧间平移点对数不多于的帧间平移点对数不多于2.2.输入图象的噪声是加性的；输入图象的噪声是加性的；输入图象
17、的模糊是输入图象的模糊是LSILSI的。的。3838uu帧数限制条件的突破帧数限制条件的突破16帧输出LRIs一帧输入LRI单帧超分辨再采样HR图象3939uu帧间位移条件的突破帧间位移条件的突破-LR-LR帧挑选帧挑选a) 第一帧12345678910111213141516b) 第二帧171819202122232425262728293031324040图象复原(解模糊,去噪)频域解混叠超分辨算法结果IFFT计算解混叠图象频谱选择一帧图象计算图象频谱残差帧间平移参数调整低分辨率图象挑选低分辨率图象挑选44放大模式单帧超分辨44放大模式单帧超分辨频域配准算法仿遥感成像欠采样模型的再采样仿遥
18、感成像欠采样模型的再采样再采样函数判断是否满足要求不满足满足k4输入LR遥感图象1输入LR遥感图象2uu改进频域解混叠算法改进频域解混叠算法4141uu模拟实验结果模拟实验结果a)b)c)4242uu2 2米等级图像实验结果米等级图像实验结果 a) 原2m的测试图象 b)处理后的图象 c)原1.4m的测试图象4343uu3 3米等级图像实验结果米等级图像实验结果 a) 原3m的测试图象 b)处理后的图象 c)原1.7m的测试图象4444uu真实两帧输入实验结果真实两帧输入实验结果-1-1a) 第一帧输入b) 第二帧输入c)超分辨结果图像4545uu真实两帧输入实验结果真实两帧输入实验结果-2-2a) 第一帧输入b) 第二帧输入c)超分辨结果图像4646谢谢各位领导和老师！4747
