《信息融合技术分析》由会员分享，可在线阅读，更多相关《信息融合技术分析（59页珍藏版）》请在金锄头文库上搜索。
1、智能信息处理系列讲座 信息融合技术 InformationFusion 合肥工业大学图像信息处理研究室Tel 2901393Email images 胡良梅 主要内容 信息融合概述D S证据理论应用实例研究现状和发展方向参考文献 色 香 味 视觉 嗅觉 味觉 经验知识 望 闻 问 切 视觉 听觉 触觉 专家知识 人脑的信息融合功能 人类本能地具有将人体的各种功能器官 眼 耳 鼻 四肢 所探测的信息 景物 声音 气味和触觉 与先验知识进行综合的能力 以便对周围的环境和正在发生的事件做出估计 这一处理过程是复杂的 也是自适应的 它将各种信息 图像 声音 气味 物理形状 描述 转化成对环境的有价值的
2、解释 1 信息融合概述 融合 Fusion 采集并集成各种信息源 多媒体和多格式信息 从而生成完整 准确 及时和有效的综合信息过程研究领域 智能信息处理技术优势应用综合性横断学科 技术优势 可扩展系统的时间和空间覆盖范围可增加系统的信息利用率可提高经融合的信息的可信度和精度可增强对目标物的检测与识别能力可降低系统的投资 应用 军事应用自动目标识别 自动导航 遥感 战场监视和自动危险识别系统非军事应用智能交通系统 工业过程监视 工业机器人及智能仪器系统 金融系统 图像分析与理解 医学应用 自动目标识别 包括生物特征认证 综合性横断学科 数字信号处理统计估算控制理论人工智能经典数学方法 1 1基本
3、原理 充分利用多个传感器资源 通过对这些传感器及其观测信息的合理支配和使用 把多个传感器在时间或空间上的冗余或互补信息依据某种准则来进行组合 以获得被测对象的一致性解释或描述 使该信息系统由此而获得比它的各组成部分的子集所构成的系统更优越的性能 其它术语 相关 Correlation 合成 Integration 混合 Commixture 合并 Merging 协同 Synergy 生物特征识别系统 多传感器 即利用不同的传感器来提取同一生物特征的信号 多种生物特征系统 如人脸和指纹的结合 同一生物特征的不同部分 如双手 十指或两只虹膜的结合 同一生物特征的不同样本 如同一手指的不同指印 同
4、一生物特征输入信号的多个特征和匹配算法的结合 多模态 1 2信息融合的方法和技术 相关技术估计理论识别技术 1 物理类型类识别技术 2 参数分类识别技术 3 认知模型类识别技术 Texonomyofdetection classfication andidentificationalgorithms 1 3融合的层次结构 数据层融合特征层融合 1 目标状态融合 2 目标特性融合决策层融合其它 数据层融合 直接在采集到的原始数据层上进行融合 在各种传感器的原始测报未经预处理之前就进行数据的综合与分析 低层次的融合应用 多源图像复合 图像分析与理解 同类 同质 雷达波形的直接合成方法 经典的检测和
5、估计方法难点 图像配准 Registration 特征层融合 目标状态融合目标特性融合 先对来自传感器的原始信息进行特征提取 特征可以是目标的边缘 方向 速度等 然后对特征信息进行综合分析和处理 目标状态融合 应用 目标跟踪领域方法 卡尔曼滤波和扩展卡尔曼滤波 目标特性融合 应用 模式识别问题方法 模式识别的相应技术 如参数模板法 特征压缩和聚类算法 K阶最近邻 神经网络 模糊积分 决策层融合 每个传感器在本地完成预处理 特征抽取 识别或判决等处理 建立对所观察目标的初步结论 然后通过关联处理 决策层融合判决 最终获得联合推断结果方法 贝叶斯推断 D S证据推理理论 模糊集理论 专家系统方法
6、人工神经网络应用 目标识别 说明 对于特定的应用选择在哪一个层次进行融合是一个系统工程问题 需要综合考虑通信带宽 信源的特点 可用的计算资源等方面的因素影响 不存在能够适用于所有情况或应用的普遍结构 生物特征认证系统 FU fusionmoduleMM matchingmoduleDM decisionmodule 多模态 特征层融合 信度层融合 决策层融合 1 4体系结构 集中式融合 centralizedfusion 多个传感器提供的数据在融合处理器中进行关联 相关 跟踪 估计分类等操作自主式融合 autonomousfusion 每个传感器独立地进行输入信号的特征提取 目标分类 确认和跟
7、踪 将输入到融合处理器混合式融合 hybridfusion 集中式融合 每个传感器向融合处理器提供预处理的数据 再对数据进行关联或相关以确定哪些传感器的观测是针对同一物理实体或目标的 一旦做出观测数据的关联 就对数据进行融合 自主式融合 每个传感器进行单源 SingleSource 位置估计 得到一个状态向量 即每个传感器都根据它自己的观测数据对目标的位置和速度做出一个估计 然后根据这些状态向量通过信息融合程序获得基于多传感器的联合状态向量估计 混合式融合 具有最大的灵活性 但要求对融合过程进行全局的监视以及在原始数据融合和状态向量融合之间进行选择和切换 说明 如何在这几种体系结构中进行选择从
8、原则上说是系统工程问题 不存在对于任何一个具体的信息融合应用都满足最优化要求的单一结构 在进行融合体系结构的选择时必须综合考虑计算资源 可用的通信带宽 精度要求 传感器的能力以及可用的资金成本等多方面的因素 2 D S证据理论 D S证据理论是在A P Dempster于1967年提出的 上 下概率 及其合成规则的基础上 由G Shafer在其1976年出版的专著 证据的数学理论 中建立的 20世纪80年代 它就在人工智能领域引起了广泛的应用 逐渐发展为一类重要的不确定性推理方法 可用于目标检测 分类和识别 基本概念 基本概率赋值置信度似真度 鉴别框架 命题A的D S不确定性区间 Dempst
9、er准则 例 D S证据理论的特点 依靠证据的积累 不断地缩小假设集能够将 不知道 和 不确定 区分开来要求每个证据是相互独立的关键 每个证据体对命题的基本概率赋值 3 应用实例 图像融合多模态生物特征识别形状识别 3 1图像融合 采用特定的算法将两幅或多幅图像中的信息合并起来 生成新的图像 如可见光图像和红外图像的融合 以及可见光或红外遥感图像与合成孔径雷达图像的结合等 包括像素层 特征层和决策层的融合 图像融合算法考虑如何结合来自源图像的信号 像素或特征从而产生一幅融合的图像 是图像融合系统的核心 其他处理过程也会系统的成功与否及其性能产生决定性的影响 Imageregistration
10、Pre processing Post processing 基于小波变换的特征层图像融合实例 基于小波变换的图像融合 Waveletfusion Image1Image2FusedImage 读目标图像 得T r g b 读源图像 得S r g b 将RGB值转换成互不关联的luv空间值 记作T l u v 将RGB值转换成互不关联的luv空间值 记作S l u v 对S l u v 进行亮度处理再采样 并计算每一采样点在其7x7邻域内的平均值和标准偏差 匹配 匹配后目标图像的luv值f l u v T l S u S v 并转换成RGB 得伪彩色图像 计算每一像素在其7x7邻域内的平均值和
11、标准偏差 流程图 夜视图像彩色化融合算法 目标图像a 源图像1 伪彩色图像1 实验结果 常用的图像融合算法 像素级加权平均法多分辨率方法之金字塔分解高斯金字塔拉普拉斯金字塔对比度金字塔融合低通比率金字塔融合多分辨率方法之小波变换方法 图像融合 图像分割 胡良梅 高隽 安良 胡勇 基于D S证据理论的模糊聚类图像融合分割 合肥工业大学学报 27 7 721 724 2004安良 模糊理论及其在图像分割中的应用研究 合肥工业大学计算机与信息学院硕士学位论文 2003思路 对图像的点灰度特征和块灰度特征分别进行模糊C均值聚类 将各自的模糊隶属度转化为单一假设或复合假设并得到其基本概率赋值 再利用D
12、S证据理论进行融合分割 实验结果表明该算法的分割效果优于传统的模糊聚类分割算法 基于D S证据理论的模糊聚类图像分割算法 FCM FCM ImageFusion Edgedetection HULiangmei GAOJun HEKefeng XIEZhao ImageFusionUsingD SEvidenceTheoryandANOVAMethod Proceedingsofthe2005IEEEInternationalConferenceonInformationAcquisition HongKongandMacau China June27 July3 2005 427 431Pr
13、oblem ANOVAmethodissomehowsensitivetothresholdcoefficientkandmightnoteliminatethisuncertaintyfrominformationofsingleoriginalimagealone EdgedetectionbasedonD SEvidenceTheoryandANOVAMethod Experimentalresult twooriginalout of focusclockimages 多模态生物特征认证 胡勇 高隽 胡良梅 一种基于手形和指纹的多模态生物特征识别系统 第十三届全国神经网络学术大会 北京
14、 人民邮电出版社 2003 360 363思路 以指纹图像的方向场和手形图像的特征为基础构建了一种多模态生物特征识别系统 该系统分别使用硬C均值聚类和模糊Knn方法作为识别层 以决策模板方法对多模态的信息进行融合 仿真实验结果表明 该系统具有较高的识别率和拒伪率 基于指纹和手形的多模态生物特征识别系统框图 多分类器的形状识别 HULiangmei GAOJun WANGAndong HUYong ANeuralNetworkShapeRecognitionSystemBasedonD STheory TheIEEE6thInternationalConferenceOnIntelligentT
15、ransportationSystems Shanghai China 524 528 Oct 12 15 2003KeyWords D STheory RBFN ShapeRecognition Networkstructure LayerL1 composedofnunits computesthesimilarityoftheinputpatternXandnprototypepatterns LayerL2computestheBBA BasicBeliefAssignment associatedwithprototypepatterni LayerL3combinesthenBBA
16、saccordingtoDempster sRule 神经网络分类器 基于D S证据理论的 4研究现状和发展方向 4 1研究现状国际 从1973年开始迅速发展 1985年以来 先后出版了10余部有关信息融合方法的专著 国内 80年代末开始出现有关多传感器信息融合技术研究的报导 90年代初 这一领域在国内才逐渐形成高潮 美国是信息融合技术起步较早 发展最快的国家 1984年成立了信息融合专家组 1988年 美国国防部把信息融合技术列为九十年代重点发展研究开发的二十项关键技术之一 且列为最优先发展的A类 1998年成立的国际信息融合学会 InternationalSocietyofInformationFusion ISIF 总部设在美国 每年举行一次信息融合国际学术大会 美国国防部自从在海湾战争实际体会到了信息融合技术的巨大潜力之后 更加重视信息自动综合处理技术的研究 在C3I Command Control CommunicationandIntelligence 中增加了计算机 建立以信息融合中心为核心的C4I Command Control Communication Comput
