诊断学5-1讲述

《诊断学5-1讲述》由会员分享，可在线阅读，更多相关《诊断学5-1讲述（36页珍藏版）》请在金锄头文库上搜索。

1、1 第五章 贝叶斯网络 故障诊断 故障诊断领域的典型应用实例： 美国航空航天局研制的太空船推进系统的故障诊断系统。 美国国家科学研究会研制的核电站状态评估系统等。 在军事决策支持领域，贝叶斯网络已经在军事目标自动识 别、作战意图自动估计、无人自动驾驶等方面获得成功应用； 美国海军研究的一种贝叶斯网络系统，用于确定敌方来临的导 弹、飞行器或舰船，并推荐何种武器能最有效地反击正来临的 目标。 贝叶斯网络适于解决复杂系统不确定因素引起的故 障，它用概率大小表示系统各个部分之间的影响程度； 同时贝叶斯网络可进行并行推理，其速度优于故障树的 顺序搜索算法。 问题提出： 3 贝叶斯网络研究的内容： 贝叶斯

2、网络推理 贝叶斯网络学习 贝叶斯网络建造 贝叶斯网络应用 4 5.1 概 述 5.1.1 贝叶斯网络的发展历史 l贝叶斯（Reverend Thomas Bayes, 1702-1751）学派奠 基性的工作是贝叶斯的论文“关于几率性问题求解的评 论”。或许是他自己感觉到它的学说还有不完善的地方 ，这一论文在他生前并没有发表，而是在他死后，由 他的朋友发表的。著名的数学家拉普拉斯 （Laplace P. S. ）用贝叶斯的方法导出了重要的“相继律”，贝叶斯的方 法和理论逐渐被人理解和重视起来。但由于当时贝叶 斯方法在理论和实际应用中还存在很多不完善的地方 ，因而在十九世纪并未被普遍接受。 5 5

3、.1 概 述 5.1.1 贝叶斯网络的发展历史 l随着人工智能的发展，尤其是机器学习、数据挖掘等 兴起，为贝叶斯理论的发展和应用提供了更为广阔的 空间。贝叶斯理论的内涵也比以前有了很大的变化。 80年代贝叶斯网络用于专家系统的知识表示，90年代 进一步研究可学习的贝叶斯网络，用于数据采掘和机 器学年来，贝叶斯学习理论方面的文章更是层 出不穷，内容涵盖了人工智能的大部分领域，包括因 果推理、不确定性知识表达、模式识别和聚类分析等 。并且出现了专门研究贝叶斯理论的组织和学术刊物 。 6 5.1 概 述 5.1.2 贝叶斯方法的基本观点 l贝叶斯分析方法的特点是用概率去表示所有形式 的不确定性，学习

4、或其它形式的推理都用概率规 则来实现。 l贝叶斯学习的结果表示为随机变量的概率分布， 它可以解释为我们对不同可能性的信任程度。 l贝叶斯定理将事件的先验概率与后验概率联系起 来。 7 5.1 概 述 5.1.2 贝叶斯方法的基本观点 假定随机向量x，的联合分布密度是p(x, )，它们 的边际密度分别为p(x)、p()。一般情况下设x是观测 向量， 是未知参数向量，通过观测向量获得未知参数 向量的估计，贝叶斯定理记作： () 是的先验分布 (5.1) P(Q|x) 是表示X事件发生时，Q事件发生的后验概率。 8 5.1 概 述 5.1.2 贝叶斯方法的基本观点 贝叶斯方法对未知参数向量估计的一般

5、过程为： 将未知参数看成随机向量，这是贝叶斯方法与传统的参 数估计方法的最大区别。 根据以往对参数的知识，确定先验分布() 。 计算后验分布密度，做出对未知参数的推断。 在第步，如果没有任何以往的知识来帮助确定() ， 贝叶斯提出可以采用均匀分布作为其分布，即参数在它的变 化范围内，取到各个值的机会是相同的，称这个假定为贝叶 斯假设。 9 5.1 概 述 5.1.3 贝叶斯网络的应用领域 l 辅助智能决策 l 数据融合 l 模式识别 l 医疗诊断 l 文本理解 l 数据挖掘 1. 贝叶斯方法用于分类及回归分析 2. 用于因果推理和不确定知识表达 3. 用于聚类模式发现 5.1.3 贝叶斯概率基

6、础 5.1.3.1 概率论基础 概率论是研究随机现象规律性的数学。随机现象是指在 相同的条件下，其出现的结果是不确定的现象。随机现象又 可分为个别随机现象和大量的随机现象。对大量的随机现象 进行观察所得到的规律性，被人们称为统计规律性。 在统计上，我们习惯把一次对现象的观察、登记或实验 叫做一次试验。随机性实验是指对随机现象的观察。随机试 验在完全相同的条件下，可能出现不同的结果，但所有可能 结果的范围是可以估计的，即随机试验的结果具有不确定性 和可预计性。在统计上，一般把随机实验的结果，即随机现 象的具体表现称为随机事件，简称事件。 随机事件是指试验中可能出现，也可能不出现的结果。 11 5

7、.2 贝叶斯概率基础 5.1.3.2 概率论基础 定义1 统计概率 若在大量重复试验中，事件 A发生的频率稳定地接近于一个固定的常数p，它表 明事件A出现的可能性大小，则称此常数p为事件A 发生的概率，记为P(A), 即 pP(A) 可见概率就是频率的稳定中心。任何事件A的概率 为不大于1的非负实数，即 0P(A)1 12 定义2 古典概率 我们设一种试验有且仅有有限 的N个可能结果，即N个基本事件，而A事件包含着K 个可能结果，则称K/N为事件A的概率，记为P(A)。 即 P(A)K/N 定义3 几何概率 假设是几何型随机试验的基 本事件空间，F是中一切可测集的集合，则对于F 中的任意事件A

8、的概率P(A)为A与的体积之比，即 P(A)V(A)/V() 13 定义4 条件概率 我们把事件B已经出现 的条件下，事件A发生的概率记做为P(A|B)。 并称为在B出现的条件下A出现的条件概率， 而称P(A)为无条件概率。 若事件A与B中的任一个出现，并不影响 另一事件出现的概率，即当 P(A)P(AB)或P(B)P(BA)时， 则称A与B是相互独立的事件。 14 5.1.3 贝叶斯概率基础 定理1 加法定理 两个不相容(互斥)事件 之和的概率，等于两个事件概率之和，即 P(A+B)P(A)P(B) 两个互逆事件A和A-1的概率之和为1。即当 A+A-1，且A与A-1互斥，则P(A)P(A-

9、1) 1， 或常有P(A) 1P(A-1) 。 若A、B为两任意事件，则 P(A+B)P(A)P(B)P(AB) 15 定理2 乘法定理 设A、B为两个不相容 (互斥)非零事件，则其乘积的概率等于A和B概 率的乘积，即 P(AB)P(A)P(B) 或 P(AB)P(B) P(A) 设A、B为两个任意的非零事件，则其乘 积的概率等于A(或B)的概率与在A(或B)出现 的条件下B(或A)出现的条件概率的乘积。 P(AB)P(A)P(B|A) 或 P(AB)P(B)P(A|B) 16 5.1.3 贝叶斯概率基础 5.1.3.3 贝叶斯概率 (1) 先验概率。先验概率是指根据历史的 资料或主观判断所确

10、定的各事件发生的概率， 该类概率没能经过实验证实，属于检验前的概 率，所以称之为先验概率。先验概率一般分为 两类，一是客观先验概率，是指利用过去的历 史资料计算得到的概率；二是主观先验概率， 是指在无历史资料或历史资料不全的时候，只 能凭借人们的主观经验来判断取得的概率。 17 (2) 后验概率。后验概率一般是指利用贝 叶斯公式，结合调查等方式获取了新的附加 信息，对先验概率进行修正后得到的更符合 实际的概率。 (3) 联合概率。联合概率也叫乘法公式， 是指两个任意事件的乘积的概率，或称之为 交事件的概率。 该公式于1753年由贝叶斯(Bayes)给出。它 是在观察到事件A已发生的条件下，寻找

11、导致A 发生的每个原因的概率。 (4)贝叶斯公式。贝叶斯公式也叫后验概率公 式，亦叫逆概率公式，其用途很广。设先验概率为 P(Bi)，调查所获的新附加信息为P(Aj|Bi) (i=1,2,n; j=1,2,m), 则贝叶斯公式计算的后验概率为 19 l基于条件概率的定义 lp(Bi|Aj) 是在给定证据下的后验概率 lp(Bj) 是先验概率 lP(Ak|Bi) 是在给定Ai下的概率 5.2贝叶斯网络 1.定义： 一个贝叶斯网络是一个有向无 环的图形结构，由代表变量的节点及 连接这些节点的有向边构成，其中节 点表示问题域的随机变量，有向边表 示节点间的依赖关系，有向边由父节 点(双亲节点)指向子

12、节点(后代节点) ，用单线箭头表示，对应于每个节点 有一个条件概率描述，定量表达了该 节点同其父节点间的相关关系。 V1 V2 V3 V5 V4 V6 图-贝叶斯网络结构 (1)一个具有N个节点的有向无环图G。 图中的节点代表随机变量，节点间的有 向边代表了节点间的相互关系。节点变 量可以是任何问题的抽象，如故障假设 、测试值、观测现象、意见征询等。 2.组成 (2)一个与每个节点相关的条件 概率表。条件概率表达了节点同 其父节点的相关关系。没有任何 父节点的节点的条件概率为其先 验概率。 (3)如图变量的联合概率： 22 3.贝叶斯网络具有如下特点： (1)坚实的理论基础。 (2)强大的知识

13、表达能力。 (3)灵活的学习机制。 (4)灵活的推理能力和直观清晰的推理结果。 (5)有效的信息处理能力。 23 5.3贝叶斯网络学习 目标是通过对样本数据的学习，获得最能匹配样本数据集的贝叶斯网 络结构及其参数。在故障诊断领域，贝叶斯网络一般为因果网络，因果网 络的学习需要结合先验知识和统计数据。 (1)数据完备、结构已知。 (2)数据不完备、结构已知。 (3)数据完备、结构未知。 (4)数据不完备、结构未知。 5.3.1 参数学习 贝叶斯网络的参数学习是在已知网络结构的条件下，学习 每个节点的条件概率分布表。 贝叶斯网络的条件概率学习问题可以归结为统计学中的参 数估计问题。在大部分的实际应

14、用领域中，概率信息可以通过 多种方式获得，包括从统计数据中学习、从文献中查阅、咨询 领域专家。 24 (1)最大似然估计法(MLE)。 最大似然估计法基于传统的统计分析思想，依据样本与 参数的似然程度来评判样本与模型的拟合程度。当样本数据 集中的样本数据不够多时，最大似然估计往往不够可靠。 (2)最大后验概率法(MAP)。 最大后验概率法基于贝叶斯学习理论，与传统的统计方 法最大的差别在于两者对不确定性的看法上，后者把概率简 单地看作是频率的无限逼近，而前者认为不确定性是人们对 事物的一种认知程度，这种认知程度是由原来的主观知识和 观察到的现象共同决定的，对未知参数矢量的估计综合了它 的先验信

15、息和样本信息。 1完备数据的参数学习 25 (1) EM算法 EM方法是一种从不完备数据集中计算最大似然估计和 最大后验估计的通用方法。 步骤如下： (a)初始化。随机为Q赋初值。 (b)求期望。计算每个可能事件在Q条件下发生的期望统 计因子。 (c)取最大。按照期望充分因子把不完备数据Q转换成完 备数据样本。 (d)如果达到精度要求，则算法结束，否则返回步骤(b)。 (2)梯度上升算法 是计算函数极大值的数学方法。 （3）蒙特卡诺方法 利用已有数据推断丢失的数据从而建立完整的数据库。 2不完备数据的参数学习 26 5.3贝叶斯网络学习 5.3.2 结构学习 贝叶斯网络结构学习就是尽可能结合先

16、验知识，找到和样 本数据拟合的最好的网络拓扑结构（指网络中各个站点相互连 接的形式）。 1完备数据的结构学习 （1）基于评分搜索的方法 基于评分搜索的方法是对可能的网络结构空间进行搜索， 根据某一评价函数对搜索到的每一个网络进行评分，并选取得 分最高的网络结构作为学习目标。 （2）基于依赖分析的方法 基于依赖分析的方法把贝叶斯网络结构看作是编码了变量 间条件独立关系的结构，通过学习变量之间独立性关系来确定 网络结构。 27 5.3贝叶斯网络学习 2不完备数据的结构学习 在现实世界中，大部分数据都包含缺失数据，贝叶斯网络 的优点之一就是具有在数据不完备情况下进行推理的能力。（ 1）缺失数据情况下的贝叶斯网络结构学习 现有的研究主要是基于打分的方法。数据的缺失导致两方 面问题的出现，一方面，打分函数不再具有可分解形式，不能 进行局部搜索；另一方面，一些充分统计因子不存在，无法直 接进行结构