贝叶斯网络教学ppt论文专用

《贝叶斯网络教学ppt论文专用》由会员分享，可在线阅读，更多相关《贝叶斯网络教学ppt论文专用（33页珍藏版）》请在金锄头文库上搜索。

1、第7章 贝叶斯网络*1数据仓库与数据挖掘贝叶斯网络是20世纪80年代发展起来的，最早由 Judea Pearl于1986年提出，多用于专家系统，成为表示 不确定性知识识和推理问题问题 的流行方法。贝叶斯网络最早起源于贝叶斯统计分析，它是概率理 论论和图论图论 相结结合的产产物。本章通过引例讨论贝叶斯网络需要解决的问题；介绍 贝叶斯概率基础；对贝叶斯网络进行概述；讲解贝叶斯 网络的预测、诊断和训练算法；讲述SQL Server 2005中贝叶斯网络的应用方法。27.l 引例先看一个关于概率推理的例子。图71中有6个结点：参加晚 会(party，PT)、宿醉(hangover，HO)、患脑瘤(br

2、ain tumor，BT) 、头疼(headache，HA)、有酒精味(smell alcohol，SA)和X射线检 查呈阳性(posxray，PX)。可以把图71想象成为这样一个场景： 一个中学生回家后，其父母猜测她参加了晚会，并且喝了酒；第二 天这个学生感到头疼，她的父母带她到医院做头部的X光检查图71 基于结点间概率关系的推理 3通过长期的观察，或者从别人那里了解，这个中学生的父母知道他 们的女儿参加晚会的概率。通过长时间的数据积累，他们也知道他们的 女儿参加晚会后宿醉的概率。因此，结点party和结点hangover之间有一 条连线。同样，有明显的因果关系或相关关系的结点之间都有一条连

3、线 ，并且连线从原因结点出发，指向结果结点。针对图71所示的网络，有许多问题需要解决。例如:1)如果父母已知他们的女儿参加了晚会，那么第二天一早，她呼出的 气体中有酒精味的概率有多大?也就是说，当party发生时，smell alcohol发生的概率有多大?2)如果他们的女儿头疼，那么她患脑瘤的概率有多大?这时，如果他 们又知道昨晚她参加了晚会，那么综合这些情况，她患脑瘤的可能性有 多大?这两个例子都是从原因推理结果的。还有许多从结果反推原因的例子 。例如，如果父母早晨闻到他们的女儿呼出的气体中有酒精味，那么她 昨晚参加晚会的概率有多大?等等。为了系统地解决上面的各类问题，需要先掌握一定的概率

4、基础知识。472贝叶斯概率基础贝叶斯概率是贝叶斯网络运行的理论基础。就贝叶斯概率而言 ，其原理和应用都比较简单。但贝叶斯概率理论经历了长时间的波 折才被逐渐认可，直到20世纪60年代，贝叶斯概率理论才被广泛接 受并大量应用。下面将从基本的条件概率公式和全概率公式入手介 绍贝叶斯概率。 721 先验概率、后验概率和条件概率下面介绍贝叶斯概率中用到的有关概率论的基本概念。(1)先验概率。先验概率是指根据历史的资料或主观判断所确 定的各种事件发生的概率，该概率没有经过实验证实，属于检验前 的概率。(2)后验概率。后验概率一般是指通过贝叶斯公式，结合调查 等方式获取了新的附加信息，对先验概率修正后得到

5、的更符合实际 的概率。(3)条件概率。当条件确定时，某事件发生的条件概率就是该 事件的条件概率。 5例如，1号箱中有2个白球和4个红球，2号箱中有5个白球和3个红球，现随机 地从1号箱中取出一球放人2号箱，然后从2号箱随机取出一球，问从2号箱取出红 球的概率是多少?【解】令A表示事件“最后从2号箱中取出的是红球”；令B表示从1号箱 中取出的是红球。则由式(75) ： 723全概率公式设A，B是两个事件，那么A可以表示为:显然，如果P(B)，P(B)0，则:6上例采用的方法是概率论中常用的方法，为了求复杂事件的概率，往往可以把它分解成若干个互不相容的简单事件，然后利用条件概率和乘法公式，求出这些

6、简单事件的概率，最后利用概率可加性，得到最终结果，这一方法的一般化就是所谓的全概率公式。设为试验E的样本空间，A为E的事件，B1，B2，Bn为E的一组事件，若满足以下两个条件：则称B1，B2，Bn为样本空间的一个分割。若B1，B2，Bn为样本空间的一个分割，那么，对每一次试验 ，事件B1，B2，Bn必有一个且仅有一个发生。7例如，设实验E为“掷一颗骰子观察其点数”。它的样本空间=1，2，3，4，5，6)。 的一组事件B1=l，2，B2=3，4)，B3=5，6是样本空间的一个分割。而事件组B1=1，2，3)，B2=3，4)，B3=5，6)不是样本空间的一个分割，因为B1B2=3。设实验E为样本空

7、间，A为E的事件，B1，B2，Bn为的一个分割 ，且P(Bi)0，i=1，2，n,则式(76)被称为全概率公式。8【例】甲、乙、丙三人向同一飞机射击。设甲、乙、丙射中的概率分别为04，05和07。又设若只有一人射中，飞机坠落的概率为02；若有两人射中， 飞机坠落的概率为06；若有三人射中，飞机必坠落。求飞机坠落的概率。【解】记A=飞机坠落)，Bi=共i个人射中飞机)，i=1，2，3。Bi分别为：B1=(甲射中，乙丙未射中)+(乙射中，甲丙未射中)+(丙射中，甲乙未射中)B2=(甲未射中，乙丙射中)+(乙未射中，甲丙射中)+(丙未射中，甲乙射中)B3=(甲乙丙均射中)可以计算i个人射中飞机的概率

8、P(B1)=040503+060503+060507=036P(B2)=060507+040507+040503=041P(B3)=040507=014再由题设，P(A|B1)=02，P(A|B2)=O6，P(A|B3)=1。利用全概率公式9设实验E为样本空间，A为E的事件，B1，B2，Bn为的一 个分割，且P(Bi)0，i=1，2，n，则 式(77)被称为贝叶斯公式。例如，某电子设备厂所用的元件是由三家元件厂提供的，根据以 往的记录，这三个厂家的次品率分别为002，001，003，提供 元件的份额分别为015，08，005，设这三个厂家的产品在仓库 是均匀混合的，且无区别的标志。 问题1：在

9、仓库中随机地取一个元件，求它是次品的概率。问题2：在仓库中随机地取一个元件，若已知它是次品，为分析 此次品出自何厂，需求出此元件由三个厂家分别生产的概率是多少?724贝叶斯公式10=015002+080001+005003=0012 5对于问题2，由贝叶斯公式：【解】设A取到的元件是次品，Bi标识取到的元件是由第i个厂 家生产的，则P(B1)=015，P(B2)=08，P(B3)=005对于问题1，由全概率公式 ： 以上结果表明，这个次品来自第2家工厂的可能性最大， 来自第1家工厂的概率次之，来自第3家工厂的概率最小。1173 贝叶斯网络概述贝叶斯网络是一种图形模型(概率理论和图论相结合的产物

10、)，又被称为贝叶斯信念网络、因果网络，是描述随机变量(事件)之间依赖关系的 一种图形模式。是一种将因果知识和概率知识相结合的信息表示框架，使 得不确定性推理在逻辑上变得更为清晰理解性更强。已经成为数据库中 的知识发现和决策支持系统的有效方法。从大量数据中构造贝叶斯网络模 型，进行不确定性知识的发现。731 贝叶斯网络的组成和结构贝叶斯网络由网络结构和条件概率表两部分组成。贝叶斯网的网络结 构是一个有向无环图由结点和有向弧段组成。每个结点代表一个事件或 者随机变量，变量值可以是离散的或连续的，结点的取值是完备互斥的。 表示起因的假设和表示结果的数据均用结点表示。例如，图71描述的网络符合贝叶斯网

11、络的条件，是一个典型的贝叶 斯网络。127.32 贝叶斯网络的优越性贝叶斯网络的优势主要体现在以下方面。(1)贝叶斯网络推理是利用其表达的条件独立性，根据已有信息快速计算 待求概率值的过程。应用贝叶斯网络的概率推理算法，对已有的信息要求低 ，可以进行信息不完全、不确定情况下的推理。(2)具有良好的可理解性和逻辑性，这是神经元网络无法比拟的，神经元 网络从输入层输入影响因素信息，经隐含层处理后传人输出层，是黑匣子似 的预测和评估，而贝叶斯网络是白匣子。(3)专家知识和试验数据的有效结合相辅相成，忽略次要联系而突出主要 矛盾，可以有效避免过学习。(4)贝叶斯网络以概率推理为基础，推理结果说服力强，

12、而且相对贝叶斯 方法来说，贝叶斯网络对先验概率的要求大大降低。贝叶斯网络通过实践积 累可以随时进行学习来改进网络结构和参数，提高预测诊断能力，并且基于 网络的概率推理算法，贝叶斯网络接受了新信息后立即更新网络中的概率信 息。 13733 贝叶斯网络的三个主要议题贝叶斯网络的主要功能是进行预测和诊断，在贝叶斯网络工作之前， 需要对历史数据进行训练。所以，预测、诊断和训练构成了贝叶斯网络的 三个主要议题。1贝叶斯网络预测贝叶斯网络是一种概率推理技术，使用概率理论来处理在描述不同知 识成分之间的条件而产生的不确定性。贝叶斯网络的预测是指从起因推测 一个结果的推理，也称为由顶向下的推理。目的是由原因推

13、导出结果。已 知一定的原因(证据)，利用贝叶斯网络的推理计算，求出由原因导致的结 果发生的概率。2贝叶斯网络诊断贝叶斯网络的诊断是指从结果推测一个起因的推理，也称为由底至上 的推理。目的是在已知结果时，找出产生该结果的原因。已知发生了某些 结果，根据贝叶斯网络推理计算造成该结果发生的原因和发生的概率。该 诊断作用多用于病理诊断、故障诊断中，目的是找到疾病发生、故障发生 的原因。143贝叶斯网络学习贝叶斯网络学习是指由先验的贝叶斯网络得到后验的贝叶斯网络的过程。 先验贝叶斯网络是根据用户的先验知识构造的贝叶斯网络，后验贝叶斯网络是 把先验贝叶斯网络和数据相结合而得到的贝叶斯网络。 贝叶斯网络学习

14、的实质是用现有数据对先验知识的修正。贝叶斯网络能够 持续学习上次学习得到的后验贝叶斯网络变成下一次学习的先验贝叶斯网络 ，每一次学习前用户都可以对先验贝叶斯网络进行调整，使得新的贝叶斯网络 更能体现数据中蕴涵的知识。贝叶斯网络的学习关系如图72所示。图72 贝叶斯网络持续学习15贝叶斯网络模型是由网络结构和条件概率分布表(Conditional Probability Table，CPT)组成的，因此，必须通过给出贝叶斯网络的网络结构及每个结点上的CPT表来描述一个贝叶斯网络。相应地，基于贝叶斯网络的学习包括结构学习和参数学习两个内容。结构学习，即利用训练样本集，尽可能结合先验知识，确定最合适

15、的贝叶 斯网络模型结构。参数学习是在给定结构下，确定贝叶斯网络模型的参数 ，即每个结点上的CPT表。按照学习的目的以及训练样本集是否完整，可以把学习方法归为以下 几类，如表7.1所示。表71 贝叶斯网络学习算法分类表167.4 贝叶斯网络的预测、诊断和训练算法本节将从图71所示的简单贝叶斯网络的例子人手，分别介绍贝叶斯 网络的预测、诊断和训练算法。假定网络中的概率和条件概率都已经知道，也就是说网络已经训练完 毕。这些数据给出如下。 7.4.1 概率和条件概率数据图71中的Party和Brain Tumor两个结点是原因结点，没有连线以它 们作为终点。首先给出这两个结点的无条件概率，如表72所示

16、。 表72中的第二列是关于Party(参加晚会)的概率：参加晚会的概率是0 2，不参加晚会的概率是08。第三列是关于患脑瘤的概率：患脑瘤的概率 是0001，不患脑瘤的概率是0.999。下面还将给出几组条件概率，分别是PT已知的情况下HO的条件概率，如 表73所示；HO已知的情况下SA的条件概率，如表74所示；BT已知的 情况下PX的概率，如表7.5所示。表72结点PT、BT的无条件概率分布17上面三个表的结构相似，给出的都是条件概率。表73中第2列的意思是 ：当参加晚会后，宿醉的概率是07；不宿醉的概率是03。第3列的意思是 ：当不参加晚会后，不会发生宿醉的情况。对表74和表75的解释类似。表73 已知结点PT时HO的