《贝叶斯网络》由会员分享，可在线阅读，更多相关《贝叶斯网络（16页珍藏版）》请在金锄头文库上搜索。
1、贝叶斯网络（）本章正式介绍不确定推理的贝叶斯网络，也叫概率网络或者信度网络。在很多应用领域 中贝叶斯网络都是一个强大的工具。1 贝叶斯网络的定义1.1 贝叶斯网络的定义贝叶斯网络是由网络节点和连接网络节点的带方向的边构成的有向无环图，或者说是一 种数据结构。网络中的每个节点都表示一个变量，并且每个变量对应一个条件概率表，整个 贝叶斯网络和其中的变量的条件概率表将变量的联合概率分布进行分解表示。所以贝叶斯网 络用于表示变量之间的依赖关系，并为联合概率分布提供了一种简明的规范。其详细描述如下：1）其所有网络节点构成一个随机变量集。变量可以是离散的或连续的。2）其连接网络节点的是有向边或箭头。如果存
2、在从节点X指向Y的有向边，则称X是Y 的一个父节点。3）其每个节点V.都有一个条件概率分布P（V.IParents（V.），量化其父节点对该节点的影响, 就是给出在父节点的条件下当前节点各种状态的出现概率。4）图中不存在有向环，因此是一个有向无环图，简写为 DAG;1.2 贝叶斯网络的一些例子例1 汽车诊断的部分贝叶斯网络交流发电机O k 99.70F aulty 0.30电池电压strong 94.72W eek 4.17none 1.11火花塞电压strong 85.24W eek 8.49none 6.27前灯” bright 89.03 dim 4.91O ff 6.06汽车启动tru
3、 e 0F au lse 10 0火花塞Ok80.0T oo wide 10.0F ouled10.0图 1 ：对汽车不能启动进行诊断的贝叶斯网络（先验概率）当任何变量的状态已知时，可将其作为证据输入，并对网络概率进行更新前灯 b rig h t 7 5.6 d im 14.3O ff 10.1图2：输入证据汽车启动=false（100%）的贝叶斯网络进行概率更新（后验概率）图2 在已知汽车不能正常工作的情况下，可以看出导致该结果的最大可能原因是火花塞 (spark plugs=ok(45%), battery voltage=strong(80%) )。图3输入证据汽车启动=false(10
4、0%)前灯=off(100%)的网络概率更新(后验概率) 图3是在输入证据汽车启动=false (100%)的基础上一个好的诊断系统可能推荐测试车前灯， 如果车前灯不能正常工作，前灯=off (100%)也作为证据输入，并对网络进行更新，battery voltage=none(53%),火花塞电压=ok=62.6，可以推断是电池电压不正常。例 2 Mary 上班迟到P (b u s)late 0.3O n tim e 0.7P (train )late 0.1O n tim e 0.9trainsM aryP (M ary lb u s,train )BustrainL ate on tim
5、eO n time o n tim e0.0 10.99O n timelate0.9 00.10L ateon tim e0.2 00.80L atelate0.9 0040图4： Mary上班迟到的贝叶斯网络由以上两个例子可以得知，利用贝叶斯网络进行推理需要了解一下几个方面1）规则是独立的，且只有条件满足时才执行，但是，一旦执行，就很难取消与新证据冲突 的结果；2）不同的规则之间能够以微妙的方式产生联系。如在例2 中汽车晚点和火车晚点本来相互 独立，但是在诊断推理过程中，如果知道 Mary 上班迟到，那么火车晚点或汽车晚点就 会产生联系（收敛连接）；当然还有两个事件本来是联系的，在一定的事
6、件出现后变得 独立，如牙洞问题（发散连接）；以及连续连接等情况。因此我们应该知道如何利用不 同的规则之间在一定情况下的联系3）在贝叶斯网络中，从不同的方向上进行推理会导致一些微妙的问题，如：如果汽车晚点，那么 Mary 上班迟到；如果 Mary 迟到，那么火车晚点。在知道汽 车晚点会得到 Mary 迟到，再调用第二条规则得出，火车晚点，这是不符合实际情况的。因此要考虑贝叶斯网络中的各条规则从不同的方向推理时会产生什么反应。1.3 贝叶斯网络的语义上面描述了贝叶斯网络是什么样的，但是没有说明它的含义是什么。有两种方式理解贝 叶斯网络的语义，第一种是将贝叶斯网络视为联合概率分布的表示。第二种将其视
7、为是对条 件依赖性语句集合的编码。这两种观点是等价的，但是前者能够帮助我们理解如何构造网络， 而后者则能够帮助我们设计推理过程。贝叶斯网络对联合概率分布的表示 联合概率分布中的每个条目都可以通过贝叶斯网络的信息计算出来，也即贝叶斯网络是 联合概 率分布的分 解表示，或者每 个贝叶斯网络对 应着一个联合概 率分布。如果用 P匕,#2,，匕表示变量集合uvi,v2，V”的联合概率分布，那么根据链式法，考虑了 独立性假设，P（u）是所有条件概率的乘积：p（u）=np（v|双亲（v）ii在Mary迟到的例子中，如果给出关于Mary迟到贝叶斯网络（图4）,利用给定的各个变量 的条件概率表，由式（1）我们
8、可以得到其联合概率分布（图 5）P（Mary，公共汽车，火车）=P（Maryl公共汽车，火车）P （公共汽车I火车）P （火车）busstrain MIaryP (M arylbus ， strain)P(bus|strain)P(srain ) productO n tim eO n tim eO n tim e0.990.700.900.0624O n tim elateO n tim e0.100.700.100.007lateO n tim eO n tim e0.800.300.900.216latelateO n tim e0.100.300.100.003O n tim eO n
9、 tim elate0.010.700.900.0063O n tim elatelate0.900.700.100.063late ,O n tim elate0.200.300.900.054latelatelate0.900.300.100.027图 5 ： Mary 上班迟到的贝叶斯网络的联合概率分布P(bus=late|Mary=late)=0.081/0.15=0.54P(Train=late|Bus=late,Mary=late)=0.027/(0.027+0.054)=0.33 7 d分离在因果网络中有三种连接形式：收敛、发散、连续1) 收敛连接当未知C的状态时(C不是一个证据
10、)，那么C的双亲是独立的。但是如果收到C的状态, 那么双亲就变成条件依赖了。称变量A和B是d分离。例如：P93 关于 Mary 上班迟到的问题2) 发散连接当未知C的状态时（C不是一个证据），那么C的后代是依赖的。但是如果收到C的状态, 那么后代就变成条件条件独立了。称变量A和B是在已知C情况的d分离3） 连续连接ACB当未知B的状态时（B不是一个证据），A和C是依赖的。但是如果收到B的状态后，A和 C变成条件条件独立了。称变量A和C是在已知B情况的d分离通过观察 d 分离点我们可以找到更加简介的联合分布的表示 例 办公室未锁模型的变量和可能的状态 David 一在办公室或外出 办公室锁或未锁
11、 清洁工一离开办公室时锁或未锁 计算机一开或关并且：David和清洁工都是办公室锁打开的原因David 是计算机开或关的原因然后，将每个变量表示为一个条件概率分布表得到该问题的贝叶斯网络（图 6）图 6 ：办公室未锁问题的贝叶斯网络CMd伽WUh Out00DM0J31OABLee tad0900110MdOSMMTLsctadUriMtadtoIwfarinjdiOflOteUMmW0.10OSOXletadose0A1ChuiUUwtadOfilOK根据p (u)= n p(V i双亲(v)其联合概率分布iiP(U)=P(Office|David,Cleaner)P(Computer|Da
12、vid)P(David)P(cleaner)由此可以得到该问题的联合概率分布表(教材P97表5.2)在贝叶斯网络的基础上得到的关于问题的联合概率分布后，根据该联合概率分布我们可以计算所有与此相关的概率情况，如：P(Bus=late|Mary=late)P(Train=late|Mary=late)P(office=unlock)P(computer=onloffice=unlock)等等但是在实际中，产生一个包括所有变量的概率分布表是不现实的(变量过多)。因此我们需 要建立一种新的求解方案。由于网络能够表达因果关系以及依赖性，可以实现现实世界的管 理，因此利用网络我们通过一系列信息传递来实现概
13、率计算。这里提到的网络是一个树，称 为簇树，我们并不定义所有变量的联合概率分布表，而是为每个变量保存一张表，当证据到 达时我们把信息传递给树中的其他节点。信息传递使用某种基本规则计算树中的每个变量的 更新概率2实现贝叶斯网络更新的算法利用贝叶斯网络可以进行精确推理，算法步骤：(1) 将 DAG 转化为簇树；(2) 为每个簇节点和分离点创建一张表。表中条目的数目对应于簇的每个成员变量的状 态组合数目。并在表中加入一列来记录表讽T)的概率分布，该列对于每个条目的值 置为1。讽T) 1(3) 为每个变量确定一个簇，该簇必须包含该变量 V 及其父辈节点。(4) 初始化每个簇表；(5) 在簇树中传递消息
14、直到树一致(消息从一个簇传递到另一个簇)。当消息从簇节点C到达分离点S时，根据下面的公式计算新的分离表：0 (S)=E 0 (C)CiSi当从分离点s向簇节点j传递消息时，新簇表的计算方法是，旧簇表乘以分离表除以 旧分离表：0(C)= 0(C)(0(S)/ 0(Sold)jj例 1：1) 首先构造相应于贝叶斯网络的簇树，DAG转化为簇树图7 簇树由簇节点和分离点构成。簇节点是由贝叶斯网络中的变量节点构成，对于每个变量至少 有一个簇节点包含它及其父辈节点，例如图7中变量B属于簇节点BA,该簇包含节点B及 其父辈节点A。簇节点一旦形成就被放入具有分离点的簇树中，而每个分离点是与其相邻的 簇节点所共有的变量。例如在图7中，A,B,C,D,E为变量，AB,CA,EC,DC都是簇节点，A,C为分离点。2) 然后为每个簇节点和分离点创建一张表。表中条目的数目对应于簇的每个成员变量的状态组合数目。并在表中加入一列来记录 表巾(T)的概率分布，该列对于每个条目的值置为1。巾(T)-l在图 7 中假设所有变量都有两个状态，那么每个簇节点表有四种状态，每个分离点有两 种状态。为每个变量确定一个簇,该簇必须包含
