《比较简单的贝叶斯网络总结》由会员分享，可在线阅读，更多相关《比较简单的贝叶斯网络总结（12页珍藏版）》请在金锄头文库上搜索。
1、贝叶斯网络是一系列变量的联合概率分布的图形表示一般包含两个部分，一个就是贝叶斯网络结构图，这是一个有向无环图(DAG),其中图中的每个节点代表相应的变量，节点之间的连接关系代表了贝 叶斯网络的条件独立语义。另一部分，就是节点和节点之间的 条件概率表(CPT)， 也就是一系列的概率值。如果一个贝叶斯网络提供了足够的条件概率值，足以计 算任何给定的联合概率，我们就称，它是可计算的，即可推理的。3.5.1贝 叶 斯 网 络 基 础首先从一个具体的实例(医疗诊断的例子)来说明贝叶斯网络的构造。假设：命题 S(moker): 该患者是一个吸烟者命题C ( o a l Min e r ):该患者是一个煤矿
2、矿井工人命题 L(ung Can c e r ):他患了肺癌命题 E(mphysema): 他患了肺气肿命题S对命题L和命题E有因果影响，而 C对E也有因果影响。命题之间的关系可以描绘成如右图所示的因果关系网因此，贝叶斯网有时也叫因果网，因为可以将连接结点的弧认为是表达了直图 3-5贝 叶 斯 网 络 的 实 例矿工吸烟者图中表达了贝叶斯网的两个要素：其一为贝叶斯网的结构，也就是各节点的继承 关系，其二就是 条件概率表CPT。若一个贝叶斯网可计算，则这两个条件缺一 不可。贝叶斯网由一个有向无环图（DAG ）及描述顶点之间的概率表组成。其中 每个顶点对应一个随机变量。这个图表达了分布的一系列有条
3、件独立属性：在给 定了父亲节点的状态后，每个变量与它在图中的非继承节点在概率上是独立的。 该图抓住了概率分布的定性结构，并被开发来做高效推理和决策。贝叶斯网络能表示任意概率分布的同时，它们为这些能用简单结构表示的分 布 提 供 了 可 计 算 优 势。 ?假设对于顶点xi，其双亲节点集为Pai，每个变量xi的条件概率P(xi|Pai)。则顶点集合X = x 1 , x 2 ,，xn的联合概率分布可如下计算：双亲结点。该结点得上一代结点。该等式暗示了早先给定的图结构有条件独立语义。它说明贝叶斯网络所表示的联合分布作为一些单独的局部交互作用模型的结果具有因式分解的表示形式。从贝叶斯网的实例图中，我
4、们不仅看到一个表示因果关系的结点图，还看到了贝叶斯网中的每个变量的 条件概率表(CPT)。因此一个完整的随机变量集合的概 率的完整说明不仅包含这些变量的贝叶斯网，还包含网中变量的条件概率表。图 例 中 的 联 合 概 率 密 度：P(S,C,L,E) = P(E|S,C)* P ( L | S ) * P ( C ) * P ( S )推导过程：P(S,C,L,E)=P(E|S,C,L)*P(L|S,C)*P(C|S)*P(S)(贝叶斯定理)=P ( E | S , C ) * P ( L | S ) * P ( C ) * P ( S )即：P ( E | S , C , L )= P (
5、E | S , C ) ,E 与 L 无关P ( L | S , C ) = P ( L | S )L 与 C 无关P ( C | S ) = P ( C )C与S 无关以上三条等式的正确性，可以从贝叶斯网的条件独立属性推出： 每个变量与它在图中的非继承节点在概率上相 比 原 始 的 数 学 公 式P(S,C,L,E)=:P( E| S,C,L)*P(L|S,C)* P(C| S) *P( S)推导过程:由贝叶斯定理，P( S,C,L,E)=P(E|S,C, L)* P( S,C, L)再由贝叶斯定理 P ( S,C , L)=P( L|S , C)* P (S , C)同样，P ( S ,C
6、 )=P ( C| S)* P(S)以上几个等式相乘即得原式。?显然，简化后的公式更加简单明了，计算复杂度低很多。如果原贝叶斯网中 的条件独立语义数量较多，这种减少更加明显。贝叶斯网络是一系列变量的联合概率分布的图形表示。这种表示法最早被用 来对专家的不确定知识编码，今天它们在现代专家系统、诊断引擎和决策支持系 统中发挥了关键作用。贝叶斯网络的一个被经常提起的优点是它们具有形式的概 率语义并且能作为存在于人类头脑中的知识结构的自然映像。这有助于知识在概 率分布方面的编码和解释，使基于概率的推理和最佳决策成为可能。3.5.2贝叶斯 网的 推 理模式在贝叶斯网中有三种重要的推理模式，因果推理(由上
7、向下推理)，诊断推理(自底向上推理)和辩解。35.2.1因果推理让我们通过概述的实例来说明因果推理得过程。 给定患者是一个吸烟者(S), 计算他患肺气肿(E)的概率P(E|S) 。 S称作推理的证据，E叫询问结点首先，我们寻找E的另一个父结点(C)，并进行概率扩展P(E|S)=P(E,C|S)+P(E,C|S);即,吸烟的人得肺气肿的概率为吸烟得肺气肿又是矿工的人的概率与吸烟得肺气肿不是矿工的人的概率之和，也就是全概率公式。然 后 利 用 Bayes 定 理：P(E|S) = P(E|C,S)*P(C|S) + P(E | C, S) * P (C| S) ; ? 公式解释：P ( E , C
8、 | S ) = P(E,C,S)/P(S) =P(E| C,S)* P(C,S)/P(S)(贝叶斯定理) =P(E|C ,S)* P(C |S)(反向利用贝叶斯 定理) 同理可以得出 P ( E , C | S )的推导过程。需要寻找该表达式的双亲结点的 条件概率，重新表达联合概率(指P(E,C|S)，P ( E , C | S ) o在图中，C和S并没有双亲关系，符合条件独立条件：P ( C|S )=P(C ),?P ( C |S )=P ( C ),由此可得：P(E|S) =P(E|S,C)*P(C)+P(E|C,S)*P(C)如果采用概述中的例题数据，则有 P ( E | S )=0.
9、9*0.3+0.3*(1-0.3)=0. 48从这个例子中，不难得出这种推理的主要操作：1) 按照给定证据的V和它的所有双亲的联合概率，重新表达给定证据的询 问 结 点 的 所 求 条 件 概 率。2) 回到以所有双亲为条件的概率，重新表达这个联合概率。3) 直到所有的概率值可从CPT表中得到，推理完成。3.5.2.2诊 断 推 理同样以概述中的例题为例，我们计算 不得肺气肿的不是矿工 的概率 P(C|E),即在贝叶斯网中，从一个子结点计算父结点的 条件概率。也即从结 果推测一个起因，这类推理叫做诊断推理。使用 Bayes公式就可以把这种推理 转换成因果推理。P ( C | E ) = P(E
10、|C)*P(C)/P( E )，从因果推理可知P ( E | C )=P(E,S|C)+P(E,S|C)=P( E|S, C)* P(S)+ P( E| S, C)* P( S)=(1-0. 3)*0. 4 + ( 1 - 0. 1 0)* (1 -0. 4)=0. 8 2 ;由此得：P( C| E)=P( E| C)*P( C)/P(-E）（贝叶斯公式）0 . 82 *(1 -0.3)/P ( E )0 .5 74/P( E )同样的P ( C1 E)二 P (EI C )*P (C ) /P ( E )=0.34 *0 .3/P ( E )0 .1 02/ P(1E )由于全概率公式：P（
11、C1（E )+ P(C1E )二 1代入可得P(E) =0.676所以5P（C|E)=0.849这种推理方式主要利用Bayes规则转换成因果推理。3.5.2.3辩 解如果我们的证据仅仅是E （不是肺气肿），象上述那样，我们可以计算C 患者不是煤矿工人的概率。但是如果也给定 S （患者不是吸烟者），那么C 也应该变得不确定。这种情况下，我们说 S解释E，使C变得不确定。这 类推理使用嵌入在一个诊断推理中的因果推理。作为思考题，读者可以沿着这个思路计算上式。 在这个过程中，贝叶斯规则的使 用， 是辩解过程中一个重要的步骤。 ？3.5.3D分离在本节最开始的贝叶斯网图中，有三个这样的结点：S, L,
12、 E。从直观来说，L的知识（结果）会影响S的知识（起因），S会影响E的知识（另一个结果）。 因此，在计算推理时必须考虑的相关因素非常多，大大影响了算法的计算复杂度， 甚至可能影响算法的可实现性。但是如果给定原因S，L并不能告诉我们有关E的更多事情。即对于S，L和E是相对独立的，那么在计算 S和L的关系时就 不用过多地考虑E，将会大大减少计算复杂度。这种情况下，我们称S能D分离L和E。 D分离是一彳种寻找条件独立的有效方法。如下图，对于给定的结点集,如果对贝叶斯网中的结点Vi和Vj之间的每 个无向路径，在路径上有某个结点V b，如果有属性：？1 ）Vb在&中，且路径上的两条弧都以Vb为尾（即弧在
13、Vb处开始（出发）2 ） Vb在&中，路径上的一条弧以Vb为头，一条以Vb为尾3） Vb和它的任何后继都不在&中，路径上的两条弧都以Vb为头（即弧在Vb处结束）贝U称 Vi 和 V j 被 V b 结点阻塞。结论：如果Vi和Vj被证据集合&中的任意结点阻塞，则称 Vi和Vj是被& 集合D分离，结点Vi和V j条件独立于给定的证据集合，即P ( V i | V j ,& )V j | Vi, 8 )表示为：无向路径：DAG图是有向图，所以其中的路径也应该是有向路径，这里所的无向路径是不考虑 D A G图中的方向性时的路径。条件独立：如具有以上三个属性之一，就说结点Vi和Vj条件独立于给定的占八、阻塞：给定证据集合8,当上述条件中的任何一个满足时，就说Vb阻塞相D分离：如果Vi和Vj之间所有的路径被阻塞，就叫证据集合&可以D分注意：在论及路径时，是不考虑方向的；在论及头和尾时,则必须考虑弧的方向。头的含义是箭头方向(有向弧)的终止点,II尾的含义是箭头方向占八、为单个结点集合。回到最开始的医疗诊断实例：为简单起见，选择证据集合对于给定的结点结点E阻塞了结点C和结点L之间的路径，因此C和L 是条件独的，有 I ( C ， L
