《 不确定性推理》由会员分享，可在线阅读，更多相关《 不确定性推理（140页珍藏版）》请在金锄头文库上搜索。
1、第五章 不确定性推理,概述 概率论基础 Bayes网络 主观Bayes方法 确定性方法 证据理论,第五章 不确定性推理,概述 概率论基础 Bayes网络 主观Bayes方法 确定性方法 证据理论,概述,不精确思维并非专家的习惯或爱好所至，而是客观现实的要求。 很多原因导致同一结果 推理所需的信息不完备 背景知识不足 信息描述模糊 信息中含有噪声 规划是模糊的 推理能力不足 解题方案不唯一,概述-表示的3方面问题,不确定问题的数学模型表示的3方面问题 表示问题：表达要清楚。表示方法规则不仅仅是数，还要有语义描述。 计算问题：不确定性的传播和更新。也是获取新信息的过程。,不确定性推理例子,例如，对
2、于如下的推理过程： R1：A1A2B1 R2：A2A3B2 R3：B1B R4：B2B在描述这些规则时采用的都是不确定性知识表示方式,推理树结果图,概述-表示的3方面问题,语义问题：将各个公式解释清楚。语义问题：如何解释表示和计算的含义，目前多用概率方法。 如：f（B，A）可理解为当前提A为真时结论B为真的一种影响程度， C（A）可理解为A为真的程度。 特别关心的是f（B，A）的值：1）A(T) B(T), f（B，A）=?2）A(T) B(F), f（B，A）=?3）B 独立于A，f（B，A）=? 对C（A）关心的是：1）A为TRUE，C（A）？2）A为FALSE, C（A）？T：True，
3、F：False,概述-分类（1）,不确定性推理方法可分为形式化方法和非形式化方法。 形式化方法有逻辑法、新计算法和新概率法。逻辑法是非数值方法，采用多值逻辑和非单调逻辑来处理不确定性。传统的有基于概率理论的贝叶斯网络等。新计算法认为概率法不足以描述不确定性，从而出现了证据理论（也叫DempsterShafter， D-S方法），确定性方法（CF法）以及模糊逻辑方法。新概率法试图在传统的概率论框架内，采用新的计算方法以适应不确定性描述。 非形式化方法是指启发性方法，对不确定性没有给出明确的概念。,概述-分类（2）,不确定推理方法：工程方法、控制方法和并行确定性法。 工程法是将问题简化为忽略哪些不
4、确定性因素。 控制法是利用控制策略来消除不确定性的影响，如启发式的搜索方法。 并行确定性法是把不确定性的推理分解为两个相对独立的过程：一个过程不计不确定性采用标准逻辑进行推理；另一过程是对第一个过程的结论加以不确定性的度量。前一过程决定信任什么，后一过程决定对它的信任程度。,第五章 不确定性推理,概述 概率论基础 Bayes网络 主观Bayes方法 确定性方法 证据理论,第五章 不确定性推理,概述 概率论基础 Bayes网络 主观Bayes方法 确定性方法 证据理论,概率论基础,概率论是研究随机现象中数量规律的科学。所谓随机现象是指在相同的条件下重复进行某种实验时，所得实验结果不一定完全相同且
5、不可预知的现象。众所周知的是掷硬币的实验。人工智能所讨论的不确定性现象，虽然不完全是随机的过程，但是实践证明，采用概率论的思想方法考虑能够得到较好的结果。在这节中我们简单给出概率论的基本概念和贝叶斯定理。,概率论基础（随机事件）,随机实验：随机实验是一个可观察结果的人工或自然的过程，其产生的结果可能不止一个，且不能事先确定会产生什么结果。 样本空间：样本空间是一个随机实验的全部可能出现的结果的集合，通常记作，中的点（即一个可能出现的实验结果）成为样本点，通常记作。 随机事件：随机事件是一个随机实验的一些可能结果的集合，是样本空间的一个子集。常用大写字母A,B,C,表示。,概率论基础（事件间的关
6、系与运算 ）,两个事件A与B可能有以下几种特殊关系： 包含：若事件B发生则事件A也发生，称“A包含B”，或“B含于A”，记作AB或BA。 等价：若AB且BA，即A与B同时发生或同时不发生，则称A与B等价，记作A=B。 互斥：若A与B不能同时发生，则称A与B互斥，记作AB= 对立：若A与B互斥，且必有一个发生，则称A与B对立，记作或，又称A为B的余事件，或B为A的余事件。 任意两个事件不一定会是上述几种关系中的一种。,概率论基础（事件间的关系与运算 ）,设A，B，A1，A2，An为一些事件，它们有下述的运算： 交：记C=“A与B同时发生”，称为事件A与B的交，C=|A且B，记作或。类似地用表示事
7、件“n个事件A1, A2, An同时发生”。 并：记C=“A与B中至少有一个发生”，称为事件A与B的并，C=|A或B，记作。类似地用表示事件“n个事件A1, A2, An中至少有一个发生”。 差：记C=“A发生而B不发生”，称为事件A与B的差，C=|A但B，记作或。 求余：,概率论基础（运算的性质 ）,事件的运算有以下几种性质： 交换率： 结合律：分配律：摩根率： 事件计算的优先顺序为：求余，交，差和并。,概率论基础（概率定义 ）,定义：设为一个随机实验的样本空间，对上的任意事件A，规定一个实数与之对应，记为P(A)，满足以下三条基本性质，称为事件A发生的概率：若二事件AB互斥，即，则以上三条
8、基本规定是符合常识的。,，,概率论基础（概率性质 ）,定义：设An, n=1, 2, 为一组有限或可列无穷多个事件，两两不相交，且 ，则称事件族An, n=1, 2, 为样本空间的一个完备事件族，又若对任意事件B有BAn=An或, n=1, 2, ，则称An, n=1, 2, 为基本事件族。 完备事件族与基本事件族有如下的性质：定理：若An, n=1, 2, 为一完备事件族，则，且对于一事件B有 有若An, n=1, 2, 为一基本事件族，则,，,概率论基础（统计概率性质 ）,对任意事件A，有 必然事件的概率P() =1，不可能事件的概率P() = 0 对任意事件A，有 设事件A1，A2，An
9、（kn）是两两互不相容的事件，即有，则 设A，B是两事件，则,，,概率论基础（条件概率 ）,定义：设A，B为事件且P(A)0，称为事件A已发生的条件下，事件B的条件概率，P(A)在概率推理中称为边缘概率。 简称P(B|A)为给定A时B发生的概率。P(AB)称为A与B的联合概率。有联合概率公式：,，,概率论基础（条件概率性质 ）,， 若 ，则乘法公式：全概率公式：设A1，A2，An互不相交， ，且 ，则对于任意事件A有,，,概率论基础（贝叶斯定理 ）,，,设A，B1，B2，Bn为一些事件，P(A)0，B1，B2，Bn互不相交，P(Bi)0, i=1, 2, , n，且 ，则对于k=1, 2, ,
10、 n，贝叶斯公式容易由条件概率的定义，乘法公式和全概率公式得到。在贝叶斯公式中，P(Bi), i=1, 2, , n称为先验概率，而P(Bi|A) i=1, 2, , n称为后验概率也是条件概率。,各种情况的概率是多少？,第五章 不确定性推理,概述 概率论基础 Bayes网络 主观Bayes方法 确定性方法 证据理论,第五章 不确定性推理,概述 概率论基础 Bayes网络 主观Bayes方法 确定性方法 证据理论,贝叶斯网络,二十世纪八十年代贝叶斯网络（Bayes Network）成功地应用于专家系统，成为表示不确定性专家知识和推理的一种流行的方法。基于贝叶斯方法的贝叶斯网络是一种适应性很广的
11、手段和工具，具有坚实的数学理论基础。在综合先验信息（领域知识）和数据样本信息的前提下，还可避免只使用先验信息可能带来的主观偏见。虽然很多贝叶斯网络涉及的学习问题是NP难解的。但是，由于已经有了一些成熟的近似解法，加上一些限制后计算可大为简化，很多问题可以利用近似解法求解。 贝叶斯网络方法的不确定性表示基本上是保持了概率的表示方式，可信度计算也是概率计算方法，只是在实现时，各具体系统根据应用背景的需要采用各种各样的近似计算方法。推理过程称为概率推理。因此，贝叶斯网络没有其它确定性推理方法拥有的确定性表示、计算、语义解释等问题。由于篇幅关系，本节只介绍贝叶斯网络的基本概念和简单的推理方法。,贝叶斯
12、网络（事件的独立性）,独立：如果X与Y相互独立，则P(X,Y) = P(X)P(Y)P(X|Y) = P(X) 条件独立：如果在给定Z的条件下，X与Y相互独立，则P(X|Y, Z) = P(X|Z) 实际中，条件独立比完全独立更重要,贝叶斯网络（联合概率）,联合概率：P(X1, X2, , XN) 二值，则有2N可能的值，其中2N-1个独立。不是二值哪？ 如果相互独立： P(X1, X2, , XN) = P(X1) P(X2) P(XN) 条件概率：P(X1, X2, , XN) = P(X1|X2, , XN) P(X2, , XN) 迭代表示： P(X1, X2, , XN) = P(X
13、1) P(X2| X1) P(X3| X2X1)P(XN|XN-1, , X1)= P(XN) P(XN-1| XN) P(XN-2| XN-1XN)P(X1|X2, , XN)实际应用中就是利用条件独立性的性质简化网络复杂性的。,贝叶斯网络（基本概念）,贝叶斯网络： 一系列变量的联合概率分布的图形表示。 一个表示变量之间的相互依赖关系的数据结构；图论与概率论的结合。,贝叶斯网络（因果关系网络）,假设： 命题S(smoker)：该患者是一个吸烟者 命题C(coal Miner)：该患者是一个煤矿矿井工人 命题L(lung Cancer)：他患了肺癌 命题E(emphysema)：他患了肺气肿
14、由专家给定的假设可知，命题S对命题L和命题E有因果影响，而C对E也有因果影响。命题之间的关系可以描绘成因果关系网。每一个节点代表一个证据，每一条弧代表一条规则（假设），连接结点的弧表达了有规则给出的，节点间的直接因果关系。其中，节点S，C是节点L和E的父节点或称双亲节点，同时，L，E也称为是S和C的子节点或称后代节点。,贝叶斯网络（因果关系图例）,其中，节点S，C是节点L和E的父节点或称双亲节点，同时，L，E也称为是S和C的子节点或称后代节点。,因果关系图例,贝叶斯网络（贝叶斯网络）,贝叶斯网就是一个在弧的连接关系上加入连接强度的因果关系网络 。,贝叶斯网络（图例）,贝叶斯网络图例 无环图和指
15、定概率值P(A), P(B), P(B|AC), P(E|C), P(D|C), P(F|E), P(G|DEF),贝叶斯网络（图例）,非贝叶斯网络图例,贝叶斯网络（定义）,两个部分 贝叶斯网络结构图，这是一个有向无环图（DAG: Directed Acyclic Graph），其中图中的每个节点代表相应的变量。当有向弧由节点A指向节点B时，则称：A是B的父节点；B是A的子节点。 节点和节点之间的条件概率表（Conditional Probability Table, CPT），也就是一系列的概率值，表示了局部条件概率分布。P(node|parents) 。 目的：由证据得出原因发生的概率。 即观察到P(Y)，求P(X|Y),贝叶斯网络（如何构造）,选择变量，生成节点从左至右（从上到下），排列节点 填充网络连接弧，表示节点之间的关系 得到条件概率关系表条件概率表示的概率网络有时叫“Belief Nets”,贝叶斯网络（计算）,有向非循环图是各个节点变量关系传递的合理表达形式。 条件概率的引入使得计算较之全连接网络有了大大的简化。 CPT表相对比较容易得到。有时可以用某种概率分布表示，需要做的指示计算表示的参数。,
