不确定性推理课件－金锄头文库

资源描述

《不确定性推理课件》由会员分享，可在线阅读，更多相关《不确定性推理课件（92页珍藏版）》请在金锄头文库上搜索。

1、L|O|G|O第四章第四章不确定性推理不确定性推理本章内容本章内容不确定性推理中的基本问题不确定性推理中的基本问题证据理论证据理论概率方法概率方法主观主观BayesBayes方法方法4163可信度方法可信度方法5不确定性推理方法分类不确定性推理方法分类 24.1 4.1 不确定性推理中的基本问题不确定性推理中的基本问题要实现对不确定性知识的处理，必须要解决不要实现对不确定性知识的处理，必须要解决不确定知识的表示问题，不确定信息的计算问题，以确定知识的表示问题，不确定信息的计算问题，以及不确定性表示和计算的语义解释问题。及不确定性表示和计算的语义解释问题。1 1表示问题表示问题1 1、知识不

2、确定性的表示、知识不确定性的表示2 2、证据的不确定性表示、证据的不确定性表示2. 2. 计算问题计算问题1 1、不确定性的传递算法、不确定性的传递算法2 2、结论不确定性的合成、结论不确定性的合成3 3、组合证据的不确定性算法、组合证据的不确定性算法3. 3. 语义问题语义问题1 1、知识的不确定性度量、知识的不确定性度量2 2、证据的不确定性度量、证据的不确定性度量4.2 4.2 不确定性推理方法分类不确定性推理方法分类1 1、模型方法、模型方法特特点点:把把不不确确定定的的证证据据和和不不确确定定的的知知识识分分别别与与某某种种度度量量标标准准对对应应起起来来，并并且且给给出出更更新新

3、结结论论不不确确定定性性的的算算法，从而构成了相应的不确定性推理的模型。法，从而构成了相应的不确定性推理的模型。非数值方法是指出数值方法外的其他各种处非数值方法是指出数值方法外的其他各种处理不确定性的方法理不确定性的方法 , ,它采用集合来描述和处它采用集合来描述和处理不确定性，而且满足概率推理的性质。理不确定性，而且满足概率推理的性质。非数值非数值方法方法数值方法是对不确定性的一种定量表示和数值方法是对不确定性的一种定量表示和处理方法。处理方法。数值方法数值方法数值方法数值方法分类分类2 2、模糊推理、模糊推理1 1、基于概基于概率的方法率的方法对于数值方法，按其依据的理论不同又可分为对于

4、数值方法，按其依据的理论不同又可分为以下两类：以下两类： 4.2 4.2 不确定性推理方法分类不确定性推理方法分类4.2 4.2 不确定性推理方法分类不确定性推理方法分类纯概率方法虽然有严密的理论依据，但它通常要求给出事件的先验纯概率方法虽然有严密的理论依据，但它通常要求给出事件的先验概率和条件概率，而这些数据又不易获得，因此其应用受到了限制。为概率和条件概率，而这些数据又不易获得，因此其应用受到了限制。为了解决这这个问题，人们在概率理论的基础上发展起来了一些新的方法了解决这这个问题，人们在概率理论的基础上发展起来了一些新的方法及理论及理论: : 1 1、主观、主观BayesBayes方法方

5、法2 2、可信度方法、可信度方法3 3、证据理论、证据理论它是它是PROSPECTORPROSPECTOR专专家系统中使用的不家系统中使用的不确定推理模型，是确定推理模型，是对对BayesBayes公式修正公式修正后形成的一种不确后形成的一种不确定推理方法。定推理方法。它它是是MYCINMYCIN专专家家系系统统中中使使用用的的不不确确定定推推理理模模型型，它它以以确确定定性性理理论论为为基基础础，方法简单、易用。方法简单、易用。它通过定义信任它通过定义信任函数、似然函数，函数、似然函数，把知道和不知道把知道和不知道区别开来。区别开来。4.2 4.2 不确定性推理方法分类不确定性推理方法分类

6、2 2、控制方法控制方法特点特点: :通过识别领域中引起不确定性的某些特征及通过识别领域中引起不确定性的某些特征及相应的控制策略来限制或减少不确定性对系统产生的相应的控制策略来限制或减少不确定性对系统产生的影响，这类方法没有处理不确定性的统一模型，其效影响，这类方法没有处理不确定性的统一模型，其效果极大地依赖于控制策略。果极大地依赖于控制策略。设有如下产生式规则：设有如下产生式规则： IF IF E E THEN THEN H H其中，其中，E E为前提条件，为前提条件，H H为结论，具有随机性。为结论，具有随机性。根据概率论中条件概率的含义，我们可以用条件概率根据概率论中条件概率的含义

7、，我们可以用条件概率表示上述产生式规则的不确定性程度，即表示为在证据表示上述产生式规则的不确定性程度，即表示为在证据出现的条件下，结论出现的条件下，结论H H成立的确定性程度。成立的确定性程度。对于复合条件对于复合条件 E E = = E E1 1 ANDAND E E2 2 ANDAND AND AND EnEn可以用条件概率作为在证据出现时结论的确定程度。可以用条件概率作为在证据出现时结论的确定程度。4.3 4.3 概率方法概率方法4.3.1 4.3.1 经典概率方法经典概率方法4.3 4.3 概率方法概率方法4.3.2 Bayes4.3.2 Bayes定理定理设设为一些事件，为一些

8、事件，互不相互不相交，交，P P( (BiBi)0)0，i i=1,2,=1,2,n n，且，且则对于则对于有，有， (4.3.1) (4.3.1) Bayes Bayes公式容易由条件概率的定义、乘法公式和全概公式容易由条件概率的定义、乘法公式和全概率公式得到。在率公式得到。在BayesBayes公式中，公式中， P P( (BiBi) )称为先验概率，而称为先验概率，而P(Bi|A)P(Bi|A)称为后验概率，也就是条件概率。称为后验概率，也就是条件概率。4.3 4.3 概率方法概率方法4.3.3 4.3.3 逆概率方法的基本思想逆概率方法的基本思想1 1单个证据的情况单个证据的情况

9、如果用产生式规则如果用产生式规则 IF IF E E THEN THEN H Hi i i i 1, 2, , 1, 2, , n n其中前提条件其中前提条件E E 代替代替BayesBayes公式中公式中B B，用，用H Hi i 代替公式中的代替公式中的A Ai i 就可得到就可得到 i i1,2, ,1,2, ,n n (4.3.2)(4.3.2) 这这就就是是说说，当当已已知知结结论论H H i i 的的先先验验概概率率，并并且且已已知知结结论论H Hi i( (i i= =1 1, ,2 2, ,）成成立立时时前前提提条条件件E E 所所对对

11、1|10，90%90%的肺炎患者的肺炎患者都咳嗽，都咳嗽， P(P(咳嗽咳嗽| |肺炎肺炎)=0.9, )=0.9, 则则P(P(肺炎肺炎| |咳嗽咳嗽)=)= 4.3 4.3 概率方法概率方法修正因子修正因子(1)(1)可以将前面的逆概率公式写成可以将前面的逆概率公式写成这这说说明明先先验验概概率率P(H)P(H)可可以以通通过过方方括括号号部部分分( (作作为为修修正正因因子子) )修正为后验概率修正为后验概率P(H|E) (P(H|E) (证据证据E E为真时为真时H H的后验概率的后验概率) )在在上上面面的的例例子子中中，医医生生认认为为一一个个人人得得肺肺炎炎的的可可能能性性为为万

13、999，远远超过原来的万分之九，远远超过原来的万分之九4.3 4.3 概率方法概率方法2 2多个证据的情况多个证据的情况对于有多个证据对于有多个证据和多个结论和多个结论并且每个证据都以一定程度支持结论的情况，上面的并且每个证据都以一定程度支持结论的情况，上面的式子可进一步扩充为式子可进一步扩充为 (4.3.3)(4.3.3) 例例已知：求：求：P(H1|E1E2）， P(H2|E1E2）， P(H3|E1E2）解：同理可得：同理可得： P(H2|E1E2）=0.52， P(H3|E1E2）=0.03 逆逆概概率率公公式式的的优优点点是是它它有有较较强强的的理理论论背背景景和和良良好好的的

14、数数学学特特征征，当当证证据据及及结结论论彼彼此此独独立立时时计计算算的的复复杂杂度度比比较较低低。其其缺缺点点是是要要求求给给出出结结论论的的先先验验概概率率及及证据证据的条件概率的条件概率，尽管有些时候，尽管有些时候比比相相对对容容易易得得到到，但但总总的的来来说说，要要想想得得到到这这些些数数据据仍仍然然是是一一件件相相当当困困难难的的工工作作。另另外外，BayesBayes公公式式的的应应用用条条件件是是很很严严格格的的，它它要要求求各各事事件件互互相相独独立立等等，如若证据间存在依赖关系，就不能直接使用这个方法。如若证据间存在依赖关系，就不能直接使用这个方法。4.3 4.

15、3 概率方法概率方法4.3.4 4.3.4 逆概率方法的优缺点逆概率方法的优缺点4.4 4.4 主观主观BayesBayes方法方法4.4.1 4.4.1 知识不确定性的表示知识不确定性的表示在主观Bayes方法中，知识是用产生式规则表示的，具体形式为形式为 IF E THEN (LSIF E THEN (LS，LN) H (P(H)LN) H (P(H)其中其中（1 1）E E 是是该该知知识识的的前前提提条条件件。它它既既可可以以是是一一个个简简单单条条件件，也也可可以是复合条件。以是复合条件。（2 2）H H 是是结结论论。P(H)P(H)是是 H H 的的先先验验概概率率，它它指指出

16、出在在没没有有任任何何证证据据情情况况下下的的结结论论 H H 为为真真的的概概率率，即即 H H 的的一一般般可可能能性性。其其值值由由领领域专家根据以往的实践及经验给出。域专家根据以往的实践及经验给出。（3 3）（LSLS，LNLN）为为规规则则强强度度。其其值值由由领领域域专专家家给给出出。LSLS，LNLN相相当于知识的静态强度。当于知识的静态强度。LS=P(E|H)|P(E|LS=P(E|H)|P(E|H) H) LN=P( LN=P(E|H)|P(E|H)|P(E|E|H)H)4.4 4.4 主观主观BayesBayes方法方法4.4.1 4.4.1 知识不确定性的表示知识不确定性

17、的表示引入概率的相对量度引入概率的相对量度定义定义几率函数：几率函数：称为称为H H的几率函数或先验几率，取值范围的几率函数或先验几率，取值范围0,0, ) )由此反过来有由此反过来有定义定义条件几率：条件几率：4.4 4.4 主观主观BayesBayes方法方法4.4.1 4.4.1 知识不确定性的表示知识不确定性的表示后验几率和先验几率的关系：后验几率和先验几率的关系：例例子子：O(O(晴晴天天| |冬冬天天早早晨晨有有雾雾)=4.2)=4.2，如如果果冬冬天天早早晨晨有有雾雾，则该天为晴天的可能性是非晴天可能性的则该天为晴天的可能性是非晴天可能性的4.24.2倍倍由由几几率率定

18、定义义、条条件件几几率率定定义义和和条条件件概概率率公公式式可可以以推推得得后后验几率和先验几率的关系：验几率和先验几率的关系：则可得下述关系：则可得下述关系： O(H|E)=LS*O(H)O(H|E)=LS*O(H) O(H| O(H|E)=LN*O(H)E)=LN*O(H)4.4 4.4 主观主观BayesBayes方法方法4.4.1 4.4.1 知识不确定性的表示知识不确定性的表示对对LSLS和和LNLN的约束的约束对于对于LSLS和和LNLN有如下约束要求：二者都是非负的，并且满足有如下约束要求：二者都是非负的，并且满足即即LSLS和和LNLN不不是是独独立立取取值值，均均大大于于0

19、 0；不不可可以以E E支支持持H H的的同同时时 E E也支持也支持H H，即，即LSLS和和LNLN不可同时大于不可同时大于1 1，也不可同时小于，也不可同时小于1.1.4.4 4.4 主观主观BayesBayes方法方法4.4.3 4.4.3 不确定性的传递算法不确定性的传递算法主主观观BayesBayes推推理理过过程程是是：根根据据证证据据E E的的概概率率P(E)P(E)，利利用用规规则则的的LSLS和和LNLN，把把结结论论的的先先验验概概率率P(H)P(H)更更新新为为后后验验概概率率P(H|E)P(H|E)或或P(H|E)P(H|E) ，因因而而也也称称为为概概率率传播。传播

20、。4.4 4.4 主观主观BayesBayes方法方法4.4.2 4.4.2 证据不确定性的表示证据不确定性的表示若以若以O(A) O(A) 或或P P( (A A) )表示证据表示证据A A的不确定性，则转换公式的不确定性，则转换公式是：是： 4.4 4.4 主观主观BayesBayes方法方法4.4.3 4.4.3 不确定性的传递算法不确定性的传递算法1 1证据肯定存在的情况证据肯定存在的情况在证据在证据E E 肯定存在时，把先验几率肯定存在时，把先验几率O O( (H H) )更新为后验更新为后验几率几率O O( (H H| |E E) )的计算公式为的计算公式为 (4.4.1) (

21、4.4.1) 如果将上式换成概率，就可得到如果将上式换成概率，就可得到 (4.4.2)(4.4.2) 这是把先验概率这是把先验概率P P( (H H) )更新为后验概率更新为后验概率P P( (H H| |E E) )的计算公式。的计算公式。4.4 4.4 主观主观BayesBayes方法方法2 2证据肯定不存在的情况证据肯定不存在的情况在证据在证据E E肯定不存在时，把先验几率肯定不存在时，把先验几率O(H)O(H)更新为后验更新为后验几率几率O O( (H H| |E E) )的计算公式为的计算公式为 (4.4.3) (4.4.3) 如果将上式换成概率，就可得到如果将上式换成概率，就可得

22、到 (4.4.4)(4.4.4) 这是把先验概率这是把先验概率P P( (H H) )更新为后验概率更新为后验概率P P( (H H| |E E) )的计算公式。的计算公式。4.4 4.4 主观主观BayesBayes方法方法3 3证据不确定的情况证据不确定的情况在证据不确定的情况下，不能再用上面的公式计算在证据不确定的情况下，不能再用上面的公式计算后验概率，而要用杜达等人后验概率，而要用杜达等人19761976年证明了的公式年证明了的公式 (4.4.5)(4.4.5) 来计算。来计算。下面分四种情况讨论这个公式下面分四种情况讨论这个公式(4.4.5)(4.4.5)：（1 1）当）当P(E|

25、当组合证据E E是多个单一证据的析取时，即是多个单一证据的析取时，即 E E = = E E1 or 1 or E E2 or or 2 or or EnEn 时，如果已知时，如果已知则，则， P P( (E E| |S S)=)=maxmax “ “非非”运算用下式计算运算用下式计算 4.4 4.4 主观主观BayesBayes方法方法若有若有n n条知识都支持相同的结论条知识都支持相同的结论，而且每条知识的，而且每条知识的前提条件所对应的证据前提条件所对应的证据都有相应的观察都有相应的观察与之对应，此时只要先对每条知识分别求出与之对应，此时只要先对每条知识分别求出然后就可运用下述

26、公式求出然后就可运用下述公式求出4.4 4.4 主观主观BayesBayes方法方法4.4.4 4.4.4 结论不确定性的合成算法结论不确定性的合成算法 4.4 4.4 主观主观BayesBayes方法方法例例2 2 设有如下知识设有如下知识R R1 1：IF IF A A THEN (20 THEN (20，1) 1) B B1 1(0.03)(0.03)R R2 2：IF IF B B1 1 THEN (300 THEN (300，0.0001) 0.0001) B B2 2(0.01)(0.01)求：求：P(BP(B2 2 | |A)A)的值是多少？的值是多少？解解: :（1 1）由于

27、）由于A A必发生，由必发生，由R R1 1得得（2 2）由于）由于B B1 1不是必发生的，所以需作插值处理。不是必发生的，所以需作插值处理。设设4.4.5 4.4.5 例子例子 4.4 4.4 主观主观BayesBayes方法方法当当时，有时，有，所以在此区间插值。，所以在此区间插值。由于由于4.4 4.4 主观主观BayesBayes方法方法解：依R1，P1（B）0.03O（B1）0.03/(1-0.03)=0.030927O(B1|A1)=LSO(B1)=200.030927=0.61855P(B1|A1)= 0.61855/(1+0.61855)=0.382使用规则R1后，B1的概

28、率从0.03上升到0.382 4.4.5 4.4.5 例子例子3 3例例3 3 证据A1，A2必然发生，且P（B1）0.03规则如下：R1：A1B1 LS=20 LN=1; R2：A2B1 LS=300LN=1求B1的更新值。4.4 4.4 主观主观BayesBayes方法方法依R2：O(B1|A1A2)=300O(B1|A1)=185.565P(B1|A1A2)= 185.565/(1+185.565)=0.99464使用规则R2后，B1的概率从0.382上升到0.994644.4 4.4 主观主观BayesBayes方法方法解：由于B1不确定，所以讨论其前项证据的影响，用插值法。1）当A必

29、然发生时，依R1，P（B1）0.03O（B1）0.03/(1-0.03)=0.030927O(B1|A1)=LSO(B1)=200.030927=0.61855P(B1|A1)= 0.61855/(1+0.61855)=0.382 2）当P(B1|A1)= 1时， P(B2|B1) = P(B2|A) = LS*P(B2)/（(LS-1）*P(B2)+1) = 0.75188 4.4.5 4.4.5 例子例子例例4 4证据A必然发生，且P（B1）0.03， P(B2)=0.01规则如下：R1：AB1 LS=20 LN=1; R2：B1B2 LS=300 LN=0.0001求B2的更新值。3）A

30、对B1没影响， P(B1|A1)= P(B1)= 0.03时，由已知P(B2)=0.01最后进行插值：P(B1|A) P(B1), P(B2|A) = 0.01 + (0.75188-0.01)(1-0.03)/(0.382-0.03) = 0.3 主观主观BayesBayes方法的主要优点如下：方法的主要优点如下：（1 1）主观）主观BayesBayes方法中的计算公式大多是在概率论的基方法中的计算公式大多是在概率论的基础上推导出来的，具有较坚实的理论基础。础上推导出来的，具有较坚实的理论基础。（2 2）知识的静态强度）知识的静态强度LSLS及及LNLN是由领域专家根据实验经验是由领域专家根

31、据实验经验给出的，这就避免了大量的数据统计工作。另外，它给出的，这就避免了大量的数据统计工作。另外，它既用既用LSLS指出了证据指出了证据E E对结论对结论H H的支持程度，又用的支持程度，又用LNLN指出指出了了E E对对H H的必要性程度，这就比较全面地反映了证据与的必要性程度，这就比较全面地反映了证据与结论间因果关系，符合现实世界中某些领域的实际情结论间因果关系，符合现实世界中某些领域的实际情况，使推出的结论有较况，使推出的结论有较准确的确定性。准确的确定性。4.4 4.4 主观主观BayesBayes方法方法4.4.6 4.4.6 主观主观BayesBayes方法的主要优缺点方法的主要

32、优缺点（3 3）主观）主观BayesBayes方法不仅给出了在证据肯定存在或肯定不方法不仅给出了在证据肯定存在或肯定不存在情况下由存在情况下由H H的先验概率更新为后验概率的方法，而的先验概率更新为后验概率的方法，而且还给出了在证据不确定情况下更新先验概率为后验概且还给出了在证据不确定情况下更新先验概率为后验概率的方法。另外，由其推理过程可以看出，它确实实现率的方法。另外，由其推理过程可以看出，它确实实现了不确定性的逐级传递。因此，可以说主观了不确定性的逐级传递。因此，可以说主观BayesBayes方法方法是一种比较实用且较灵活的不确定性推理方法。是一种比较实用且较灵活的不确定性推理方法。它

33、的主要缺点如下它的主要缺点如下（1 1）要求领域专家在给出知识的同时给出）要求领域专家在给出知识的同时给出H H的先验概率的先验概率P(H)P(H)，这是比较困难的。，这是比较困难的。（2 2）BayesBayes方法中关于事件间独立性的要求使主观方法中关于事件间独立性的要求使主观BayesBayes方法的应用受到了限制。方法的应用受到了限制。4.4 4.4 主观主观BayesBayes方法方法所谓可信度就是在实际生活中根据自己的经验对某一事所谓可信度就是在实际生活中根据自己的经验对某一事物或现象进行观察，判断相信其为真得程度。物或现象进行观察，判断相信其为真得程度。例如，张三昨天没有上课

34、，他的理由是肚子疼，就此理由例如，张三昨天没有上课，他的理由是肚子疼，就此理由而言，听话的人可能完全相信，也可能完全不相信，也可能而言，听话的人可能完全相信，也可能完全不相信，也可能在某种程度上相信，这与张三平时的表现和人们对他的话相在某种程度上相信，这与张三平时的表现和人们对他的话相信程度有关。信程度有关。这里的相信程度就是我们说的可信度。可信度也称为确定这里的相信程度就是我们说的可信度。可信度也称为确定性因子。性因子。4.5 4.5 可信度方法可信度方法4.5.1 4.5.1 可信度的概念可信度的概念在在以以产产生生式式作作为为知知识识表表示示的的专专家家系系统统MYCINMYCIN中

35、中，用用以度量知识和证据的不确定性。以度量知识和证据的不确定性。显然，可信度具有较大的主观性和经验性，其准确显然，可信度具有较大的主观性和经验性，其准确性是难以把握的。但是，对于某一具体领域而言，由于性是难以把握的。但是，对于某一具体领域而言，由于该领域的专家具有丰富的专业知识和实践经验，要给出该领域的专家具有丰富的专业知识和实践经验，要给出该领域知识的可信度还是完全有可能的。另外，人工智该领域知识的可信度还是完全有可能的。另外，人工智能所面临的问题，通常都较难用精确的数学模型进行描能所面临的问题，通常都较难用精确的数学模型进行描述，而且先验概率及条件概率的确定也比较困难，因此述，而且先验概

36、率及条件概率的确定也比较困难，因此用可信度来表示知识及证据的不确定性仍然不失为一种用可信度来表示知识及证据的不确定性仍然不失为一种可行的方法。可行的方法。4.5 4.5 可信度方法可信度方法4.5 4.5 可信度方法可信度方法4.5.2 C-F4.5.2 C-F模型模型 C-F C-F模型是基于可信度表示的不确定性推理的基本方法，模型是基于可信度表示的不确定性推理的基本方法，其他可信度方法都是在此基础上发展起来的。其他可信度方法都是在此基础上发展起来的。1 1知识不确定性的表示知识不确定性的表示 2 2证据不确定性的表示证据不确定性的表示3 3组合证据不确定性的算法组合证据不确定性的算法 4

37、4不确定性的传递算法不确定性的传递算法 5 5结论不确定性的合成算法结论不确定性的合成算法 4.5 4.5 可信度方法可信度方法4.5.3 4.5.3 可信度方法应用举例可信度方法应用举例已知已知 R R1 1：IF IF A A1 1 THEN THEN B B1 1 CF( CF(B B1 1,A,A1 1)=0.8)=0.8； R R2 2: IF : IF A A2 2 THEN THEN B B1 1 CF( CF(B B1 1,A,A2 2)=0.5)=0.5； R R3 3: IF : IF B B1 1A A3 3 THEN THEN B B2 2 CF( CF(B B2 2

38、, ,B B1 1A A3 3)=0.8;)=0.8;初始证据为初始证据为A A1 1,A,A2 2,A,A3 3的可信度的可信度CFCF均设为均设为1 1，即即,CF(,CF(A A1 1)= CF()= CF(A A2 2)= CF()= CF(A A3 3)=1,)=1,对对B B1 1,B,B2 2一无所知一无所知, ,求求CF(CF(B B1 1) )和和CF(CF(B B2 2) )。例例4.5.14.5.14.5 4.5 可信度方法可信度方法解解: :由于对由于对B B1 1, ,B B2 2一无所知，所以使用合成算法进行计算。一无所知，所以使用合成算法进行计算。由题意得到推理

39、网络如下图所示。由题意得到推理网络如下图所示。B B2 2B B1 1A A3 3A A1 1A A2 24.5 4.5 可信度方法可信度方法(1)(1)对于知识对于知识 , ,分别计算分别计算 (2)(2)利用合成算法计算利用合成算法计算的综合可信度的综合可信度(3)(3)计算计算的可信度，这时，的可信度，这时，作为作为的证据，其可信度已由的证据，其可信度已由前面计算出来。前面计算出来。CF( )=0.9CF( )=0.9，而，而的可信度为初始制定的的可信度为初始制定的1 1。由规则由规则和公式和公式(4.5.1)(4.5.1)得到得到所以，所求得的所以，所求得的，的可信度

40、更新值分别为的可信度更新值分别为4.6 4.6 证据理论证据理论4.6.1 4.6.1 基本概念基本概念证据理论假设有一个不变的两两相斥的完备元素集合证据理论假设有一个不变的两两相斥的完备元素集合U U，如下图所示，这里如下图所示，这里U U为为例如例如, ,U U =三轮车，汽车，火车三轮车，汽车，火车 U U = =赤，橙，黄，绿，青，蓝，紫赤，橙，黄，绿，青，蓝，紫 U U = =马，牛，羊，鸡，狗，兔马，牛，羊，鸡，狗，兔图图4.4 4.4 证据理论说明图证据理论说明图4.6 4.6 证据理论证据理论4.6.2 D-S4.6.2 D-S理论理论证据理论是用集合表示命题的。设证据

41、理论是用集合表示命题的。设D D是变量是变量x x所有可能所有可能取值的集合，且取值的集合，且D D中的元素是互斥的，在任一时刻中的元素是互斥的，在任一时刻x x都取都取D D中中的某一个元素为值，则称的某一个元素为值，则称D D为为x x的样本空间。在证据理论中，的样本空间。在证据理论中，D D的任何一个子集的任何一个子集A A都对应于一个关于都对应于一个关于x x的命题，称该命题为的命题，称该命题为“x x的值在的值在A A中中”。证据理论中，为了描述和处理不确定性，引入了概率分证据理论中，为了描述和处理不确定性，引入了概率分配函数、信任函数及似然函数等概念。配函数、信任函数及似然函数等

42、概念。设设D D为样本空间，领域内的命题都用为样本空间，领域内的命题都用D D的子集表示，则概的子集表示，则概率分配函数（率分配函数（Function of Probability AssignmentFunction of Probability Assignment）定义）定义如下。如下。定义定义4.6.1 4.6.1 设函数设函数M M： , ,且满足且满足则称则称M M是是上的概率分配函数，上的概率分配函数，M M( (A A) )称为称为A A的基本概率函的基本概率函数（数（Function of Basic Probability AssignmentFunction of B

43、asic Probability Assignment），即），即对于样本空间对于样本空间D D的任一子集都分配一个概率值。的任一子集都分配一个概率值。4.6 4.6 证据理论证据理论1 1、概率分配函数、概率分配函数定义定义4.6.2 4.6.2 设函数设函数BelBel： , ,且且（）则称为命题则称为命题A A的信任函数（的信任函数（Function of BeliefFunction of Belief）, ,即命题即命题A A的信任函数值，就是的信任函数值，就是A A的所有子集的基本概率分配函数之和，的所有子集的基本概率分配函数之和，用来表示对用来表示对A A的总信任。的总信任

44、。BelBel函数又称为下限函数，以函数又称为下限函数，以BelBel（A A）表示对命题）表示对命题A A为真的信任程度。为真的信任程度。4.6 4.6 证据理论证据理论2. 2. 信任函数信任函数似然函数（似然函数（Plausible FunctionPlausible Function）又称为不可驳斥）又称为不可驳斥函数或上限函数，下面给出它的定义。函数或上限函数，下面给出它的定义。定义定义4.6.3 4.6.3 似然函数似然函数: ,: ,且且（）命题命题A A的似然函数值就是所有与的似然函数值就是所有与A A相交的子集的基本概相交的子集的基本概率分配函数之和，用来表示不否定

45、率分配函数之和，用来表示不否定A A的信任度。的信任度。4.6 4.6 证据理论证据理论3. 3. 似然函数似然函数因为因为，所以，所以即即由于由于表示对表示对A A为真的信任程度，为真的信任程度，表示表示对对A A为非假的信任程度，因此可分别称为非假的信任程度，因此可分别称和和为对为对A A信任程度的下限和上限，记作信任程度的下限和上限，记作4.6 4.6 证据理论证据理论4 4信任函数与似然函数的关系信任函数与似然函数的关系有时对同样的证据会得出两个不同的概率分配函数。有时对同样的证据会得出两个不同的概率分配函数。例如，对于样本空间例如，对于样本空间，从不同的来源可分别得

46、，从不同的来源可分别得到如下两个概率分配函数：到如下两个概率分配函数：此时需要对它们进行组合，德普斯特提出的组合方法此时需要对它们进行组合，德普斯特提出的组合方法可对这两个概率分配函数进行正交和运算。可对这两个概率分配函数进行正交和运算。4.6 4.6 证据理论证据理论5 5概率分配函数的正交和概率分配函数的正交和4.6 4.6 证据理论证据理论设设是两个概率分配函数，则其正交和是两个概率分配函数，则其正交和为为其中，其中，。如果如果 , ,则正交和则正交和M M也是一个概率分配函数；也是一个概率分配函数；如果如果K K0,0,则不存在正交和则不存在正交和M M，称，称矛盾。矛

47、盾。定义定义4.6.44.6.44.6 4.6 证据理论证据理论定义定义4.6.54.6.5 对于多个概率分配函数对于多个概率分配函数，如果它们，如果它们可以组合，则也可通过正交和运算将它们组合为一个概率可以组合，则也可通过正交和运算将它们组合为一个概率分配函数，其定义如下。分配函数，其定义如下。设设是是n n个概率分配函数，则其正交个概率分配函数，则其正交和和为为其中，其中，。4.6 4.6 证据理论证据理论定义定义4.6.54.6.56 6类概率函数类概率函数除了可以利用区间除了可以利用区间( (BelBel( (A A) )和和 ) )表示表示A A的不确定性的不确定性以

48、外，还可以用以外，还可以用A A的类概率函数表示的类概率函数表示A A的不确定性。的不确定性。定义定义4.6.6 4.6.6 命题命题A A的类概率函数为的类概率函数为其中，分别是其中，分别是A A及及D D中元素的个数。中元素的个数。具有如下性质：具有如下性质：4.6 4.6 证据理论证据理论4.6.3 4.6.3 知识的不确定性的表示知识的不确定性的表示在该模型中，不确定性知识用如下的产生式规则表示：在该模型中，不确定性知识用如下的产生式规则表示： IF IF E E THEN CF = THEN CF = 其中，其中，（1 1）E E为前提条件，它是样本空间为前提条件，它是样本空

49、间D D的子集。的子集。E E既可以是简单既可以是简单条件，也可以是用条件，也可以是用ANDAND或或OROR连接起来的复合条件。连接起来的复合条件。（2 2）H H是结论，它用样本空间中的子集表示，是结论，它用样本空间中的子集表示，是该子集中的元素。是该子集中的元素。（3 3）CF CF 是可信度因子，用集合形式表示，其中，用来指出是可信度因子，用集合形式表示，其中，用来指出的可信度，的可信度，与与一一对应一一对应, , 应满足如下条件应满足如下条件4.6 4.6 证据理论证据理论4.6.4 4.6.4 证据的不确定性的表示证据的不确定性的表示不确定性证据不确定性证据E E的确定性

50、用的确定性用CER(CER(E E) )表示。对于初始证据，其表示。对于初始证据，其确定性由用户给出；当用前面推理所得结论作为当前推理的证确定性由用户给出；当用前面推理所得结论作为当前推理的证据时，其确定性由推理得到。据时，其确定性由推理得到。CER(CER(E E) )的取值范围为的取值范围为。1 1 组合证据不确定性的算法组合证据不确定性的算法当组合证据是多个证据的合取，即当组合证据是多个证据的合取，即时，时，则则E E的确定性的确定性CER(CER(E E) )为为当组合证据是多个证据的析取，即当组合证据是多个证据的析取，即时，时，则则E E的确定性的确定性CER(CER(E

51、E) )为为4.6 4.6 证据理论证据理论2 2 不确定性的传递算法不确定性的传递算法 1 1）如果只有一条知识支持结论）如果只有一条知识支持结论H H，即，即 IF IF E E THEN THEN 结论结论H H的确定性通过下述步骤求出。的确定性通过下述步骤求出。对于上述知识，对于上述知识，H H的概率分配函数规定为的概率分配函数规定为这样便求得这样便求得M M( (H H) )。4.6 4.6 证据理论证据理论 2 2）如果有两条知识支持同一结论，即）如果有两条知识支持同一结论，即 IF THEN IF THEN IF THEN IF THEN 结论结论H H的确定性通过下述步骤求出

52、。的确定性通过下述步骤求出。首先分别对每一条知识求出概率分配函数：首先分别对每一条知识求出概率分配函数：然后再用公式然后再用公式对对求正交和，从而得到求正交和，从而得到H H的概率分配函数的概率分配函数M M。4.6 4.6 证据理论证据理论 3 3）如果有）如果有n n条知识都支持同一结论条知识都支持同一结论H H，则用公式，则用公式对对求其正交和，从而得到求其正交和，从而得到H H的概率分配的概率分配函数函数M M。最后求出最后求出4.6 4.6 证据理论证据理论 4 4）按如下公式求出）按如下公式求出H H的确定性的确定性CERCER( (H H) ) CER CER ( (H

53、 H)=)=MDMD( (H H| |E E)f f( (H H) )其中，其中，MDMD( (H H| |E E) )是知识的前提条件与相应证据是知识的前提条件与相应证据E E的匹配的匹配度，定义为度，定义为MDMD( (H H| |E E) ) 这样，就对一条知识或者多条有相同结论的知识这样，就对一条知识或者多条有相同结论的知识求出了结论的确定性。如果该结论不是最终结论，即求出了结论的确定性。如果该结论不是最终结论，即它又要作为另一条知识的证据继续进行推理，则重复它又要作为另一条知识的证据继续进行推理，则重复上述过程就可得到新的结论及其确定性。如此反复运上述过程就可得到新的结论及其确定性。

54、如此反复运用该过程，就可推出最终结论及它的确定性。用该过程，就可推出最终结论及它的确定性。4.6 4.6 证据理论证据理论4.6.5 4.6.5 例子例子例例4.6.1 4.6.1 已知已知计算计算CER(B)CER(B)。解解先计算组合证据先计算组合证据的正确性的正确性再计算结论的分配函数再计算结论的分配函数M M(b b1,1,b b2)= (0.60.3,0.60.5)=(0.18,0.3) 2)= (0.60.3,0.60.5)=(0.18,0.3) 4.6 4.6 证据理论证据理论4.6.5 4.6.5 例子例子得到结论的信任函数得到结论的信任函数随之有随之有而对于而对于D

55、D的其他子集的的其他子集的M M值均赋予值均赋予0 0。得到结论的似然函数。得到结论的似然函数最后得到最后得到4.6 4.6 证据理论证据理论4.6.6 4.6.6 证据理论的主要优缺点证据理论的主要优缺点最最后后需需要要说说明明的的是是，当当D D中中的的元元素素很很多多时时，信信任任函函数数BelBel及及正正交交和和等等的的运运算算将将是是相相当当复复杂杂的的，工工作作量量很很大大，这这是是由由于于需需要要穷穷举举D D的的所所有有子子集集，而而子子集集的的数数量量是是的的缘缘故故。另另外外，证证据据理理论论要要求求D D中中的的元元素素是是互互斥斥的的，这这一一点点在在许许多多应

56、应用用领领域域也也难难以以做做到到。为为解解决决这这些些问问题题，巴巴尼尼特特提提出出了了一一种种方方法法，运运用用这这种种方方法法可可以以降降低低计计算算的的复复杂杂性性并并解解决决互互斥斥的的问问题题。该该方方法法的的基基本本思思想想是是把把D D划划分分为为若若干干组组，每每组组只只包包含含相相互互排排斥斥的的元元素素，称称为为一一个个辨辨别别框框，求求解解问问题题时时，只只需需在在各各自自的的辨辨别别框框上考虑概率分配的影响。上考虑概率分配的影响。4.6 4.6 证据理论证据理论证证据据理理论论的的优优点点是是它它只只需需满满足足比比概概率率论论更更弱弱的的公公理理系系统统，能能处处

57、理理由由“不不知知道道”所所引引起起的的不不确确定定性性，由由于于D D的的子子集集可可以以是是多多个个元元素素的的集集合合，因因而而知知识识的的结结论论部部分分可可以以是是更更一一般般的的假假设设，这这就就便便于于领领域域专专家家从从不不同同的的语语义义层层次次上上表表达达他他们们的的知知识识，不不必必被被限限制制在在由由单单元元素素所所表表示示的的最最明明确确的的层层次次上上。在在应应用用证证据据理理论论时时需需要要注注意意的的是是合合理理地地划分辨别框及有效地控制计算的复杂性等。划分辨别框及有效地控制计算的复杂性等。654.74.7贝叶斯信念网贝叶斯信念网定义：贝叶斯信念网（简称贝叶斯

58、网）表示一组变量的联合概率分布是一个有向无环图(DAG)随机变量集组成网络节点，变量可离散或连续连接节点对的有向边组成边集合每节点yi都有一个条件概率分布表：P(yi|Parents(yi)，量化其父节点对该节点的影响贝叶斯信念网的表示贝叶斯信念网的表示条件概率表条件概率表每个节点旁的条件概率表(简称CPT)中的值对应一个条件事件的概率如P(A|B,E)=0.94=P(A|BurglaryEarthquake)条件事件是父节点取值的一个可能组合每行的概率之和应该为1 一个具有k个布尔父节点的布尔变量的条件概率表中有2k个独立的可指定的概率(注意概率值是独立的)没有父节点的节点的概率只有1行 /

59、为先验概率贝叶斯网络的语义贝叶斯网络的语义对联合概率分布的表示对条件依赖性语句集合的编码两种观点等价，前者帮助我们理解如何构造网络，后者则帮助我们设计推理过程。69贝叶斯信念网的表示（贝叶斯信念网的表示（2 2）贝叶斯信念网表示的全联合概率计算公式如下：贝叶斯信念网的语义公式计算示例：贝叶斯信念网的语义公式计算示例：试计算：报警器响了，但既没有盗贼闯入，也没有发生地震，同时John和Mary都给你打电话的概率。解： P(J=T,M=T,A=T,B=F,E=F) = P(J=T|A=T)P(M=T|A=T)P(A=T| B=F,E=F) P(B=F) P(E=F) = 0.9*0.7*0.

60、001*0.999*0.998 = 0.00062 = 0.062%贝叶斯网络的特性：贝叶斯网络的特性： n作为对域的一种完备而无冗余的表示，贝叶斯网络比全联合概率分布紧凑得多nBN的紧凑性是局部结构化局部结构化(Locally structured, 也称稀疏稀疏, Sparse)系统一个非常普遍特性的实例nBN中每个节点只与数量有限的其它节点发生直接直接的的相互作用n假设有n个随机变量，每个随机变量受至多k（kn)个其他随机变量的影响，则指定每个条件概率表所需信息至多为2k个数据，整个网络可以由不超过n2k个数据完全描述。参数复杂性问题参数复杂性问题贝叶斯信念网表示的联合概率计算公式：全联

61、合概率计算公式：参数复杂性问题参数复杂性问题 5个二元变量全联合概率计算公式共32个参数,需定义31个参数. BBN的联合概率计算公式共20个参数,需定义10个参数参数复杂性问题参数复杂性问题假设节点数n=30, 每节点有5个父节点，则BN需30x25=960个数据，而全联合概率分布需要230= 10亿个！贝叶斯网络的构造原则：贝叶斯网络的构造原则： n首先，添加“根本原因根本原因”节点n然后，加入受它们直接影响的变量直接影响的变量n依次类推，直到叶节点叶节点，即对其它变量没有直接因果影响的节点n两节点间的有向边的取舍原则：更高精度概率的重要性与指定额外信息的代价的折衷n“因果模型”比“诊断

62、模型”需要更少的数据，且这些数据也更容易得到贝叶斯网络中的条件独立关系：贝叶斯网络中的条件独立关系： n给定父节点，一个节点与它的非后代节点非后代节点是条件独立的n给定一个节点的父节点、子节点以及子节点的父节点马尔可夫覆盖马尔可夫覆盖(Markov blanket)，这个节点和网络中的所有其它节点是条件独立的【说明】：给定节点X的父节点U1. Um，节点X与它的非后代节点（即Zij）是条件独立的。U1UmXZ1jZnjY1Yn【说明】：给定马尔可夫覆盖（蓝色的区域），节点X和网络中所有其它节点都是条件独立的。U1UmXZ1jZnjY1Yn贝叶斯网络贝叶斯网络建立贝叶斯网络的目的有了网络。可以提

63、出问题：有了网络。可以提出问题：P(问题|证据)，如：P(吸烟|肺癌）进行概率推理进行概率推理与谓词逻辑有相似之处与谓词逻辑有相似之处。如：患病（吸烟，肺癌）。如：患病（吸烟，肺癌）在某些场合下有有效的推理方法。有一些工具包。一般情况下是很困难的，原因不是所有的不是所有的CPTCPT表都能够得到表都能够得到网络结构大且复杂网络结构大且复杂NP-hardNP-hard推理推理我们要做的是，将问题正确的表示为合理的网络形式，选用适合的算法。80贝叶斯信念网的推理贝叶斯信念网的推理可以用贝叶斯网在给定其他变量的观察值时推理出某些目标变量的值由于所处理的是随机变量，所以一般不会赋予目标变量一个确切

64、的值真正需要推理的是目标变量的概率分布，它指定了在给予其他变量的观察值条件下，目标变量取每一个可能值的概率在网络中所有其他变量都确切知道的情况下，这一推理步骤很简单一般来说，贝叶斯网络可用于在知道某些变量的值或分布时计算网络中另一部分变量的概率分布贝叶斯网络的精确推理贝叶斯网络的精确推理概率推理系统中的基本任务：计算被查询变量的后验概率设X为待查询变量 / e为观察到的证据(已知) / E=E1Em证据变量集合 / Y=Y1Yn既非证据也非查询变量的集合(也称隐变量)全部变量集合=XEY推理的任务是：求后验概率P(X|e)贝叶斯网络的精确推理贝叶斯网络的精确推理以防盗警报为例，已知证据John

65、Calls=True/MaryCalls=True 求出现盗贼的概率： P(B|JohnCalls=T,M=F)贝叶斯网络的精确推理贝叶斯网络的精确推理在贝叶斯网络中可通过计算条件概率的乘积并求和来回答查询。 P(X|e) = P(X,e) = yP(X,e,y) 而P(X,e,y)可写成条件概率乘积的形式。（1）通过枚举进行推理）通过枚举进行推理BurglaryEarthquakeMaryCallsJohnCallsAlarm B EP(A) t t t f f t f f0.950.940.290.001 AP(J) t f0.900.05 AP(M) t f0.700.01P(B) 0.

68、|a)P(m|a)= 0.9990.002(0.290.90.7 + 0.710.05 0.01) + 0.998 (0.001 0.9 0.7+0.999 0.05 0.01) = 0.0014919因此，P(B|j, m) = 即在John和Mary都打电话的条件下，出现盗贼的概率约为28%。（2）变量消元算法）变量消元算法消除重复计算，提高枚举算法的效率保存中间结果，以备多次使用从右到左（在树结构中为自底向上）的次序计算BN的计算公式算法过程：参见人工智能：一种现代方法中的第14章14.4.2节89贝叶斯信念网的近似推理贝叶斯信念网的近似推理对任意贝叶斯网络的概率的确切推理已经知道是一

69、个NP难题Monte Carlo方法提供了一种近似的结果，通过对未观察到的变量进行随机采样理论上，即使是贝叶斯网络中的近似推理也可能是NP难题实践中许多情况下近似的方法被证明是有效的90学习贝叶斯信念网学习贝叶斯信念网从训练数据中学到贝叶斯信念网，有多种讨论的框架：网络结构可以预先给出，或由训练数据中得到网络结构可以预先给出，或由训练数据中得到所有的网络变量可以直接从每个训练样例中观察到，或某些变量所有的网络变量可以直接从每个训练样例中观察到，或某些变量不能观察到不能观察到如果网络结构已知且变量可以从训练样例中完全获得，那么得到条件概率表就比较简单如果网络结构已知，但只有一部分变量值能在数据中观察到，学习问题就困难多了。这类似于在人工神经网络中学习隐藏单元的权值Russtll（1995）提出了一个简单的梯度上升过程以学习条件概率表中的项，相当于对表项搜索极大似然假设4.8 不确定推理的其他方法不确定推理的其他方法基于规则的不确定性推理方法表示无知性：Dempters-Shafer理论表示模糊性：模糊集和模糊逻辑参考人工智能一种现代方法L|O|G|O谢谢谢谢 !

展开阅读全文

不确定性推理课件

最新文档