Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,11/7/2009,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,主观,Bayes,方法,陈志华,培训专用,主要内容,1.概率论基础,2.主观,Bayes,方法的基本理论,3.主观,Bayes,方法的基本模型,培训专用,前言,主观,Bayes,方法,一种不确定性推理算法,以概率论中的,Bayes,公式为基础,首先应用于专家系统,PROSPECTOR,系统,培训专用,和前述推理方法的区别,不确定性推理,当一个或多个新证据出现时，根据推理规则，计算,结论的可信度,推理前不知道结论的概率信息,主观,Bayes,方法（条件概率）,当一个事件发生后，先验概率如何转变为后验概率,推理前知道,结论的先验概率信息,规则的表示不一样,培训专用,1.概率论基础,条件概率：,设,A，B,是两个随机事件，则,是在,B,事件已经发生的条件下，,A,事件发生的概率,。
乘法定理,:,培训专用,全概率公式：设 事件满足：,两两互不相容，即当 时，有,样本空间,则对任何事件,B,有下式成立：,称为,全概率公式,培训专用,根据全概率公式及乘法定理可以得到,Beyes,公式,:,培训专用,2.基本理论,主观,Bayes,方法的基本思想,由于证据,E,的出现，使得,P(R),变为,P(R|E),主观,Bayes,方法,就是研究利用证据,E，,将先验概率,P(R),更新为后验概率,P(R|E),先验概率,P(R),即不考虑证据,E,出现的前提下，结论结论,R,成立的概,培训专用,2.基本理论,一.知识不确定性的表示（产生式规则）,其中,LS:,充分性量度,LN:,必要性量度,P(R):R,的先验概率,培训专用,二.基本算法,证据,E,有三种情形,1),肯定存在，即,P(E)=1,2),肯定不存在，,P(E)=0,3),不确定，0,P(E)1,，使得,P(R|E)P(R),LS1,使得,P(R|E)1,，使得,P(R|E)P(R),LN1,使得,P(R|E)P(R),培训专用,例子,假设有如下规则:,规则1:,IF E1 THEN(10,1)R1(0.03),规则2:,IF E2 THEN(20,1)R2(0.05),规则3:,IF E3 THEN(1,0.002)R3(0.3),求,(1)当,E1,E2,E3,都存在时,P(Ri|Ei),(2)当,E1,E2,E3,都不存在时,P(Ri|,Ei),培训专用,分析：,利用公式,5,，,6,答案:,培训专用,练习,设有如下推理规则：,R1:IF E1 THEN(2,0.5)H1,R2:IF E2 THEN(1,0.2)H2,R3:IF E3 THEN(5,0.1)H3,并且已知,P(H1)=0.2,P(H2)=0.1,P(H3)=0.4,计算当证据,E1,E2,E3,存在或不存在时，,P(Hi|Ei),或,P(Hi|Ei),的值各是多少？,(i=1,2,3),培训专用,3),证据,E,不确定,在现实中,证据往往是,不确定的,即无法肯定它一定存在或一定不存在,用户提供的原始证据不精确,用户的观察不精确,推理出的中间结论不精确,假设,S,是对,E,的观察,则,P(E|S),表示在观察,S,下,E,为真的概率,值在,0,1；,培训专用,此时0,P(E|S)1，,故计算后验概率,P(R|S),不能使用,Bayes,公式,可以采用下面的公式修正（,杜达公式,）,（,式7,）,培训专用,后验概率,P(R|S),的计算,-1,针对杜达公式，分四种情况讨论,1,）,E,肯定存在，即,P(E|S)=1,且,P(E|S)=0,，杜达公式简化为：,注意：同时利用了,公式5,培训专用,后验概率,P(R|S),的计算,-2,2,）,E,肯定不存在，即,P(E|S)=0,P(E|S)=1,，杜达公式简化为：,注意：同时利用了,公式6,培训专用,后验概率,P(R|S),的计算,-3,3,）,P(E|S)=,P(E),，即,E,和,S,无关,利用全概率公式（公式7），杜达公式可以化为：,培训专用,后验概率,P(R|S),的计算,-4,当,P(E|S),为,其它值,（非0，非1，非,P(E)）,时，则需要通过,分段线形插值计算,：,公式8,培训专用,后验概率,P(R|S),的线性插值图,1,培训专用,杜达公式的说明,P(E|S),由用户给定，但是,P(E),和,P(E|S),很难区分和取值,解决方法:替代法,对于原始证据，由用户给定可信度,C(E|S),，对应,P(E|S),C(E|S),取值从,-5,到,5,的整数,培训专用,-5 -4 -3 -2 -1 0 1 2 3 4 5,P(E|S)=1,P(E|S)=0,培训专用,此时公式8变换为公式,9,公式,9,培训专用,3.推理模型,一.组合证据不确定性的计算,组合证据为多个证据的合取,时,即,E=E,1,AND E,2,AND E,n,组合证据为多个证据的析取,时,即,E=E,1,OR E,2,OR E,n,培训专用,二.证据不确定性的传递,(1)对于叶结点证据,E,的传递,该公式基于,R-E-S,的推理链,公式9,培训专用,R,E,S,叶结点不确定性的传递,培训专用,三.结论不确定性的合成,n,条规则都支持同一结论,R,这些规则的,前提条件,E,1,E,2,E,n,相互独立,每个证据所对应的观察为,S,1,S,2,S,n,先计算,O(R|S,i,)，,然后再计算所有观察下，,R,的后验几率计算方法,:(,公式11,),培训专用,例 题,设有如下规则：,规则,1:IF E1 THEN(2,0.001)R,规则,2:IF E2 THEN(100,0.001)R,且,O(R)=0.1,C(E1|S1)=2,C(E2|S2)=1,试画出推理树，并计算,O(R|S1,S2),培训专用,R,E1,S1,E2,S2,推理树,P(R|S1,S2),O(R|Si),P(R|Si),公式,9,培训专用,解题步骤,：,(1)先计算,P(R|S1),并计算,O(R|S1);,利用公式2，公式5，公式9,(2),两条规则支持同一个结论，计算,O(R|S1,S2);,利用公式,11,培训专用,培训专用,培训专用,培训专用,小 结,主观,Bayes,方法（条件概率）,当一个事件发生后，先验概率如何转变为后验概率,推理前知道结论的先验概率信息,证据不确定时，,必须采用杜达等人推导的公式,:,P(R|S)=P(R|E)P(E|S)+P(R|E)P(E|S),传递公式,:,公式,9,和公式,10,培训专用,设有如下规则：,规则,1:IF E1 THEN(2,0.1)R,规则,:IF E2 THEN(10,1)R,且,P(R)=0.01,C(E1|S1)=2,试根据主观,Bayes,方法，计算,O(R|S1,S2),练习,培训专用,练习,设有如下规则：,规则,1:IF E1 THEN(2,0.1)R,规则,2:IF E2 THEN(100,0.1)R,且已知,O(R)=0.1,C(E1|S1)=3,C(E2|S2)=,-1,试用主观,Bayes,方法计算：,O(R|S1,S2)=?,培训专用,演讲完毕，谢谢观看！,培训专用,内容总结,主观Bayes方法。
1.概率论基础当一个或多个新证据出现时，根据推理规则，计算结论的可信度是在B事件已经发生的条件下，A事件发生的概率根据全概率公式及乘法定理可以得到Beyes公式:1)肯定存在，即P(E)=12)肯定不存在，P(E)=0在不同的情形下，后验概率的计算方法不同IF E THEN R讨论：O(x)与P(x)的单调性O(x)与P(x)的单调性相同,即可从数学上推导出：R1:IF E1 THEN(2,0.5)H1R2:IF E2 THEN(1,0.2)H2R3:IF E3 THEN(5,0.1)H3i=1,2,3)在现实中,证据往往是不确定的,即无法肯定它一定存在或一定不存在可以采用下面的公式修正（杜达公式）解决方法:替代法C(E|S)取值从-5到5的整数此时公式8变换为公式9组合证据为多个证据的析取时,即E=E1 OR E2 OR该公式基于R-E-S的推理链这些规则的前提条件E1,E2,En 相互独立每个证据所对应的观察为S1,S2,规则2:IF E2 THEN(100,0.001)R规则1:IF E1 THEN(2,0.1)R,培训专用,。