《人工智能4--Bayes方法精编版》由会员分享，可在线阅读，更多相关《人工智能4--Bayes方法精编版（45页珍藏版）》请在金锄头文库上搜索。
1、主观Bayes方法,主要内容,1. 概率论基础 2. 主观Bayes方法的基本理论 3. 主观Bayes方法的基本模型,前言,主观Bayes方法 一种不确定性推理算法 以概率论中的Bayes公式为基础 首先应用于专家系统PROSPECTOR系统,和前述推理方法的区别,不确定性推理 当一个或多个新证据出现时，根据推理规则，计算结论的可信度 推理前不知道结论的概率信息 主观Bayes方法（条件概率） 当一个事件发生后，先验概率如何转变为后验概率 推理前知道结论的先验概率信息 规则的表示不一样,1. 概率论基础,条件概率： 设A，B是两个随机事件， ，则 是在B事件已经发生的条件下， A事件发生的概
2、率。 乘法定理:,全概率公式：设 事件满足： 两两互不相容，即当 时，有 样本空间 则对任何事件B, 有下式成立： 称为全概率公式。,根据全概率公式及乘法定理可以得到Beyes公式:,2. 基本理论,主观Bayes方法的基本思想 由于证据E的出现，使得P (R)变为P(R|E) 主观Bayes方法,就是研究利用证据E，将先验概率P( R)更新为后验概率P(R|E) 先验概率P( R), 即不考虑证据E出现的前提下，结论结论R成立的概,2. 基本理论,一. 知识不确定性的表示（产生式规则） 其中 LS: 充分性量度 LN: 必要性量度 P(R) : R的先验概率,二. 基本算法,证据E有三种情形
3、 1) 肯定存在，即P(E)=1 2) 肯定不存在， P(E)=0 3) 不确定， 0P(E)1 在不同的情形下，后验概率的计算方法不同,1) 证据E肯定存在,假设规则如下： IF E THEN R 根据乘法定理，得到 P(R|E)=P(E|R)P( R)/P(E) （式1） P(R|E)=P(E|R)P(R)/P(E) 两式相除，得到：,定义几率函数： 则 设： 则式1变为,（式3）,（式2）,2) 证据E肯定不存在,P(E)=0 同样可以推导出 O(R| E)=LN O( R) 其中,（式4）,将O(x)重新替换成概率，得到：,（式5）,（式6）,讨论：O(x)与P(x)的单调性,O(x)
4、与P(x)的单调性相同,即可从数学上推导出：,LS和LN的讨论,LS表示证据E的存在，影响结论R为真的概率：,LN表示证据E的不存在，影响结论R为真的概率： O(R| E)=LN O( R),上述结论也可以直接从公式5,6推导出来 LS1，使得P(R|E)P(R) LS1，使得P(R| E)P(R) LN1, 使得P(R| E)P(R),例子,假设有如下规则: 规则1: IF E1 THEN(10,1) R1(0.03) 规则2: IF E2 THEN (20,1) R2(0.05) 规则3: IF E3 THEN (1,0.002) R3(0.3) 求(1) 当E1,E2,E3都存在时, P
5、(Ri|Ei) (2)当E1,E2,E3都不存在时, P(Ri| Ei),分析：利用公式5，6 答案:,练习,设有如下推理规则： R1: IF E1 THEN (2,0.5)H1 R2: IF E2 THEN (1,0.2)H2 R3: IF E3 THEN (5,0.1)H3 并且已知P(H1)=0.2, P(H2)=0.1, P(H3)=0.4 计算当证据E1,E2,E3存在或不存在时，P(Hi|Ei)或P(Hi|Ei)的值各是多少？(i=1,2,3),3) 证据E不确定,在现实中,证据往往是不确定的,即无法肯定它一定存在或一定不存在 用户提供的原始证据不精确 用户的观察不精确 推理出的中
6、间结论不精确 假设S是对E的观察,则P(E|S)表示在观察S下, E为真的概率, 值在0,1；,此时0P(E|S)1，故计算后验概率P(R|S), 不能使用Bayes公式 可以采用下面的公式修正（杜达公式）,（式7）,后验概率P(R|S)的计算-1,针对杜达公式，分四种情况讨论 1）E肯定存在，即P(E|S)=1, 且P( E | S)=0，杜达公式简化为： 注意：同时利用了公式5,后验概率P(R|S)的计算-2,2）E肯定不存在，即P(E|S)=0, P( E | S)=1，杜达公式简化为： 注意：同时利用了公式6,后验概率P(R|S)的计算-3,3） P(E|S)= P(E)，即E和S无关
7、, 利用全概率公式（公式7），杜达公式可以化为：,后验概率P(R|S)的计算-4,当P(E|S)为其它值（非0，非1，非P(E)）时，则需要通过分段线形插值计算：,公式8,后验概率P(R|S)的线性插值图,1,杜达公式的说明,P(E|S) 由用户给定，但是P(E)和P(E|S)很难区分和取值 解决方法: 替代法 对于原始证据，由用户给定可信度 C(E|S)，对应P(E|S) C(E|S) 取值从-5到5的整数,-5 -4 -3 -2 -1 0 1 2 3 4 5,P(E|S)=1,P(E|S)=0,此时公式8变换为公式9,公式9,3. 推理模型,一. 组合证据不确定性的计算 组合证据为多个证据
8、的合取时,即E=E1 AND E2 AND En 组合证据为多个证据的析取时,即E=E1 OR E2 OR En,二. 证据不确定性的传递 (1) 对于叶结点证据E的传递 该公式基于R-E-S的推理链,公式9,R,E,S,叶结点不确定性的传递,三. 结论不确定性的合成 n条规则都支持同一结论R, 这些规则的前提条件E1,E2, En 相互独立 每个证据所对应的观察为S1,S2, Sn 先计算O(R|Si)，然后再计算所有观察下， R的后验几率计算方法: (公式11),例 题,设有如下规则： 规则1: IF E1 THEN (2,0.001) R 规则2: IF E2 THEN (100,0.0
9、01) R 且O(R)=0.1, C(E1|S1)=2, C(E2|S2)=1 试画出推理树，并计算O(R|S1,S2),R,E1,S1,E2,S2,推理树,P(R|S1,S2),O(R|Si),P(R|Si),公式9,解题步骤： (1)先计算P(R|S1), 并计算O(R|S1); 利用公式2，公式5，公式9 (2)两条规则支持同一个结论，计算O(R|S1,S2); 利用公式11,小 结,主观Bayes方法（条件概率） 当一个事件发生后，先验概率如何转变为后验概率 推理前知道结论的先验概率信息 证据不确定时，必须采用杜达等人推导的公式: P(R|S)=P(R|E) P(E|S)+P(R|E)
10、 P(E|S) 传递公式: 公式9和公式10,设有如下规则： 规则1: IF E1 THEN (2,0. 1) R 规则: IF E2 THEN (10, 1) R 且P(R)=0.01, C(E1|S1)=2, 试根据主观Bayes方法，计算O(R|S1,S2),练习,练习,设有如下规则： 规则1: IF E1 THEN(2,0.1) R 规则2: IF E2 THEN(100,0.1)R 且已知O(R)=0.1, C(E1|S1)=3, C(E2|S2)= -1,试用主观Bayes方法计算：O(R|S1,S2)=?,1、有时候读书是一种巧妙地避开思考的方法。20.8.1420.8.14Fr
11、iday, August 14, 2020 2、阅读一切好书如同和过去最杰出的人谈话。23:14:5823:14:5823:148/14/2020 11:14:58 PM 3、越是没有本领的就越加自命不凡。20.8.1423:14:5823:14Aug-2014-Aug-20 4、越是无能的人，越喜欢挑剔别人的错儿。23:14:5823:14:5823:14Friday, August 14, 2020 5、知人者智，自知者明。胜人者有力，自胜者强。20.8.1420.8.1423:14:5823:14:58August 14, 2020 6、意志坚强的人能把世界放在手中像泥块一样任意揉捏。2
12、020年8月14日星期五下午11时14分58秒23:14:5820.8.14 7、最具挑战性的挑战莫过于提升自我。2020年8月下午11时14分20.8.1423:14August 14, 2020 8、业余生活要有意义，不要越轨。2020年8月14日星期五11时14分58秒23:14:5814 August 2020 9、一个人即使已登上顶峰，也仍要自强不息。下午11时14分58秒下午11时14分23:14:5820.8.14 10、你要做多大的事情，就该承受多大的压力。8/14/2020 11:14:58 PM23:14:582020/8/14 11、自己要先看得起自己，别人才会看得起你。8/14/2020 11:14 PM8/14/2020 11:14 PM20.8.1420.8.14 12、这一秒不放弃，下一秒就会有希望。14-Aug-2014 August 202020.8.14 13、无论才能知识多么卓著，如果缺乏热情，则无异纸上画饼充饥，无补于事。Friday, August 14, 202014-Aug-2020.8.14 14、我只是自己不放过自己而已，现在我不会再逼自己眷恋了。20.8.1423:14:5814 August 202023:14,谢谢大家,
