贝叶斯定理及应用－金锄头文库

资源描述

《贝叶斯定理及应用》由会员分享，可在线阅读，更多相关《贝叶斯定理及应用（37页珍藏版）》请在金锄头文库上搜索。

1、贝叶斯定理及应用贝叶斯定理及应用中央民族大学中央民族大学孙媛一贝叶斯定理一、贝叶斯定理贝叶斯定理（贝叶斯定理（Bayes theorem）由英国）由英国数学家数学家托马斯托马斯贝叶斯贝叶斯（Thomas Bayes）数学家数学家托马斯托马斯贝叶斯贝叶斯（Thomas Bayes）在在1763年发表的一篇论文中，首先提出了年发表的一篇论文中，首先提出了这个定理这个定理用来描述两个条件概率之间的用来描述两个条件概率之间的这个定理这个定理。用来描述两个条件概率之间的用来描述两个条件概率之间的关系，比如关系，比如 P(A|B) 和和 P(B|A)。一贝叶斯定理一、贝叶斯定理所谓的贝叶斯定

2、理源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。所谓的贝叶斯定理源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如如“假设袋子里面有假设袋子里面有 N 个白球个白球M 个黑球个黑球你伸手进去摸一你伸手进去摸一如如假设袋子里面有假设袋子里面有 N 个白球个白球，M 个黑球个黑球，你伸手进去摸一你伸手进去摸一把，摸出黑球的概率是多大”。而一个自然而然的问题是反过把，摸出黑球的概率是多大”。而一个自然

3、而然的问题是反过来：“如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色来：“如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测样的推测”。这个问题这个问题就是所谓的逆向概率问题就是所谓的逆向概率问题。样的推测样的推测。这个问题这个问题，就是所谓的逆向概率问题就是所谓的逆向概率问题。一贝叶斯定理一、贝叶斯定理实际上就是计算实际上就是计算“条件概率条件概率“的公式。的公式。所谓所

4、谓“条件概率条件概率“（Conditional probability），就是指在事就是指在事py，件件B发生的情况下，事件发生的情况下，事件A发生的概率，用发生的概率，用P(A|B)来表示。来表示。P(A)是是A的先验概率的先验概率之所以称为先验是因为它不考虑任何之所以称为先验是因为它不考虑任何BP(A)是是A的先验概率的先验概率，之所以称为先验是因为它不考虑任何之所以称为先验是因为它不考虑任何B的因素。的因素。P(A|B)是在是在B发生时发生时A发生的条件概率，称作发生的条件概率，称作A的后验概率。的后验概率。P(B)是是B的先验概率。的先验概率。P(B|A)是在是在A发生时发生时B发生的

5、条件概率，称作发生的条件概率，称作B的后验概率。的后验概率。贝叶斯贝叶斯定理定理与其他统计学推断方法截然不同与其他统计学推断方法截然不同它建立在主它建立在主贝叶斯贝叶斯定理定理与其他统计学推断方法截然不同与其他统计学推断方法截然不同。它建立在主它建立在主观判断的基础上，也就是说，你可以不需要客观证据，先观判断的基础上，也就是说，你可以不需要客观证据，先估计一个值，然后根据实际结果不断修正。正是因为它的估计一个值，然后根据实际结果不断修正。正是因为它的主观性太强主观性太强，曾经遭到许多统计学家的诟病曾经遭到许多统计学家的诟病。主观性太强主观性太强，曾经遭到许多统计学家的诟病曾经遭到许多统计学家的

6、诟病。贝叶斯定理需要大量的计算，因此历史上很长一段时间，贝叶斯定理需要大量的计算，因此历史上很长一段时间，无法得到广泛应用。只有计算机诞生以后无法得到广泛应用。只有计算机诞生以后，它才获得真正的重视。人们发现，许多统计量是无法事先进行客观判断它才获得真正的重视。人们发现，许多统计量是无法事先进行客观判断的，而互联网时代出现的大型数据集，再加上高速运算能的，而互联网时代出现的大型数据集，再加上高速运算能力力为验证这些统计量提供了方便为验证这些统计量提供了方便也为应用贝叶斯也为应用贝叶斯定理定理力力，为验证这些统计量提供了方便为验证这些统计量提供了方便，也为应用贝叶斯也为应用贝叶斯定理定理创造了条

7、件，它的威力正在日益显现。创造了条件，它的威力正在日益显现。一贝叶斯定理一、贝叶斯定理根据文氏图，可以很清楚地看到在事件根据文氏图，可以很清楚地看到在事件B发发生的情况下生的情况下事件事件A发生的概率就是发生的概率就是生的情况下生的情况下，事件事件A发生的概率就是发生的概率就是P(AB)除以除以P(B)P(AB)除以除以P(B)。一贝叶斯定理一、贝叶斯定理贝叶斯公式的用途在于通过己知三个概率来推贝叶斯公式的用途在于通过己知三个概率来推测第四个概率测第四个概率它的内容是它的内容是在在 B 出现的前出现的前测第四个概率测第四个概率。它的内容是它的内容是：在在 B 出现的前出现的前提下提下，A 出现

8、的概率等于出现的概率等于 A 出现的前提下出现的前提下 B 提下提下，出现的概率等于出现的概率等于出现的前提下出现的前提下出现的概率乘以出现的概率乘以 A 出现的概率再除以出现的概率再除以 B 出现出现的概率的概率。通过联系。通过联系 A 与与 B，计算从一个事件，计算从一个事件发生的情况下另事件发生的概率发生的情况下另事件发生的概率即从结果即从结果发生的情况下另发生的情况下另一一事件发生的概率事件发生的概率，即从结果即从结果上上溯到源头溯到源头（也（也即即逆向逆向概率概率）。）。溯到源头溯到源头即概率即概率一贝叶斯定理一、贝叶斯定理通俗地讲就是当你不能确定某一个事件发生的通俗地讲就是当你不能

9、确定某一个事件发生的概率时概率时你可以依靠与该事件本质属性相关的你可以依靠与该事件本质属性相关的概率时概率时，你可以依靠与该事件本质属性相关的你可以依靠与该事件本质属性相关的事件发生的概率去推测该事件发生的概率事件发生的概率去推测该事件发生的概率用用事件发生的概率去推测该事件发生的概率事件发生的概率去推测该事件发生的概率。用用数学语言表达就是：支持某项属性的事件发生数学语言表达就是：支持某项属性的事件发生得愈多，则该事件发生的可能性就愈大。这个得愈多，则该事件发生的可能性就愈大。这个推理过程有时候也叫贝叶斯推理。推理过程有时候也叫贝叶斯推理。二全概率公式二、全概率公式假定样本空间假定样本空间S

10、，是两个事件，是两个事件A与与A的和。的和。上图中上图中，红色部分是事件红色部分是事件A，绿色部分是事件绿色部分是事件上图中上图中，红色部分是事件红色部分是事件A，绿色部分是事件绿色部分是事件A，它们共同构成了样本空间，它们共同构成了样本空间S。在这种情况下，事件在这种情况下，事件B可以划分成两个部分。可以划分成两个部分。二全概率公式二、全概率公式这就是全概率公式。它的含义是，如果这就是全概率公式。它的含义是，如果A和和A构成样本空构成样本空间的间的一一个划分个划分，那么事件那么事件B的概率的概率，就等于就等于A和和A的概率的概率间的个划分间的个划分，那么事件那么事件B的概率的概率，就等于就等

11、于A和和A 的概率的概率分别乘以分别乘以B对这两个事件的条件概率之和。对这两个事件的条件概率之和。将这个公式代入上一节的条件概率公式，就得到了条件概将这个公式代入上一节的条件概率公式，就得到了条件概率的另率的另一一种写法种写法：率的另种写法率的另种写法：例1 1：随机选球问题例1 1：随机选球问题设有个各设有个各个球的箱个球的箱箱箱假假设有设有两两个各个各装了装了100个球的箱个球的箱子子，甲甲箱箱子中有子中有70个红球个红球，30个个绿绿球球，乙箱子中有乙箱子中有30，绿绿，个红球，个红球，70个绿球。假设随机选择其中一个绿球。假设随机选择其中一个箱子个箱子从中拿出从中拿出一一个球记

12、下球色再放回个球记下球色再放回个箱子个箱子，从中拿出个球记下球色再放回从中拿出个球记下球色再放回原箱子，如果得到的球是红球。问认为被原箱子，如果得到的球是红球。问认为被选择的箱子是甲箱子的概率有多大选择的箱子是甲箱子的概率有多大？选择的箱子是甲箱子的概率有多大选择的箱子是甲箱子的概率有多大？刚开始选择甲乙两箱子的先验概率都是刚开始选择甲乙两箱子的先验概率都是50%，因为是随机因为是随机二选一（这二选一（这是贝是贝叶叶斯定斯定理二选一理二选一的的因为是随机因为是随机是贝斯定的是贝斯定的特殊形式）。即有：特殊形式）。即有：P(甲甲) = 0 5P(乙乙) = 1 - P(甲甲)；P(甲甲)

14、到红球的概率乙箱子中拿到红球的概率P(红球红球|乙乙)：乙箱子中拿到红球的概率乙箱子中拿到红球的概率因此在出现一个红球的情况下，选择的是甲箱子的先因此在出现一个红球的情况下，选择的是甲箱子的先验概验概率率就可就可被被修修正为：正为：验概就可修验概就可修P(甲甲|红球红球1) = 0.7 0.5 / (0.7 0.5 + 0 3 0 5) = 0 70.3 0.5) = 0.7这表明，来自甲箱子的概率是这表明，来自甲箱子的概率是0.7。也就是。也就是说，取出红球之后，甲箱子的可能性得到说，取出红球之后，甲箱子的可能性得到了增强了增强。了增强了增强。如果选中的是一个绿球，问甲箱子的概率有

15、如果选中的是一个绿球，问甲箱子的概率有多多大？大？多多红球修正红球修正（概率增加概率增加），），绿球修正绿球修正（概率概率红球修正红球修正（概率增加概率增加），），绿球修正绿球修正（概率概率减少）减少）三贝叶斯推断的含义三、贝叶斯推断的含义对条件概率公式进行变形对条件概率公式进行变形，可以得到如下形式可以得到如下形式：对条件概率公式进行变形对条件概率公式进行变形，可以得到如下形式可以得到如下形式我们把我们把P(A)称为称为“先验概率先验概率”（Prior probability），即在），即在B事件发生之前，我们对事件发生之前，我们对A事件概率的一个判断。事件概率的一个判断。P(A|B

16、)称为称为“后验概率后验概率”（Posterior probability）P(A|B)称为称为后验概率后验概率（Posterior probability），），即在即在B事件发生之后，我们对事件发生之后，我们对A事件概率的重新评估。事件概率的重新评估。P(B|A)/P(B)称为称为“可能性函数可能性函数”（Likelyhood），），这是个调整因这是个调整因使得估概率接近真实概率使得估概率接近真实概率|y 这是这是一一个调整因个调整因子子，使得使得预预估概率估概率更更接近真实概率接近真实概率。贝叶斯推断（贝叶斯推断（Bayesian inference）是一种统计学方）是一种统计学方法法用来估计统计量的某种性质用来估计统计量的某种性质它是贝叶斯定理的应它是贝叶斯定理的应法法，用来估

展开阅读全文