信号检测与估计2006-第6讲BAYES估计

《信号检测与估计2006-第6讲BAYES估计》由会员分享，可在线阅读，更多相关《信号检测与估计2006-第6讲BAYES估计（87页珍藏版）》请在金锄头文库上搜索。

1、统计信号处理基础 估计理论 杨文电子信息学院 测绘校区教学实验大楼十楼1008室 E-mail: yw 贝叶斯 ? ? 贝叶斯贝叶斯贝叶斯贝叶斯1 7 0 11 7 0 1年出生于英国，比费马晚了整整年出生于英国，比费马晚了整整年出生于英国，比费马晚了整整年出生于英国，比费马晚了整整1 0 01 0 0 年，比帕斯卡晚了年，比帕斯卡晚了年，比帕斯卡晚了年，比帕斯卡晚了7 87 8年，他的一生并不辉煌。作为一年，他的一生并不辉煌。作为一年，他的一生并不辉煌。作为一年，他的一生并不辉煌。作为一 名皇家协会的会员，他生前在数学领域并未发表任何名皇家协会的会员，他生前在数学领域并未发表任何名皇家协会的

2、会员，他生前在数学领域并未发表任何名皇家协会的会员，他生前在数学领域并未发表任何 文章。在他死后，他的论文文章。在他死后，他的论文文章。在他死后，他的论文文章。在他死后，他的论文“ “如何解决随机原理中某一如何解决随机原理中某一如何解决随机原理中某一如何解决随机原理中某一 问题的论述问题的论述问题的论述问题的论述” ”发表了。当时，人们没有对此引起重视。发表了。当时，人们没有对此引起重视。发表了。当时，人们没有对此引起重视。发表了。当时，人们没有对此引起重视。 然而，据彼得然而，据彼得然而，据彼得然而，据彼得 伯恩斯坦说，贝叶斯的论述伯恩斯坦说，贝叶斯的论述伯恩斯坦说，贝叶斯的论述伯恩斯坦说，

3、贝叶斯的论述“ “是一篇极是一篇极是一篇极是一篇极 具创新思想的作品，它使贝叶斯在统计学家、经济学具创新思想的作品，它使贝叶斯在统计学家、经济学具创新思想的作品，它使贝叶斯在统计学家、经济学具创新思想的作品，它使贝叶斯在统计学家、经济学 家和社会学家中占有不朽的地位。家和社会学家中占有不朽的地位。家和社会学家中占有不朽的地位。家和社会学家中占有不朽的地位。” ” ? ? 贝叶斯定理教给我们一种逻辑分析方法，即为什么在贝叶斯定理教给我们一种逻辑分析方法，即为什么在贝叶斯定理教给我们一种逻辑分析方法，即为什么在贝叶斯定理教给我们一种逻辑分析方法，即为什么在 众多可能性中只有某一种结果会发生。从概念

4、上讲这众多可能性中只有某一种结果会发生。从概念上讲这众多可能性中只有某一种结果会发生。从概念上讲这众多可能性中只有某一种结果会发生。从概念上讲这 是一种简单的步骤。我们首先基于所掌握的证据为每是一种简单的步骤。我们首先基于所掌握的证据为每是一种简单的步骤。我们首先基于所掌握的证据为每是一种简单的步骤。我们首先基于所掌握的证据为每 一种结果分配一个概率。当更多的证据出现时，我们一种结果分配一个概率。当更多的证据出现时，我们一种结果分配一个概率。当更多的证据出现时，我们一种结果分配一个概率。当更多的证据出现时，我们 对原有的概率进行调整以反映新的信息。为了成功地对原有的概率进行调整以反映新的信息。

5、为了成功地对原有的概率进行调整以反映新的信息。为了成功地对原有的概率进行调整以反映新的信息。为了成功地 应用概率原理，关键的一步是要将历史数据与最近可应用概率原理，关键的一步是要将历史数据与最近可应用概率原理，关键的一步是要将历史数据与最近可应用概率原理，关键的一步是要将历史数据与最近可 得的数据相结合，这就是行动中的贝叶斯分析法。得的数据相结合，这就是行动中的贝叶斯分析法。得的数据相结合，这就是行动中的贝叶斯分析法。得的数据相结合，这就是行动中的贝叶斯分析法。 “争论” ? ? 即便在他的时代，即便在他的时代，即便在他的时代，即便在他的时代，BayesBayes发现他自己置身于主流之外。发现

6、他自己置身于主流之外。发现他自己置身于主流之外。发现他自己置身于主流之外。 他于他于他于他于17021702年出生于伦敦，后来他成为了一名年出生于伦敦，后来他成为了一名年出生于伦敦，后来他成为了一名年出生于伦敦，后来他成为了一名 Presbyterian ministerPresbyterian minister。虽然他看到了自己的两篇。虽然他看到了自己的两篇。虽然他看到了自己的两篇。虽然他看到了自己的两篇 论文被发表了，他的理论很有效，但是论文被发表了，他的理论很有效，但是论文被发表了，他的理论很有效，但是论文被发表了，他的理论很有效，但是Essay Essay Toward Solving

7、 a Problem in the Doctrine of Toward Solving a Problem in the Doctrine of ChancesChances却一直到他死后的第三年，也就是却一直到他死后的第三年，也就是却一直到他死后的第三年，也就是却一直到他死后的第三年，也就是17641764 年才被发表。年才被发表。年才被发表。年才被发表。 ? ? 神学家神学家神学家神学家Richard PriceRichard Price和法国的数学家和法国的数学家和法国的数学家和法国的数学家Pierre Simon Pierre Simon LaPlaceLaPlace成为了早期的支持

8、者。该理论和后来成为了早期的支持者。该理论和后来成为了早期的支持者。该理论和后来成为了早期的支持者。该理论和后来George George BooleBoole，布尔数学之父的理论背道而驰。，布尔数学之父的理论背道而驰。，布尔数学之父的理论背道而驰。，布尔数学之父的理论背道而驰。George George BooleBoole的理论是基于代数逻辑的，并最终导致了二进的理论是基于代数逻辑的，并最终导致了二进的理论是基于代数逻辑的，并最终导致了二进的理论是基于代数逻辑的，并最终导致了二进 制系统的诞生。也是皇室成员之一的制系统的诞生。也是皇室成员之一的制系统的诞生。也是皇室成员之一的制系统的诞生。

9、也是皇室成员之一的BooleBoole死于死于死于死于18641864 年。年。年。年。 ? ? 批评者周期性地声称批评者周期性地声称批评者周期性地声称批评者周期性地声称BayesBayes模型依赖于主观的数据，模型依赖于主观的数据，模型依赖于主观的数据，模型依赖于主观的数据， 而让人类去判断答案是否正确。而概率论模型没有完而让人类去判断答案是否正确。而概率论模型没有完而让人类去判断答案是否正确。而概率论模型没有完而让人类去判断答案是否正确。而概率论模型没有完 全解决在人类思维过程中存在的细微差别的问题。全解决在人类思维过程中存在的细微差别的问题。全解决在人类思维过程中存在的细微差别的问题。全

10、解决在人类思维过程中存在的细微差别的问题。 贝叶斯定理 ? ? 贝叶斯定理为我们提供了不断更新我们原有假设贝叶斯定理为我们提供了不断更新我们原有假设贝叶斯定理为我们提供了不断更新我们原有假设贝叶斯定理为我们提供了不断更新我们原有假设的的的的 数学程序数学程序数学程序数学程序( (这源于贝叶斯所称的先验信息分布这源于贝叶斯所称的先验信息分布这源于贝叶斯所称的先验信息分布这源于贝叶斯所称的先验信息分布) ) 以便以便以便以便 产生一个后序信息分布图。换句话说，先验概率与新的信息相结产生一个后序信息分布图。换句话说，先验概率与新的信息相结产生一个后序信息分布图。换句话说，先验概率与新的信息相结产生一

11、个后序信息分布图。换句话说，先验概率与新的信息相结 合就产生了后序概率，从而改变了我们相对的概率机遇。合就产生了后序概率，从而改变了我们相对的概率机遇。合就产生了后序概率，从而改变了我们相对的概率机遇。合就产生了后序概率，从而改变了我们相对的概率机遇。 ? ? 这一切都是如何操作的呢？假设你和你的朋友在某个下午正在玩这一切都是如何操作的呢？假设你和你的朋友在某个下午正在玩这一切都是如何操作的呢？假设你和你的朋友在某个下午正在玩这一切都是如何操作的呢？假设你和你的朋友在某个下午正在玩 你们最喜欢的掷骰子跳棋游戏，你们一边玩一边聊着，棋局已接你们最喜欢的掷骰子跳棋游戏，你们一边玩一边聊着，棋局已接

12、你们最喜欢的掷骰子跳棋游戏，你们一边玩一边聊着，棋局已接你们最喜欢的掷骰子跳棋游戏，你们一边玩一边聊着，棋局已接 近尾声。这时你朋友说的什么话触动了你想打赌的愿望，但只是近尾声。这时你朋友说的什么话触动了你想打赌的愿望，但只是近尾声。这时你朋友说的什么话触动了你想打赌的愿望，但只是近尾声。这时你朋友说的什么话触动了你想打赌的愿望，但只是 友好性地赌注。在掷骰子跳棋游戏中，掷一次骰子直接获得友好性地赌注。在掷骰子跳棋游戏中，掷一次骰子直接获得友好性地赌注。在掷骰子跳棋游戏中，掷一次骰子直接获得友好性地赌注。在掷骰子跳棋游戏中，掷一次骰子直接获得6 6这这这这 一面的机会是一面的机会是一面的机会是

13、一面的机会是1 / 61 / 6，即，即，即，即1 61 6的概率。但这时假设你朋友投了骰的概率。但这时假设你朋友投了骰的概率。但这时假设你朋友投了骰的概率。但这时假设你朋友投了骰 子，但很快用手将骰子盖住并偷偷看了一眼，她说：子，但很快用手将骰子盖住并偷偷看了一眼，她说：子，但很快用手将骰子盖住并偷偷看了一眼，她说：子，但很快用手将骰子盖住并偷偷看了一眼，她说：“ “我可以告我可以告我可以告我可以告 诉你，这是一个双数。诉你，这是一个双数。诉你，这是一个双数。诉你，这是一个双数。” ”有了这条信息，你赌赢的机会就变成了有了这条信息，你赌赢的机会就变成了有了这条信息，你赌赢的机会就变成了有了这

14、条信息，你赌赢的机会就变成了1 1 / 3/ 3，即，即，即，即3 33 3的概率。正当你在考虑是否改变赌注的时候，你的的概率。正当你在考虑是否改变赌注的时候，你的的概率。正当你在考虑是否改变赌注的时候，你的的概率。正当你在考虑是否改变赌注的时候，你的 朋友又开玩笑地说：朋友又开玩笑地说：朋友又开玩笑地说：朋友又开玩笑地说：“ “这个数不是这个数不是这个数不是这个数不是4 4。” ”有了这条信息你赌赢的机有了这条信息你赌赢的机有了这条信息你赌赢的机有了这条信息你赌赢的机 会再次改变，变成了会再次改变，变成了会再次改变，变成了会再次改变，变成了1 / 21 / 2，即，即，即，即5 05 0的概

15、率。在这种简单的关系的概率。在这种简单的关系的概率。在这种简单的关系的概率。在这种简单的关系 中，你已经实施了贝叶斯的分析方法。每一条新信息都会影响你中，你已经实施了贝叶斯的分析方法。每一条新信息都会影响你中，你已经实施了贝叶斯的分析方法。每一条新信息都会影响你中，你已经实施了贝叶斯的分析方法。每一条新信息都会影响你 原来的概率假设，这就是贝叶斯推理。原来的概率假设，这就是贝叶斯推理。原来的概率假设，这就是贝叶斯推理。原来的概率假设，这就是贝叶斯推理。 贝叶斯统计 ?英国学者英国学者T.贝叶斯贝叶斯1763年在论有关机遇问 题的求解中提出一种归纳推理的理论，后被 一些统计学者发展为一种系统的统

16、计推断方 法，称为 年在论有关机遇问 题的求解中提出一种归纳推理的理论，后被 一些统计学者发展为一种系统的统计推断方 法，称为贝叶斯方法贝叶斯方法。 ?采用贝叶斯方法作统计推断所得的全部结果， 构成贝叶斯统计的内容。认为贝叶斯方法是唯 一合理的统计推断方法的统计学者，组成数理 统计学中的贝叶斯学派，其形成可追溯到 采用贝叶斯方法作统计推断所得的全部结果， 构成贝叶斯统计的内容。认为贝叶斯方法是唯 一合理的统计推断方法的统计学者，组成数理 统计学中的贝叶斯学派，其形成可追溯到 20 世纪世纪 30 年代。到年代。到5060年代，已发展为一 个有影响的学派。时至今日，其影响日益扩大。 年代，已发展为一 个有影响的学派。时至今日，其影响日益扩大。 贝叶斯学派 ? ? BayesBayes统计模型的特点是将参数统计模型的特点是将参数统计模型的特点是将参数统计模型的特点是将参数视为随机变量，并视为随机变量，并视为随机变量，并视为随机变量，并 具有先验分布具有先验分布具有先验分布具