《第3章概率密度函数的估计new》由会员分享，可在线阅读，更多相关《第3章概率密度函数的估计new（249页珍藏版）》请在金锄头文库上搜索。
1、第第3章章 概率密度函数估计概率密度函数估计 3.1 引言引言3.2 参数估计的基本概念参数估计的基本概念3.3 最大似然估计最大似然估计3.4 贝叶斯估计与贝叶斯学习贝叶斯估计与贝叶斯学习3.5 两种估计方法的比较两种估计方法的比较3.6 错误率的估计问题错误率的估计问题3.7 讨论讨论1第第3章章 关于关于概率密度函数估计概率密度函数估计2第第3章章 概率密度函数估计概率密度函数估计3.1 3.1 引言引言 3第第3章章 概率密度函数估计概率密度函数估计3.1 引言引言 4第第3章章 概率密度函数估计概率密度函数估计3.1 3.1 引言引言 5第第3章章 概率密度函数估计概率密度函数估计3
2、.1 3.1 引言引言本章的主要讨论三个问题本章的主要讨论三个问题: : 6第第3章章 概率密度函数估计概率密度函数估计7第第3章章 概率密度函数估计概率密度函数估计8第第3章章 概率密度函数估计概率密度函数估计9第第3章章 概率密度函数估计概率密度函数估计3.1 3.1 引言引言从样本集推出总体概率分布的方法从样本集推出总体概率分布的方法: : 10第第3章章 概率密度函数估计概率密度函数估计11第第3章章 概率密度函数估计概率密度函数估计3.1 3.1 引言引言从样本集推出总体概率分布的方法从样本集推出总体概率分布的方法: : 12第第3章章 概率密度函数估计概率密度函数估计3.2 3.2
3、 参数估计的基本概念参数估计的基本概念 13第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计的基本概念参数估计的基本概念 14概率密度函数估计概率密度函数估计-引言引言参数估计的基本概念参数估计的基本概念: :15概率密度函数估计概率密度函数估计-引言引言参数估计的基本概念参数估计的基本概念: :163.2.1 3.2.1 最大似然估计最大似然估计173.2.1 3.2.1 最大似然估计最大似然估计183.2.1 3.2.1 最大似然估计最大似然估计193.2.1 3.2.1 最大似然估计最大似然估计203.2.1 3.2.1 最大似然估计最大似然估计213.2.1 3.2
4、.1 最大似然估计最大似然估计223.2.1 3.2.1 最大似然估计最大似然估计233.2.1 3.2.1 最大似然估计最大似然估计243.2.1 3.2.1 最大似然估计最大似然估计253.2.1 3.2.1 最大似然估计最大似然估计263.2.1 3.2.1 最大似然估计最大似然估计273.2.1 3.2.1 最大似然估计最大似然估计283.2.1 3.2.1 最大似然估计最大似然估计293.2.1 3.2.1 最大似然估计最大似然估计303.2.1 3.2.1 最大似然估计最大似然估计313.2.1 3.2.1 最大似然估计最大似然估计323.2.1 3.2.1 最大似然估计最大似然估
5、计333.2.1 3.2.1 最大似然估计最大似然估计343.2.2 3.2.2 正态分布下的最大似然估计正态分布下的最大似然估计353.2.2 3.2.2 正态分布下的最大似然估计正态分布下的最大似然估计363.2.2 3.2.2 正态分布下的最大似然估计正态分布下的最大似然估计373.2.2 3.2.2 正态分布下的最大似然估计正态分布下的最大似然估计383.2.2 3.2.2 正态分布下的最大似然估计正态分布下的最大似然估计393.2.2 3.2.2 正态分布下的最大似然估计正态分布下的最大似然估计403.2.2 3.2.2 正态分布下的最大似然估计正态分布下的最大似然估计413.2.2
6、 3.2.2 正态分布下的最大似然估计正态分布下的最大似然估计423.2.2 3.2.2 正态分布下的最大似然估计正态分布下的最大似然估计433.2.2 3.2.2 正态分布下的最大似然估计正态分布下的最大似然估计443.2.2 3.2.2 正态分布下的最大似然估计正态分布下的最大似然估计453.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习463.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习473.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习483.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习493.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和
7、贝叶斯学习503.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习513.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习523.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习533.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习543.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习553.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习563.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习573.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习583.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习593.2.3
8、.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习603.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习61第第3章章 概率密度函数估计概率密度函数估计3.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习62第第3章章 概率密度函数估计概率密度函数估计3.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习63第第3章章 概率密度函数估计概率密度函数估计3.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习64第第3章章 概率密度函数估计概率密度函数估计3.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习653.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和
9、贝叶斯学习663.2.3.2.3.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习673.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习683.2.3.2.贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习693.2.贝叶斯估计和贝叶斯学习703.2.贝叶斯估计和贝叶斯学习713.2.贝叶斯估计和贝叶斯学习723.2.贝叶斯估计和贝叶斯学习733.2.贝叶斯估计和贝叶斯学习743.2.贝叶斯估计和贝叶斯学习75第3章 概率密度函数估计最大似然估计、贝叶斯估计和贝叶斯学习之间的关系76第3章 概率密度函数估计最大似然估计、贝叶斯估计和贝叶斯
10、学习之间的关系77第3章 概率密度函数估计3.2 贝叶斯估计和贝叶斯学习最大似然估计、贝叶斯估计和贝叶斯学习之间的关系783.3 正态分布的监督参数估计3.3.1最大似然估计示例793.3 正态分布的监督参数估计3.3.1最大似然估计示例803.3 正态分布的监督参数估计3.3.1最大似然估计示例813.3 正态分布的监督参数估计3.3.1最大似然估计示例823.3 正态分布的监督参数估计3.3.1最大似然估计示例833.3 正态分布的监督参数估计3.3.2贝叶斯估计和贝叶斯学习示例843.3 正态分布的监督参数估计3.3.2贝叶斯估计和贝叶斯学习示例853.3 正态分布的监督参数估计3.3.
11、2贝叶斯估计和贝叶斯学习示例863.3.2贝叶斯估计和贝叶斯学习示例873.3.2贝叶斯估计和贝叶斯学习示例883.3.2贝叶斯估计和贝叶斯学习示例893.3 正态分布的监督参数估计3.3.2贝叶斯估计和贝叶斯学习示例903.3 正态分布的监督参数估计3.3.2贝叶斯估计和贝叶斯学习示例913.3 正态分布的监督参数估计3.3.2贝叶斯估计和贝叶斯学习示例923.3 正态分布的监督参数估计3.3.2贝叶斯估计和贝叶斯学习示例933.3 正态分布的监督参数估计3.3.2贝叶斯估计和贝叶斯学习示例943.3 正态分布的监督参数估计3.3.2贝叶斯估计和贝叶斯学习示例953.3 正态分布的监督参数估
12、计3.3.2贝叶斯估计和贝叶斯学习示例963.3 正态分布的监督参数估计3.3.2贝叶斯估计和贝叶斯学习示例973.3 正态分布的监督参数估计3.3.2贝叶斯估计和贝叶斯学习示例983.3 正态分布的监督参数估计3.3.2贝叶斯估计和贝叶斯学习示例993.3 正态分布的监督参数估计3.3.2贝叶斯估计和贝叶斯学习示例100最大似然方法和贝叶斯方法比较总结101最大似然方法和贝叶斯方法比较总结102最大似然方法和贝叶斯方法比较总结103最大似然方法和贝叶斯方法比较总结1043.4 非监督参数估计1053.4.1 非监督最大似然估计中的几个问题1063.4.1 非监督最大似然估计中的几个问题107
13、3.4.1 非监督最大似然估计中的几个问题1083.4.1 非监督最大似然估计中的几个问题1093.4.1 非监督最大似然估计中的几个问题1103.4.1 非监督最大似然估计中的几个问题1113.4.1 非监督最大似然估计中的几个问题1123.4.1 非监督最大似然估计中的几个问题1133.4.1 非监督最大似然估计中的几个问题1143.4.1 非监督最大似然估计中的几个问题1153.4.1 非监督最大似然估计中的几个问题1163.4.1 非监督最大似然估计中的几个问题117第3章 概率密度函数估计3.4.1 非监督最大似然估计中的几个问题见后页的推导过程:118119第3章 概率密度函数估计
14、3.4.1 非监督最大似然估计中的几个问题120第3章 概率密度函数估计3.4.1 非监督最大似然估计中的几个问题见后页的推导过程:121122123第3章 概率密度函数估计3.4.1 非监督最大似然估计中的几个问题124第3章 概率密度函数估计3.4.1 非监督最大似然估计中的几个问题125第3章 概率密度函数估计3.4.1 非监督最大似然估计中的几个问题126第3章 概率密度函数估计3.4.1 非监督最大似然估计中的几个问题127第3章 概率密度函数估计3.4.1 非监督最大似然估计中的几个问题128第3章 概率密度函数估计3.4.1 非监督最大似然估计中的几个问题129第3章 概率密度函
15、数估计3.4.1 非监督最大似然估计中的几个问题130第3章 概率密度函数估计3.4.1 非监督最大似然估计中的几个问题131第3章 概率密度函数估计3.4.1 非监督最大似然估计中的几个问题132第3章 概率密度函数估计3.4.2 正态分布下的非监督参数估计133第3章 概率密度函数估计3.4.2 正态分布下的非监督参数估计134第3章 概率密度函数估计3.4.2 正态分布下的非监督参数估计135第3章 概率密度函数估计3.4.2 正态分布下的非监督参数估计136第3章 概率密度函数估计3.4.2 正态分布下的非监督参数估计137第3章 概率密度函数估计3.4.2 正态分布下的非监督参数估计
16、138第3章 概率密度函数估计3.4.2 正态分布下的非监督参数估计139第3章 概率密度函数估计3.4.2 正态分布下的非监督参数估计140第3章 概率密度函数估计3.4.2 正态分布下的非监督参数估计141第3章 概率密度函数估计3.4.2 正态分布下的非监督参数估计142第3章 概率密度函数估计3.4.2 正态分布下的非监督参数估计143第3章 概率密度函数估计3.4.2 正态分布下的非监督参数估计144第3章 概率密度函数估计3.4.2 正态分布下的非监督参数估计145第3章 概率密度函数估计3.4.2 正态分布下的非监督参数估计146第3章 概率密度函数估计3.4.2 正态分布下的非
17、监督参数估计147第3章 概率密度函数估计3.5 总体分布的非参数估计 参数估计要求已知总体分布的形式。然而，很多实际问题并不知道总体分布形式，或总体分布不是一些通常遇到的典型分布，不能写成某些参数的函数，在这样情况下，设计贝叶斯分类器，仍然需要总体分布的知识，于是提出某些直接用样本估计总体分布的方法，即估计分布的非参数法。148第3章 概率密度函数估计3.5.1 3.5.1 基本方法基本方法149第3章 概率密度函数估计3.5.1 3.5.1 基本方法基本方法150第3章 概率密度函数估计3.5.1 3.5.1 基本方法基本方法151第3章 概率密度函数估计3.5.1 3.5.1 基本方法基
18、本方法152第3章 概率密度函数估计3.5.1 3.5.1 基本方法基本方法153第3章 概率密度函数估计3.5.1 3.5.1 基本方法基本方法154第3章 概率密度函数估计3.5.1 3.5.1 基本方法基本方法155第3章 概率密度函数估计3.5.1 3.5.1 基本方法基本方法156第3章 概率密度函数估计3.5.1 3.5.1 基本方法基本方法157第3章 概率密度函数估计3.5.1 3.5.1 基本方法基本方法158第3章 概率密度函数估计3.5.1 3.5.1 基本方法基本方法159第3章 概率密度函数估计3.5.1 3.5.1 基本方法基本方法160第3章 概率密度函数估计3.
19、5.1 3.5.1 基本方法基本方法161第3章 概率密度函数估计3.5.1 3.5.1 基本方法基本方法162第3章 概率密度函数估计3.5.1 3.5.1 基本方法基本方法163第3章 概率密度函数估计3.5.1 3.5.1 基本方法基本方法164第3章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法165第3章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法166第3章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法167第3章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法168第3
20、章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法169第3章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法170第3章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法171第3章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法172第3章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法173第3章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法174第3章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法175第
21、3章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法176第3章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法177第3章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法178第3章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法179180第3章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法181第3章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法182第3章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法
22、183184第3章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法185第3章 概率密度函数估计3.5.2 3.5.2 ParzenParzen窗法窗法186第3章 概率密度函数估计3.5.3 3.5.3 k kN N近邻估计近邻估计187第3章 概率密度函数估计3.5.3 3.5.3 k kN N近邻估计近邻估计188第3章 概率密度函数估计3.5.3 3.5.3 k kN N近邻估计近邻估计189第3章 概率密度函数估计3.5.3 3.5.3 k kN N近邻估计近邻估计190第3章 概率密度函数估计3.5.3 3.5.3 k kN N近邻估计近邻估计191第3章
23、 概率密度函数估计3.5.33.5.3k kN N近邻近邻估计估计192第3章 概率密度函数估计3.5.3 3.5.3 k kN N近邻估计近邻估计193第3章 概率密度函数估计3.6 3.6 关于分类器错误率的估计问题关于分类器错误率的估计问题 分类器错误率计算问题更多的是依赖于分类器错误率计算问题更多的是依赖于试验试验, ,利用样本来估计错误率。分为两种情利用样本来估计错误率。分为两种情况况: :（1 1）对于已设计好的分类器，利用样本来估）对于已设计好的分类器，利用样本来估计错误率。这种只用来估计分类器错误率的计错误率。这种只用来估计分类器错误率的样本集为检验（样本）集或考试（样本）集。
24、样本集为检验（样本）集或考试（样本）集。（2 2）对于未设计的好的分类器，需要将样本）对于未设计的好的分类器，需要将样本分成两部分：设计集和检验集。分别用来设分成两部分：设计集和检验集。分别用来设计分类器和估计错误率。用来估计分类器的计分类器和估计错误率。用来估计分类器的样本集为设计（样本）集。样本集为设计（样本）集。194第3章 概率密度函数估计3.6.1 3.6.1 关于已设计好分类器时错误率的关于已设计好分类器时错误率的估计问题估计问题利用样本来估计错误率，直观上可以认为在利用样本来估计错误率，直观上可以认为在N N个考试样本中错分的样本数越多，则错误率个考试样本中错分的样本数越多，则错
25、误率越大越大 。因此可用错分样本数与总考试样本。因此可用错分样本数与总考试样本数的比作为错误率的估计。数的比作为错误率的估计。需要进一步回答的问题：需要进一步回答的问题：（1 1）这种估计是最好的估计吗？）这种估计是最好的估计吗？（2 2）如果是，估计量的性质如何？）如果是，估计量的性质如何？（3 3）当考试样本数增加时，估计结果有所改）当考试样本数增加时，估计结果有所改善吗？表现在什么地方？善吗？表现在什么地方？195第3章 概率密度函数估计3.6.1 3.6.1 关于已设计好分类器时错误率的关于已设计好分类器时错误率的估计问题估计问题196第3章 概率密度函数估计3.6.1 3.6.1 关
26、于已设计好分类器时错误率的关于已设计好分类器时错误率的估计问题估计问题197第3章 概率密度函数估计3.6.1 3.6.1 关于已设计好分类器时错误率的关于已设计好分类器时错误率的估计问题估计问题198第3章 概率密度函数估计3.6.1 3.6.1 关于已设计好分类器时错误率的关于已设计好分类器时错误率的估计问题估计问题199200第第3章章 概率密度函数估计概率密度函数估计3.1 3.1 引言引言 201202203204第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 205第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 206第第
27、3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 207第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 208第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 209第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 210第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 211第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 212第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 213第第3章章 概率
28、密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 214第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 215第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 216第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 217第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 218第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 219220221222223224225226第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参
29、数估计 227第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 228第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 229第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 230第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 231第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 232第第3章章 概率密度函数估计概率密度函数估计3.3 3.3 非参数估计非参数估计 233第第3章章 概率密度函数估计概率密度函数估计3.3 3.3 非参数估计非参数估
30、计 234第第3章章 概率密度函数估计概率密度函数估计3.33.3非参数估计非参数估计 235第第3章章 概率密度函数估计概率密度函数估计3.33.3非参数估计非参数估计 236第第3章章 概率密度函数估计概率密度函数估计3.33.3非参数估计非参数估计 237第第3章章 概率密度函数估计概率密度函数估计3.3 3.3 非参数估计非参数估计 238第第3章章 概率密度函数估计概率密度函数估计3.3 3.3 非参数估计非参数估计 239第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 240第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计
31、241第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 242第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 243第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 244第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 245第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 246第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 247第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 248第第3章章 概率密度函数估计概率密度函数估计3.2 3.2 参数估计参数估计 249
