《参数估计统计决策法》由会员分享，可在线阅读，更多相关《参数估计统计决策法（47页珍藏版）》请在金锄头文库上搜索。
1、,模式识别 Pattern Classification,第四章: 参数估计统计决策法,Applied Pattern Recognition CSE616,3,参数估计,原理 对于绝大多数的识别问题，类概率密度函数已知的条件并不成立，而通常只知类概率密度的函数形式，其参数未知。 参数估计法即是利用学习样本来估计类概率密度参数的方法。,Applied Pattern Recognition CSE616,4,参数估计,两种方法原理不同，但结果是一致的！,Applied Pattern Recognition CSE616,5,参数估计,原理 最大似然估计法：将待估参数视为确定的未知量进行估计
2、Bayes估计法：将待估参数视为随机变量进行估计,Applied Pattern Recognition CSE616,6,最大似然估计法（ML）,已知条件 拥有一批已知类别的学习样本 ，并知第j类的类概率密度 的函数形式，参数未知。 问题 由学习样本 估计最佳参数。,Applied Pattern Recognition CSE616,7,最大似然估计法,解决方案,Applied Pattern Recognition CSE616,8,最大似然估计法,解决方案,Applied Pattern Recognition CSE616,9,最大似然估计法,设有6个学习样本如下图所示，样本分布满足
3、正态分布，且方差已知，现需估计最佳的均值 可以看出， 取A和B对似然函数 的影响,Applied Pattern Recognition CSE616,10,最大似然估计法,P ( x / ),Applied Pattern Recognition CSE616,11,最大似然估计法,设有6个学习样本如下图所示，样本分布满足正态分布，且均值已知，现需估计最佳的方差 可以看出， 的变化对似然函数 的影响,参数1 优于 2,Applied Pattern Recognition CSE616,12,最大似然估计法,如何寻求最优参数？,Applied Pattern Recognition CSE6
4、16,13,解决方案 用求极值的方法求最佳值 为计算方便，对似然函数求自然对数:,最大似然估计法,Applied Pattern Recognition CSE616,14,最大似然估计法,解决方案 定义梯度算子为：,Applied Pattern Recognition CSE616,15,最大似然估计法,解决方案 则令：,Applied Pattern Recognition CSE616,16,最大似然估计法,解决方案 即： 可得到r个关于参数的方程组，求解方程组，即可求得最佳估计值。,Applied Pattern Recognition CSE616,17,最大似然估计法,例一：设样
5、本满足一维正态分布，现已知n个学习样本，试用最大似然估计法估计其均值和方差。 解：对于一维正态分布 待估参数为 其中,Applied Pattern Recognition CSE616,18,最大似然估计法,可记为: 则似然函数为：,Applied Pattern Recognition CSE616,19,最大似然估计法,令: 即:,Applied Pattern Recognition CSE616,20,最大似然估计法,得: 解得:,Applied Pattern Recognition CSE616,21,最大似然估计法,例二：设样本满足d维正态分布，其中协方差矩阵已知，且已知n个学
6、习样本，试用最大似然估计法估计均值向量。,Applied Pattern Recognition CSE616,22,最大似然估计法,解： 样本满足正态分布，则 似然函数,Applied Pattern Recognition CSE616,23,最大似然估计法,协方差矩阵已知，仅有一个待参数均值向量，即= 令 得：,Applied Pattern Recognition CSE616,24,最大似然估计法,即： 可得=的最佳估计值为： 即最佳均值向量是n个学习样本的重心（算数平均）。,最佳估计值,Applied Pattern Recognition CSE616,25,最大似然估计法,例三
7、:设 为多维正态分布，现已知n个学习样本，试用最大似然估计法估计 和 。 解:与前述方法相同，即：,Applied Pattern Recognition CSE616,26,最大似然估计法,似然函数 令:,Applied Pattern Recognition CSE616,27,最大似然估计法,得:,Applied Pattern Recognition CSE616,28,最大似然估计法,基于最大似然估计法的分类器设计 确定样本类概率密度函数形式 确定待估参数 根据学习样本，用最大似然估计法估计概率密度函数的参数 估计样本先验概率 用Bayes方法设计分类器,Applied Patter
8、n Recognition CSE616,29,Bayes估计,原理： 将待估参数视为具有某种先验分布的随机变量，通过学习样本的观察，将先验分布转换为后验概率，并以此来修正参数的估计值。,Applied Pattern Recognition CSE616,30,Bayes估计,实现过程 将待估参数 视为随机变量，并由先验只是得到粗略分布,Applied Pattern Recognition CSE616,31,Bayes估计,为已知函数形式的类概率密度， 待估，且知n个学习样本，记为 ，j为类别。 由Bayes公式有： 其中 为的后验概率，表示在观察了n个学习样本 后对 的修正分布。,Ap
9、plied Pattern Recognition CSE616,32,Bayes估计,则表示在参数为 的条件下，n个样本 出现的概率。 为待估随机参数的先验概率分布。 与 无关，可用系数 代替 即：,Applied Pattern Recognition CSE616,33,Bayes估计,显然，由于n个学习样本是独立抽取的，则 可得：,观察了n个样本后的修正分布,Applied Pattern Recognition CSE616,34,Bayes估计,合理的估计方法是：在修正的 分布 中，使 得 取值最大的 值 即是的最佳估计值。,Applied Pattern Recognition
10、CSE616,35,Bayes估计,P(/X(j),0,P(),n,Applied Pattern Recognition CSE616,36,Bayes估计,例：已知类概率密度为一维正态分布，其中方差 已知，均值 参数待估。试用Bayes估计法估计均值,Applied Pattern Recognition CSE616,37,Bayes估计,解： 对一维正态分布,Applied Pattern Recognition CSE616,38,Bayes估计,首先，将待估参数 视为随机变量，并具有一定的初始分布。 假设其具有正态分布 ：,Applied Pattern Recognition C
11、SE616,39,Bayes估计,Applied Pattern Recognition CSE616,40,Bayes估计,观察了n个学习样本后，的后验概率(修正分布) 为：,Applied Pattern Recognition CSE616,41,Bayes估计,可见：修正后的分布仍为正态分布！其均值为n，方差为n2 其中：,Applied Pattern Recognition CSE616,42,Bayes估计,即： n表示在观察了一组样本后，对的最好的推断，而n2 则反映了这个推断的不确定性!,Applied Pattern Recognition CSE616,43,Bayes估
12、计,Applied Pattern Recognition CSE616,44,Bayes估计,待估的最佳均值=？ 答案： = n,Applied Pattern Recognition CSE616,45,Bayes估计,考虑样本数对估计值的影响 当 时, , Bayes估计与最大似然估计的结果相同!,Applied Pattern Recognition CSE616,46,Bayes估计,此时, 为函数。 即随着样本数的增加，的初始分布p()对的估计影响越来越小 。 反映了对参数估计的不确定性，当 时，,Applied Pattern Recognition CSE616,47,Bayes估计,
