《模式识别和机器学习课件》由会员分享，可在线阅读，更多相关《模式识别和机器学习课件（23页珍藏版）》请在金锄头文库上搜索。
1、2.3.5 Sequential estimation,1.序列估计的引入 2.序列估计在参数估计中的应用（高斯分布） 高斯分布对均值的最大似然估计如下 现在作如下变形：,3.用R-M算法产生普遍化的序列学习算法 考虑变量z，两个变量，联合概率分布为P(z,)，在条件下的z的条件分布的期望是关于的函数，如下： （2.127） 像这样定义的函数叫回归函数？,我们的目标是找出 ，对于给出的数据有两种情况： a 数据量足够大，直接构建回归函数求出 b 数据分次给出，序列估计的方法求出 现在考虑序列估计的方法,前提条件是满足下面的公式 （2.128） 基于上面的描述，提出了针对 的序列估计，公式如下
2、系数 满足以下三个条件,通过引入R-M算法，求解最大似然解 首先引入下面的等式 交换积分和求导顺序，并且使得 N 从2.134发现，求解 等价于求解回归函数的根值，利用R-M公式,实例：对高斯分布的均值用序列估计的方法 变量Z表示如下： 将2.136代入2.135 得到，并且假设 ，得到2.126的单变量形式,2.3.6 Bayesian inference for the Gaussian,一般来说对最大似然函数的参数估计都是点估计，现在考虑用贝叶斯的方法，引入的原因？ 下面分三种情况考虑 a：均值未知，方差已知 b：均值已知，方差未知 c：均值、方差皆未知 a:考虑单变量的情况，设 ，并且
3、假设方差已知，基于基于N个样本观测值来估计 所以有关 的似然函数如下,选取 的先验分布 为 所以后验概率为 经过证明得出 其中：,对上面两个式子进行分析 其中， 当N=0的时候， 当N= ， 其中 现在考虑一个D维的高斯变量X，且协方差已知，均值未知。现在有N个观测值，利用前一节讲到的序列估计的方法求在N个观测值的基础上估计均值。 公式如下：,b：均值已知，方差未知 现在假设随机变量x的方差未知，均值已知，并且为了后面的计算及讨论方便令 其中 为精度。 利用似然函数的定义可得 的似然函数如下： 与之相对应的先验分布为gamma分布为： gamma分布的均值和方差如下：,现在考虑一个先验分布为
4、，将此分布与似然函数2.145式相乘，得到后验分布如下： 将上式表达成参数为 的gamma分布如下：,c.方差和均值皆未知 为了找到这种情况下的先验分布，先对两个参数的共同的似然函数求出并变形： 所以我们希望找出一个与似然函数类似的有关连个参数的先验分布 ，表示如下：,2.153式子可以写成贝叶斯的形式， 通过观察一个服从高斯分布，一个服从gamma分布。所以将先验分布表示如下： 其中参数 上式的分布为标准伽马分布或者高斯伽马分布。2.154和2.152结合可以得到后验概率 现在考虑D维随机变量x的多元高斯分布其分布为 ，那么均值 的先验分布也为高斯分布。 假定均值已知，协方差矩阵未知，那么协
5、方差矩阵的先验分布为维希特分布，形式如下： 其中 为自由度，B为常量由下式定义：,当精确度和均值都不知道的时候，那么关于两者的先验分布为 上式表示为标准维希特分布或者高斯维希特分布,2.3.7 Students t-distribution,t-分布引入解决高斯分布的的敏感性问题? 假设随机变量x服从高斯分布 ，精度的先验分布为 t分布的引入式通过对下式求积分得出 ，也就是求x的边缘分布，如下： 通过变量替换 上式形式变化为t分布,参数 是t分布的精度， 是自由度 t分布的特征：鲁棒性 从式子2.158看出，t分布是无数多个均值相同方差不同的高斯分布的积分，也是混合高斯分布的一种，所以t分布比高斯分布有更长的间隔，对于存在异常点的数据来说，没有高斯分布敏感，这就是t分布的鲁棒性。如下图,多元t分布分析 将2.158作如下的参数替换 得到： 对于多元高斯分布有 ，用归纳法可得与之相对应的多元t分布为 积分可得： 其中：,2.3.8 Periodic variables,
