《第三章3.4经验bayes估计》由会员分享，可在线阅读，更多相关《第三章3.4经验bayes估计（6页珍藏版）》请在金锄头文库上搜索。
1、 188 3.4 经验贝叶斯估计 3.4 经验贝叶斯估计 经验贝叶斯方法（经验贝叶斯方法（Empirical Bayes Method）是）是 H.Robbins 在在 1955 年提出的，这种方法的思想受到统计 学者的高度重视 年提出的，这种方法的思想受到统计 学者的高度重视.统计界元老统计界元老 J. Neyman 甚至称它为统计 判决的 甚至称它为统计 判决的“两大突破两大突破”之一之一.几十年来，许多学者将几十年来，许多学者将 Robbins 的思想用于种种统计问题，得到了一些重要结果. 前面曾经指出，贝叶斯方法的困难之一，就在于要 求参数具有一定的先验分布.即使在某项具体问题中可 认
2、为这个要求是合理的，参数的先验分布一般也无法预 知，因而往往对它做一种人为性规定.因为当先验分布的 指定与实际情况不符时，所得的解会受到较大影响，这 样以来在对先验分布无法基本确定时，贝叶斯方法的适 用性和优越性就受到限制.经验贝叶斯方法就是针对这 个问题提出的. 经验贝叶斯方法分为两类，一是非参数经验贝叶斯 方法，二是参数经验贝叶斯方法. 的思想用于种种统计问题，得到了一些重要结果. 前面曾经指出，贝叶斯方法的困难之一，就在于要 求参数具有一定的先验分布.即使在某项具体问题中可 认为这个要求是合理的，参数的先验分布一般也无法预 知，因而往往对它做一种人为性规定.因为当先验分布的 指定与实际情
3、况不符时，所得的解会受到较大影响，这 样以来在对先验分布无法基本确定时，贝叶斯方法的适 用性和优越性就受到限制.经验贝叶斯方法就是针对这 个问题提出的. 经验贝叶斯方法分为两类，一是非参数经验贝叶斯 方法，二是参数经验贝叶斯方法. 3.1 非参数经验贝叶斯方法简介 非参数经验贝叶斯方法简介 非参数经验贝叶斯方法完全不指明先验分布，在获 得数据后， 利用数据来估计有关分布. 假定参数 非参数经验贝叶斯方法完全不指明先验分布，在获 得数据后， 利用数据来估计有关分布. 假定参数 （ 为参数空间） ，为参数空间） ， 的先验分布函数为的先验分布函数为( )G ， 分布密度为， 分布密度为( ) .
4、. ()dd XD=（D 为决策类） ，损失函数为（D 为决策类） ，损失函数为( , )Ld ，样本空间 为 ，样本空间 为 * X，而随机变量，而随机变量 * XX.于是对给定的.于是对给定的 ，X 的概率密度 为 ，X 的概率密度 为( | )f x.决策函数.决策函数d的风险函数为 的风险函数为 * ( , )( , ()( , ( ) () X RdELd XLd x q xdx = )(dR称为决策函数称为决策函数d在给定先验分布在给定先验分布( )G 下的贝叶斯风 险 下的贝叶斯风 险( ) ( , )( , ) ( ),R dE RdRdd = 189 记使贝叶斯风险最小的贝叶
5、斯决策为记使贝叶斯风险最小的贝叶斯决策为 G d. 在实际中， . 在实际中，( )G 往往是未知的，因此无法得到往往是未知的，因此无法得到 G d.假 定我们在过去已经多次面对这个统计决策问题，在第 假 定我们在过去已经多次面对这个统计决策问题，在第i次 碰到这个问题时， 样本为 次 碰到这个问题时， 样本为 i X， 真参数为， 真参数为 i .我们假定我们假定 具有 一定的先验分布 具有 一定的先验分布( )G ，且只知道，且只知道( )G 属于某个分布族属于某个分布族*F, 而而 1,n ?可以看成是从分布可以看成是从分布( )G 中抽出的相互独立同分 布的“样本” 中抽出的相互独立同
6、分 布的“样本”. 在给定在给定( )G 后，后， 1, , n XX?是可观测的，而是可观测的，而 1, , n ?是不可观测的是不可观测的.由于由于 1, , n XX?（通常称为历史样本） 是来自总体 （通常称为历史样本） 是来自总体 ( )( | )( ) G mxf xdG = 的样本， 且分布的样本， 且分布( ) G mx与先验分布与先验分布( )G 有关， 故样本有关， 故样本 1, , n XX? 中也包含了中也包含了( )G 的信息，的信息，n 越大所包含的信息越多越大所包含的信息越多. 现在再一次面对上述统计决策问题，得到的样本为现在再一次面对上述统计决策问题，得到的样本
7、为 X（通常称为当前样本） ， 真参数值为（通常称为当前样本） ， 真参数值为. 在求贝叶斯解时 可以参考历史样本 在求贝叶斯解时 可以参考历史样本 1,n XX?中获得的关于中获得的关于( )G 的信息，已选 定一个决策函数 的信息，已选 定一个决策函数d，这个，这个d将与将与 1, , n XX?有关，因而记为有关，因而记为 1 (|,) nnn ddXXX=?. 我们希望它的贝叶斯风险接近真正的 贝叶斯决策 . 我们希望它的贝叶斯风险接近真正的 贝叶斯决策() G dX（也称为贝叶斯解） 的贝叶斯风险（也称为贝叶斯解） 的贝叶斯风险() G R d， 并且当 ， 并且当n 时以时以()
8、G R d为极限.但为极限.但 1 (|,) nn dXXX?如何计算？ 首先，固定 如何计算？ 首先，固定 1, , n XX?，这时，这时 1 (|,) nn dXXX?只与只与X有关，其贝有关，其贝 190 叶斯风险为 叶斯风险为 11 ()(|,) ( ,(|,) nnnnn R dR dXXXE LdXXX=? 其中其中 E 表示对表示对(, )X的联合分布求期望的联合分布求期望. 由于由于 1, , n XX?也是 随机的，还要对它们求一次期望 也是 随机的，还要对它们求一次期望 ，这样得到，这样得到 n d的“全面”贝叶斯风险为的“全面”贝叶斯风险为 1 *() (|,) nnn
9、 RdE R dXXX=? 定义定义 3.12 任何同时依赖于历史样本任何同时依赖于历史样本 1, , n XX?和当前 样本 和当前 样本X的决策函数的决策函数 1 (|,) nnn ddXXX=?称为经验贝叶斯决策 函数.如果对任何先验分布 称为经验贝叶斯决策 函数.如果对任何先验分布( )*GF，有，有 lim*()() nn n RdR d = （ （5.13） 则称 ） 则称 n d为渐近最优的经验贝叶斯决策函数. 当我们考虑参数 为渐近最优的经验贝叶斯决策函数. 当我们考虑参数的经验贝叶斯估计时， 满足上述极 限式的 的经验贝叶斯估计时， 满足上述极 限式的 n d称为称为的渐近最
10、优经验贝叶斯估计的渐近最优经验贝叶斯估计. 应当注意，在经验贝叶斯决策函数应当注意，在经验贝叶斯决策函数 1 (|,) nn dXXX?中， 历 史 样 本 中， 历 史 样 本 1, , n XX?与 当 前 样 本 的 作 用 是 不 一 样 的 . 与 当 前 样 本 的 作 用 是 不 一 样 的 . 1, , n XX?的作用在于由之获得关于先验分布的作用在于由之获得关于先验分布( )G的信息以 帮 助 选 定 一 个 尽 可 能 接 近 贝 叶 斯 解 的 决 策 函 数 的信息以 帮 助 选 定 一 个 尽 可 能 接 近 贝 叶 斯 解 的 决 策 函 数 1 (|,) nn
11、dXXX?，而推断当前参数值的任务落在当前样本 X 的头上. ，而推断当前参数值的任务落在当前样本 X 的头上. 例例 3.20 设总体 X 服从设总体 X 服从 Poisson 分布，分布律为 分布，分布律为 191 ( | )/ ! x f xex =， ， (0,1,;0)x=? 1, , n XX?为来自总体的样本，在平方损失下求参数为来自总体的样本，在平方损失下求参数的经 验贝叶斯估计. 的经 验贝叶斯估计. 解解 设先验分布为设先验分布为( )G，则 X 的边缘分布密度为 ，则 X 的边缘分布密度为 0 ( )(/ !)( ) x G mxex dG = ， ， (0,1,)x=?
12、 在平方损失下， 在平方损失下，的贝叶斯估计为后验均值 的贝叶斯估计为后验均值 1 0 0 (1/ !)( ) (1) ( )( |)(1) ( ) (1/ !)( ) x G G x G xe dG mx dxEXx mx xe dG + + =+ 若若( )G未知，但有了历史样本未知，但有了历史样本 1, , n XX?，它们来自总体，它们来自总体 ( ) G mx，故可由样本估计，故可由样本估计( ) G mx 取 取( ) G mx的估计为 的估计为 11 1 ( |,) (,1 1 Gnn mx xxxxx n = + ?中等于 的个数)+ 以此代替 以此代替的贝叶斯估计中的的贝叶斯
13、估计中的( ) G mx， 可得到， 可得到的经验贝叶 斯估计 的经验贝叶 斯估计 1 1 1 (1| ,) (|,)(1) ( |,) Gn nn Gn mXXX dXXXX mXXX + =+ ? ? ? 上述经验贝叶斯估计渐近最优性的证明很复杂，故省略 不证. 上述经验贝叶斯估计渐近最优性的证明很复杂，故省略 不证. 3.2 参数经验贝叶斯估计简介 参数经验贝叶斯估计简介 参数的经验贝叶斯估计则指明先验分布族，但先验 分布中含有未知参数（称为超参数） ，需要利用观测数据 参数的经验贝叶斯估计则指明先验分布族，但先验 分布中含有未知参数（称为超参数） ，需要利用观测数据 192 来估计超参
14、数.将超参数的估计代入先验分布中，再求得 原参数的贝叶斯估计，进而求得参数的经验贝叶斯估计. 来估计超参数.将超参数的估计代入先验分布中，再求得 原参数的贝叶斯估计，进而求得参数的经验贝叶斯估计. 例例 3.21 设总体 X 服从正态分布设总体 X 服从正态分布( ,1)N，损失函数为，损失函数为 2 ( , )()Ldd=, ,的 先 验 分 布 只 知 道 属 于 分 布 族的 先 验 分 布 只 知 道 属 于 分 布 族 22 *(0,),0FN=, , 1, , n XX?为历史样本，由于为历史样本，由于 X 在在 的先验 分布 的先验 分布 2 (0,)N之下的边缘分布为之下的边缘
15、分布为 2 (0,1)N+，于是得，于是得 2 的估计 为 的估计 为 22 1 1 1 n i i X n = = (5.14) 设当前样本为 设当前样本为 X，取，取 的先验分布为的先验分布为 2 (0,)N，则在平方损 失下 ，则在平方损 失下 的贝叶斯估计为 的贝叶斯估计为 2 212 1 2 11 (|,)() (1) 1 nn n nnii ii n dXXXXXXX = = + ? 其贝叶斯风险为 其贝叶斯风险为 2 1 (|,) nnn R dXXX=? 2 /(1) n + 因而得到 因而得到 n d的全面贝叶斯风险为 的全面贝叶斯风险为 *() n Rd= =E 2 n 2 /(1) n + (5.15) 由大数定律，以概率 1 地成立 由大数定律，以概率 1 地成立 222 (1) 1 n + = 由由(3.15)式及控制收敛定理得 式及控制收敛定理得 lim*() n n Rd = = 2 2 /(1)+ 即当 即当的先验分布为的先验分布为 2 (0,)N时，上式右端为时，上式右端为的贝叶斯
