《【精选】作业二：贝叶斯估计》由会员分享，可在线阅读，更多相关《【精选】作业二：贝叶斯估计（3页珍藏版）》请在金锄头文库上搜索。
1、抛掷一枚硬币，假设出现正面的概率为 P，出现反面的概率为 1-P，参数 P是未知的，为了估计参数 P 的取值，进行 10 次随机试验，出现了 3 次正面，7次反面。根据现在获取的试验数据，如何才能估计出参数 P？1、 【极大似然估计】极大似然估计的想法和统计物理中导出最概然分布想法是相同，这个想法就是我们所看到的，就是最可能发生的。以这个想法为基础就能够建立极大似然估计的方法。极大似然估计包括两个步骤，第一步写出实验数据 发生的概率 ，概率表示中含有待估的未x(|)PX知参数 ；第二步极大化目标函数 ，使得目标函数 取极值的 ，就是(|)PX|参数 的极大似然估计。下面以硬币的问题例具体说明这
2、两个步骤。 第一步写出实验数据 发生的概率 。参数 在硬币问题中指的是出现正面x(|)的概率 P，实验数据 指的是 10 次实验中出现了 3 次正面和 7 次反面。如果实验中出现 h 次正面，t 次反面，那么出现该实验结果出现的概率为 : (|)(1)htPXP第二步极大化 ，得到参数 的极大似然估计 。由于极大化 等价(|)X|X于极大化 ，可以通过求解 的最大值来简化求解过程。|LogP(|)Log极值条件为： (|)0ogpx将 = 代入极值条件中得(|)Logpx1hLt= =0(|)ogpxhtp由等式 =0 可以求解出使得 最大的参数 P1htp(|)Lhpt这就是硬币正面出现概率
3、的极大似然估计。将结果代入以上公式，可计算出这枚硬币出现正面的概率为 P=3/10。2、 【贝叶斯估计】我们通过极大似然估计得到硬币出现正面的概率是 3/10，但是生活经验告诉我们硬币正反面出现的概率相等都是 1/2。到底我们应该相信那个结果呢？一种好的方法就是将生活经验和实验数据两个因素综合在一起考虑，贝叶斯估计很好的做到了这一点。 贝叶斯估计可以分为三个步骤来实现。第一步确定先验，第二步写出似然函数并计算后验，第三步根据后验计算贝叶斯估计。下面通过硬币的例子来说明贝叶斯估计的实现步骤。 第一步 确定先验，我们使用的先验分布是 具体是这个样,pBetat子 11()()fp其中 相当于之前已
4、经进行了 次抛掷硬币实验，出现了 次,Beta正面和 次反面。第二步 写出似然函数并计算后验， (|)(|)pxp11|1()htp添加归一化系数之后就能得到后验分布 11(|)()httpxh第三步 根据后验计算贝叶斯估计 (|)xd将后验的具体表达式代入得 11()httppdht代入具体数据， =200， =200，h=3 ，t=7 。=0.49520341hpt我们的先验知识对结果产生了很大的影响，不添加先验时极大似然估计的结果是 p=3/10，添加先验之后，较少的实验数据只对先验做出微小的调整，贝叶斯估计的结果是p = 0.495。可以看出样本较少时先验对结果产生重要的影响，但随着样本量的增加先验的影响逐渐减弱，并且贝叶斯估计的结果趋近极大似然估计的结果。这个结论不仅仅对于硬币问题成立，对于所有的贝叶斯估计，随着样本量的增加先验的影响逐渐减弱，贝叶斯估计趋近极大似然估计。对以上的讨论做一下总结：如果样本量小，先验知识又是可获得的，贝叶斯估计能够将先验知识和样本信息整 1合起来获得更好的效果。 如果样本量较大，先验产生的作用很小，可以忽略。贝叶斯估计趋近极大似然估计， 2只反应样本信息。
