《贝叶斯统计3.4,3.5》由会员分享，可在线阅读，更多相关《贝叶斯统计3.4,3.5（35页珍藏版）》请在金锄头文库上搜索。
1、1,第三章 先验分布的确定,3.1 主观概率 3.2 利用先验信息确定先验分布3.3 利用边缘分布m(x)确定先验密度 3.4 无信息先验分布 3.5 多层先验,2,3.4 无信息先验分布,一、贝叶斯假设 二、位置尺度参数族的无信息先验 三、用Fisher信息阵确定无信息先验,3,所谓参数的无信息先验分布是指除参数的取值范围和在总体分布中的地位之外，再也不包含的任何信息的先验分布。 一、贝叶斯假设 有人把“不包含的任何信息”这句话理解为对 的任何可能值，都没有偏爱，都是同样无知的。因此很自然地把的取值范围上的“均匀”分布看作的先验分布，即,其中是的取值范围，c是一个容易确定的常数。这一看法通常
2、被称为贝叶斯假设。,4,例 射击的命中率 一种新产品的市场占有率 一无所知时可用(0,1)上的均匀分布U(0,1)作为先验分布。,5,说明1.贝叶斯假设有其合理的方面。,（1）=1,n为有限集，且对i发生无任何信息，那么自然认为其上的均匀分布,作为的先验分布是合理的。,（2）若=（a,b）为有限区间，那可用U（a, b）作为的先验分布.,2.使用贝叶斯假设也会遇到一些麻烦，主要有以下2个：,（1）当为无限区间时，在上无法定义一个正常的均匀分布.,（2）贝叶斯假设不满足变换下的不变性。,6,7,8,2.由此决定的后验分布(|x)是个正常的密度函数，,定义3.1 设Xf（x|）,.若的先验分布()
3、满足下列条件:,则称()为的广义先验分布。,（2）贝叶斯假设不满足变换下的不变性。,例3.16 正态分布的标准差，它的参数空间为(0,+ )。,若定义一个变换,注意：不能随意设定一个常数为某参数的先验分布，即不能随意使用贝叶斯假设.,9,10,Jeffreys首先考虑这类问题。若要考虑参数的无信息先验，他首先要知道该参数在总体分布中的地位，譬如是位置参数还是尺度参数。根据参数在分布的地位选用适当变换下的不变性来确定其无信息先验分布。这样确定先验分布的方法是没有任何先验信息，但要用到总体分布的信息。 以后会看到用这种方法确定的无信息先验分布大都是广义先验分布。,11,1.位置参数的定义 设总体X
4、的密度具有形式p(x-),其样本空间和参数空间皆为实数集R。这类密度组成位置参数族。称为位置参数. 2.位置参数的无信息先验分布 位置参数的无任何信息为()=1 这表明，当为位置参数时，其先验分布可利用贝叶斯假设作为无信息先验分布.,二、位置参数的无信息先验分布,12,13,14,例3.18 设x是从正态总体N(,2)抽取的容量为1的样本，其中2已知，未知，但知其为正，试求参数的估计。,解：这是一种带约束条件的估计问题，用贝叶 斯方法解决这类问题比较容易。取参数的无 信息先验分布为（0，）上的均匀分布，即： （）=I（0，）（） 由此可得后验密度： 若取后验均值作为的估计，则:,15,16,1
5、.尺度参数的定义 设总体X的密度具有形式 ,其中称为尺度参数，参数空间为R+=(0,+)。这类密度的全体称为尺度参数族。 例如N(0,2),Ga(,1/)(已知) 2.尺度参数的无信息先验分布 尺度参数的无任何信息为()=1/，0,三、尺度参数的无信息先验分布,17,18,例3.19 设总体X服从指数分布 ，其密度函数为,其中是尺度参数,设(x1,xn)是来自该指数分布的一个样本.的先验分布取无信息先验分布.,19,20,21,设(x1,xn)是来自密度函数p(x|)的一个样本.这里=（1,p)是p维参数向量。在对无先验信息可用时，Jeffreys用Fisher信息阵的行列式的平方根作为的无信
6、息先验分布。这样的无信息先验分布通常称为Jeffreys先验。,四、用Fisher信息阵确定无信息先验分布,22,（1）写出样本的对数似然函数,（2）求样本的信息阵,在单参数(p=1)场合,(3)的无信息先验密度为,在单参数(p=1)场合,求解步骤,23,例3.20 设x=(x1,x2,xn)服从多项分布， 其中 求(1,2,m)的无信息先验分布.,24,25,26,27,例3.22 设为成功概率，则在n次独立试验中成功次数X 服从二项分布，即： 试求参数的Jerfreys先验。,28,例3.22,关于成功概率的无信息先验分布至今已有4种 1()=1 正常 2()=-1(1-)-1 不正常 3
7、()=-1/2(1-)-1/2 正则化后可成为正常 4()=(1-)(1-) 正则化后可成为正常,注意：1.一般说来，无信息先验不是唯一的. 但它们对贝叶斯统计推断的影响都很小，很少对结果产生较大的影响 2.任何无信息先验都可以采用。,29,1. 掌握贝叶斯假设 2.掌握位置参数和尺度参数的无信息先验分布 3.会用Fisher信息阵确定无信息先验,总结,30,3.5 多层先验,一、多层先验 二、多层模型,31,一、多层先验,1.定义 当所给先验分布中超参数难于确定时，可以对超参数再给出一个先验，第二个先验称为超先验。由先验和超先验决定的一个新先验称为多层先验。,例3.23 设对某产品的不合格品
8、率了解甚少，只知道它比较小。现需要确定的先验分布。决策人经过反复思考，最后把他引导到多层先验上去，他的思路是这样的： (1)开始他用(0,1)上的均匀分布U(0,1)作为的先验分布。,32,(2)后来觉得不妥，因为此产品的不合格品率比较小，不会超过0.5，于是他改用(0,0.5)上的均匀分布作为的先验分布。 (3)在一次业务会上，不少人对上限0.5提出各种意见，有人问：“为什么不把上限定为0.4？”他讲不清楚，有人建议：“上限很可能是0.1”，他也无把握，但这些问题促使他思考，最后他把思路理顺了，提出如下看法： 的先验分布为U(0,),其中为超参数，要确切地定出是困难的，但预示它的区间倒是有把
9、握的，根据大家的建议，他认为是在区间(0.1,0.5)上的均匀分布U(0.1,0.5)。 （4）最后决定的先验是什么呢？,33,(1)对未知参数给出一个形式已知的密度函数作为先验分布，即1(|),其中是超参数，是其取值范围。 (2)对超参数再给出一个超先验2() . (3)多层先验的一般表示形式为,任一个贝叶斯分析都是对()进行的。,2.多层先验的确定方法,34,说明： 1.在理论上并没有限制多层先验只分两步； 2.对第二步2()用主观概率或用历史数据给出是有困难的，因为常是不能观察的，甚至连间接观察都是难于进行的，很多人用无信息先验作为第二步先验是一种好的策略； 3.多层先验常常用在当一步给出先验()没有把握时，那用两步先验比硬用一步先验所冒的风险要小一些。,二、多层模型,35,作业：,P118 3.6 、3.8(1)(2)(4),
