{决策管理}6统计决策与贝叶斯估计

《{决策管理}6统计决策与贝叶斯估计》由会员分享，可在线阅读，更多相关《{决策管理}6统计决策与贝叶斯估计（81页珍藏版）》请在金锄头文库上搜索。

1、1、统计决策,一、统计决策的三个要素 1 样本空间和分布族 设总体X的分布函数为 F (x; ) ,是未知参数，若设X1 , , Xn是来自总体X的一个样本，则样本所有可能值组成的集合称为样本空间，记为X,2 决策空间（判决空间） 对于任何参数估计，每一个具体的估计值，就是一个回答，称为一个决策，一个统计问题中可能选取的全部决策组成的集合称为决策空间，一个决策空间至少应有两个决策。 3 损失函数 统计决策的一个基本假定是，每采取一个决策，必然有一定的后果，统计决策是将不同决策以数量的形式表示出来,常见的损失函数有以下几种 （1）线性损失函数 绝对损失函数 （2）平方损失函数 （3）凸损失函数

2、（4）多元二次损失函数,二、统计决策函数及风险函数 1 统计决策函数 定义3.1 ：定义在样本空间上X，取值于决策空间A 内的函数d(x)，称为统计决策函数，简称决策函数 决策函数就是一个行动方案，如果用表达式处理， d(x)= d(x1,x2,xn)本质上就是一个统计量,2 风险函数 决策函数 d(X)，完全取决于样本，损失函数 L(, d) 也是样本X 的函数,当样本取不同的值x时，决策 d(X) 可能不同，所以损失函数值 L(, d) 也不同，不能判断决策的好坏，一般从总体上来评价、比较决策函数，取平均损失，就是风险函数 定义3.2 设样本空间，分布族分别为X，F*，决策空间为A，损失函

3、数为 L(, d), d(X)为决策函数, 为决策函数d(X)的风险函数， R(, d),表示采取决策d(X)所蒙受的平均损失（ L(, d)的数学期望）,优良性准则,定义3.3 设d1, d2 是统计问题中的两个决策函数，若其风险函数满足不等式 则称决策函数d1 优于d2,定义3.4 设D=d(X)是一切定义在样本空间X 上，取值于决策空间A 上的决策函数全体，若存在一个决策函数d*(X)，使对任意一个d(X)都有 则称d*(X)为一致最小风险决策函数，或一致最优决策函数,问题总结,1 风险函数是二元函数，极值往往不存在或不唯一 2 在某个区间内的逐点比较不现实（麻烦） 3 对应不同参数的，

4、同一决策函数，风险值不相等 4 由统计规律的特性决定不能点点比较 5 必须由一个整体指标来代替点点比较,2.贝叶斯估计,1)统计推断的基础,经典学派的观点：统计推断是根据样本信息对总体分布或总体的特征数进行推断，这里用到两种信息：总体信息和样本信息； 贝叶斯学派的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：先验信息。,（1）总体信息:总体分布提供的信息。 （2）样本信息:抽取样本所得观测值提供的信息。 （3）先验信息:人们在试验之前对要做的问题在经 验上和资料上总是有所了解的，这些信息对 统计推断是有益的。先验信息即是抽样（试 验）之前有关统计问题的一些信息。一般说 来，先验信息

5、来源于经验和历史资料。先验 信息在日常生活和工作中是很重要的。,基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。它与经典统计学的差别就在于是否利用先验信息。贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。忽视先验信息的利用，有时是一种浪费，有时还会导出不合理的结论。,贝叶斯学派的基本观点：任一未知量 都可看作随机变量，可用一个概率分布去描述，这个分布称为先验分布；在获得样本之后，总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量 新的分布后验分布；任何关于 的统计推断都应该基

6、于 的后验分布进行。,2)先验分布 利用先验信息的前提 （1）参数是随机的，但有一定的分布规律 （2）参数是某一常数，但无法知道 目标：充分利用参数的先验信息对未知参数作出更准确的估计。 贝叶斯方法就是把未知参数视为具有已知分布的随机变量，将先验信息数字化并利用的一种方法，一般先验分布记为( ),3)贝叶斯公式的密度函数形式(后验分布）,设总体X 的分布密度函数P (x ; )在贝叶斯统计中记为P (x | )，它表示在随机变量取某个给定值时总体的条件概率密度函数； P (x ; )= P (x | ) 根据参数 的先验信息确定先验分布( )； 样本 x1, x2 , , xn 的联合条件分布

7、密度函数为 这个分布综合了总体信息和样本信息；,0 是未知的，它是按先验分布( )产生的。为把先验信息综合进去，不能只考虑0，对的其它值发生的可能性也要加以考虑，故要用( )进行综合。这样一来，样本x1 , , xn和参数 的联合分布为: f (x1, x2 , , xn, ) = q(x1, x2 , , xn )( )， 简记为 f (x, ) = q(x )( ) 这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了；,在有了样本观察值 x1, x2 , , xn 之后，则应依据 f (x, )对 作出推断。由于 f (x, ) =h( x1,x2 ,xn )m(x1,x2

8、 ,xn)， 其中m(x1,x2 ,xn) 是x1, x2 , , xn 的边际概率函数，它与 无关。因此能用来对 作出推断的仅是条件分布h( x1, x2 , , xn)，它的计算公式是,这个条件分布称为 的后验分布，它集中了总体、样本和先验中有关 的一切信息。,后验分布h( x1, x2 , , xn )的计算公式就是用密度函数表示的贝叶斯公式。它是用总体和样本对先验分布( )作调整的结果，贝叶斯统计的一切推断都基于后验分布进行。,4）共轭先验分布,定义：设总体X 的分布密度为 p(x| ), F*为 的一个分布族， ( ) 为 的任意一个先验分布， ( ) F*,若对样本的任意观测值x,

9、 的后验分布h( |x)仍在F*内，称F*为关于分布密度 p(x| )的共轭先验分布族，简称共轭族。 计算共轭先验分布的方法,当给定样本的分布（似然函数）q (x | ) 和先验分布( )；由贝叶斯公式得 h(x| ) = ( ) q( x )/m(x) 由于m(x)不依赖于, 改写为 h(x| ) ( ) q( x ) 上式不是正常的密度函数,是h(x| ) 的主要部分,称为h(x| ) 的核,例8 X1, X2 , , Xn来自正态分布N( ,2)的一个样本，其中 已知，求方差2的共轭先验分布,例9 X1, X2 , , Xn来自二项分布B(N , )的一个样本，求的共轭先验分布,计算共轭

10、先验分布的方法 1. h( |x)= ( ) q(x| ) /m(x), m(x)不依赖于 先求出q(x| ),再选取与q(x| )具有相同形式的分布作为先验分布，就是共轭分布 2. 当参数 存在适当的统计量时，设X 的分布密度为 p(x| ), T(X)是 的充分统计量,再由定理3.1，求得共轭先验分布族,定理3.1设f( )为任一固定的函数,满足,若后验分布h( x)与( )属于同一个分布族，则称该分布族是 的共轭先验分布(族)。 二项分布b(n, )中的成功概率 的共轭先验分布是贝塔分布Be(a,b)； 泊松分布P( )中的均值 的共轭先验分布是伽玛 分布(,)； 指数分布中均值的倒数的

11、共轭先验分布是伽玛分布(,)； 在方差已知时，正态均值 的共轭先验分布是正态分布N(, 2); 在均值已知时，正态方差 2的共轭先验分布是倒伽玛分布I(,)。,5）贝叶斯风险,定义： 称为决策函数d(X)在给定先验分布( )下的贝叶斯风险，简称d(X)的贝叶斯风险,相当于随机损失函数求两次期望，一次对后验分布，一次对X 的边缘分布,6) 贝叶斯点估计,定义：设总体X 的分布函数F(x, )中参数为随机变量， ( )为的先验分布，若在决策函数类D中存在一个决策函数d*(X)，使得对决策函数类D中的任一决策函数d(X )，均有 则称为d*(X )参数 的贝叶斯估计量,定理3.2 设 的先验分布为(

12、 ) ，损失函数为 L( ,d) =( -d)2 ,则 的贝叶斯估计是 其中h( |x)为参数 的后验密度。,定理3.33.7，给出了各种损失函数下的贝叶斯估计，不证,定理3.3 设 的先验分布为( ) ，取损失函数为加权平方损失函数 则 的贝叶斯估计为,定理3.4 设(1,2,p)T 的先验分布为( ) ，损失函数为 则 的贝叶斯估计为,定义：设d=d(x)为任一决策函数，损失函数为L( ,d)，则L( ,d)对后验分布h( |x)的数学期望称为后验风险，记作 若存在一个决策函数d*(x)使得 则d*(x)称为在后验风险准则下的最优决策函数,定理3.5 对给定的统计决策问题（包括先验分布）和

13、决策函数类D当满足 则贝叶斯决策函数d*(x)与贝叶斯后验型决策函数d*(x)等价,定理3.6 设的先验分布为( ) ，损失函数为绝对值损失 则 的贝叶斯估计d*(x)为后验分布h(|x)的中位数,定理3.7 设 的先验分布为( ) ，在线性损失函数 下, 则 的贝叶斯估计d*(x)为后验分布h(|x)的k1/(k0+k1)上侧分位数,常用贝叶斯估计 基于后验分布h( x ) 的贝叶斯估计，常用如下三种： 用后验分布的密度函数最大值作为 的点估计，称为最大后验估计； 用后验分布的中位数作为 的点估计，称为后验中位数估计； 用后验分布的均值作为 的点估计，称为后验期望估计。用得最多的是后验期望估

14、计，简称为贝叶斯估计，记为 。,求贝叶斯估计的一般步骤,1. 根据总体X 的分布，求得条件概率q(x| ) 2. 在已知 的先验分布( ) 下，求得x与 的联合分布密度 f (x, )= ( ) q(x| ) 3. 求得X 的边缘分布m(x) 4. 计算h( |x)= ( ) q(x| ) /m(x) 5. 求数学期望 6. 求得贝叶斯风险（如果需要的话）,例3.11 设总体XB(1, p)，其中参数p未知，且服从0,1上的均匀分布，损失函数取二次损失函数L( ,d) =( -d)2 ，求参数p的贝叶斯估计及贝叶斯风险,若在试验前对事件A没有什么了解，对其发生的概率 也没有任何信息。贝叶斯本人

15、建议采用“同等无知”的原则使用区间（0,1）上的均匀分布U(0,1)作为 的先验分布，因为取（0,1）上的每一点的机会均等。贝叶斯的这个建议被后人称为贝叶斯假设。,某些场合，贝叶斯估计要比极大似然估计更合理一点。比如: “抽检3个全是合格品”与“抽检10个全是合格品”，后者的质量比前者更信得过。这种差别在不合格品率的极大似然估计中反映不出来（两者都为0），而用贝叶斯估计两者分别是 0.2 和 0.83。 由此可以看到，在这些极端情况下，贝叶斯估计比极大似然估计更符合人们的理念。,例设总体XN(,1) ，其中未知，假定N(0,1) ，对于给定的损失函数L(,d) =( -d)2 ，求 的贝叶斯估

16、计量,例3.15X1, X2 , , Xn来自正态分布N( ,02)的一个样本，其中02已知， 未知，假设 的先验分布为正态分布N( , 2)，其中先验均值 和先验方差 2均已知，试求 的贝叶斯估计。 解：样本x的联合分布和 的先验分布分别为,由此可以写出x与 的联合分布 其中 ， 若记 则有,注意到A,B,C均与 无关，样本的边际密度函数 应用贝叶斯公式即可得到后验分布 这说明在样本给定后， 的后验分布为 N(B/A,1/A)，即 |x N(B/A,1/A),后验均值即为其贝叶斯估计： 它是样本均值 与先验均值的加权平均。,贝叶斯估计的误差,贝叶斯区间估计,两种区间估计的区别 1）构造一个统计量，并求得其概率分布 2）利用参数的后验分布 区间估计求解步骤 前面同贝叶斯点估计； 求得后验分布后按置信度，分开单侧、双侧查表，得出置信上下界。 注意：贝叶斯区间估计的置信区间较短； 贝叶斯点估计不再要求无偏性。,例3.15x1, x2 , ,