【精编】贝叶斯决策讲义

《【精编】贝叶斯决策讲义》由会员分享，可在线阅读，更多相关《【精编】贝叶斯决策讲义（41页珍藏版）》请在金锄头文库上搜索。

1、1 2 第五章 贝叶斯决策 第一节 贝叶斯决策问题 第二节 后验风险决策 第三节 常用损失函数下的贝叶斯估计 第四节 抽样信息期望值 第五节 最佳样本量的确定 第六节 二行动线性决策问题的EVPI 3 第一节 贝叶斯决策问题 一 决策问题分类 1 仅使用先验信息的决策问题称为无数 据 或无样本信息 的决策问题 2 仅使用抽样信息的决策问题称为统计 决策问题 3 先验信息和抽样信息都使用的决策问 题称为贝叶斯决策问题 4 二 贝叶斯决策问题 先验信息和抽样信息都用的决策问题称为贝叶斯 决策问题 若以下条件已知 则我们认为一个贝叶斯 决策问题给定了 4 定义在 上的二元函数 称为损失函数 5 三

2、贝叶斯决策的优缺点 1 优点主要表现在 1 贝叶斯决策充分利用各种信息 使决策结果更加科学化 2 能对调查结果的可能性加以数量化的评价 3 贝叶斯决策巧妙地将调查结果和先验知识有机地结合起来 4 贝叶斯决策过程可以不断地使用 使决策结果逐步完善 2 缺点 1 贝叶斯决策所需要的数据多 分析计算也比较复杂 如果 解决的问题比较复杂时 这个矛盾就更加突出 2 在决策的过程中 有些数据必须要使用主观概率 有些人 不是很相信 这也妨碍了贝叶斯决策方法的推广和使用 O 6 第二节 后验风险决策 1 后验风险函数 我们把损失函数 对后验分布 的 期望称为后验风险 记 即 后验风险就是用后验分布计算的平均损

3、失 11 7 2 决策函数 定义5 1 在给定的贝叶斯决策问题中 从样本空间 到行动集A上的一个映照 称为该决策问题的一个决策函数 表示所 有从样本空间 到A上的决策函数组成的类 称为决策 函数类 在贝叶斯决策中我们面临的是决策函数类D 要在D 中选择决策函数 使其风险最小 例题分析 8 3 后验风险准则 定义 在给定的贝叶斯决策问题中 是其决 策函数类 则称 为决策函数 的后验风险 假如在决策函数类中 存在这样的决策函数 它在D中有最小的风险 即 则称 为后验风险准则下的最优决策函数 或 称贝叶斯决策 或贝叶斯解 或贝叶斯估计 注 1 定义中的条件 给定的贝叶斯决策问题 2 定义中的先验分布

4、允许是广义的 9 例1 设 是来自正态分布N 1 的一个样本 又 设参数 的先验分布为共轭先验分布N 0 2 其中 2已知 而损 失函数为0 1损失函数 试求参数 的贝叶斯估计 解 分三步求解 1 求参数 的后验分布 2 对于任意一个决策函数 计算后验风险函数 3 求出使得上述风险函数达到最小时的决策函数 10 例2 在市场占有率 的估计问题中 已知损失函数为 药厂厂长对市场占有率 无任何先验信息 另外在市场调查中 在n个购买止痛剂的顾客中有x人买了新药 试在后验风险准则下 对 作出贝叶斯估计 解 1 求参数 的后验分布 结果为 Be x 1 n x 1 2 计算风险函数 3 求最优行动使上述

5、风险函数达到最小 令 则得 4 数值计算 11 例3 如何判断一个样本是来自密度函数为p0 x 的总体还是 来自密度函数为p1 x 的总体 解 两个假设 问题 接受H0还是H1 1 把假设检验问题转化为贝叶 斯决策问题 参数空间 0 1 行动空间A 0 1 先验分布 P 0 0 P 1 1 损失函数 决策正确无损失 决策错误的损失为1 则 2 求后验分布 3 计算每个行动下的后验风险 R a 0 x P 1 x R a 1 x P 0 x 4 找出最佳行动 即确定拒绝域 12 1 平方损失函数下的贝叶斯估计 定理5 1 在平方损失函数 下 的贝 叶斯估计为后验均值 即 Pr 在平方损失函数下

6、任何一个决策函数 的 后验风险为 第三节 常用损失函数下的贝叶斯估计 13 定理5 2 在加权平方损失函数 下 的贝叶斯估计为 其中 为参数空间 上的正值函数 定理5 3 在参数向量 的场合下 对多元二 次损失函数 Q为正定阵 的 贝叶斯估计为后验均值向量 14 例4 设 是来自泊松分布 的一个样本 若 的先验分布用其共轭先验分布 G 即 其中参数 与 已知 求平方损失函数下 的贝叶斯估 计 解 解题过程分为以下三步 1 根据题意求出 的后验分布 2 写出后验均值 3 结论 由定理5 1知 的贝叶斯估计为 15 例5 设 是来自均匀分布U 0 的一个 样本 又设 的先验分布为Pareto分布

7、在损失函数分别为 绝对值损失函数和平方损失函数下求 的贝叶斯估计 解题步骤 第一步 求 的后验分布 第二步 在绝对值损失函数 下 的贝叶斯估计 恰为后 验分布的中位数 第三步 平方损失函数下 的贝叶斯估计 Pareto分布的分布函数 密度函数为 期望 方差 中位数 16 例6 贝叶斯决策在可靠性统计中的应用 问题的描述 假设某产品的寿命T服从指数分 布 其分布函数为 把指定时间t0后该产品才失效的概率 称为产品在t0时刻的可靠度 在平方损失函数下 怎样估计可靠度R t0 17 2 线性损失函数下的贝叶斯估计 证明 1 证明的思路 设m为 x 的中位数 要证 明定理成立 即要证 都有 即 当m

8、时 2 m m 的情形 此时 因此 3 同理可证 m的情形 18 定理5 5 在线性损失函数 下 的贝叶斯估计 n x 为后验分布 x 的 分位数 证明 1 计算任一决策函数 x 的后验风险 3 结论 的贝叶斯估计是后验分布的 分位数 例9 p191例题5 13 自学 2 求R x 的驻点 令 19 3 有限个行动问题的假设检验 1 一般问题 设A a1 a2 ar 在ai下的损失为 L ai 如何从这些行动当中选择一个最优行 动 使后验期望损失 达到最小的行 动 2 特例 r 2的情形 即二个行动的假设检验问题 3 特例 r 3的情形 三个行动的假设检验问题 儿童智商检验的实例P193 20

9、 二个行动的假设检验问题 1 问题的描述 有两个假设 两个行动 a0 表示接受H0的行动 a1 表示接受H1的行动 决策方法 如果 则认为a0为最优行动 如果 则认为a1为最优行动 2 损失函数的确定 确定原则 决策正确无损失 决策错误损 失ki个单位 则得到损失矩阵 21 3 计算每个行动的后验期望损失 假设后验分布已经求出 则 4 按照后验风险准则 确定最优行动 如果 即 则 应选择a1 拒绝a0 如果 即 则 应选择a0 拒绝a1 5 确定拒绝域 若 则 则由上一步可算得 即拒绝域 22 第四节 抽样信息期望值 一 基本概念 1 完全信息 对需要作决策的问题 假如决策者所获得 的信息足以

10、肯定那一个状态即将发生 则该信息就称为 该 状态的 完全信息 2 完全信息期望值 EVPI 设某决策问题有n种状态 1 2 n 且各种状态的先验概率 i 已知 又有m种行 动a1 a2 am 设Qij为出现 i采取行动aj的收益 a 为 使 取得最大时的行动 则称 为完全信息期望值 记为EVPI 23 3 先验EVPI 在一个决策问题中 是状态集 上 的先验分布 a 是先验期望准则下的最优行动 则在a 下 的损失函数L a 的先验期望 称为完全信息先 验期望值 记为先验EVPI 4 两者的关系 5 例题 对给定的Q或L怎样计算EVPI和先验EVPI 如 24 二 抽样信息期望值 1 定义 在一

11、个贝叶斯决策问题中 a 是先验期望准则下的最优 行动 是后验风险准则下的最优决策函数 则先验EVPI与 后验EVPI期望值的差称为抽样信息期望值 记为 2 计算一个EVSI的基本步骤 第一步 计算先验EVPI 第二步 计算 的后验分布 第三步 计算每个行动的后验期望损失 第四步 确定最优决策函数 第五步 计算后验EVPI 第六步 计算后验EVPI的期望值 第七步 计算抽样信息期望值 25 案例分析 甲厂的某一零件由乙厂生产 每批1000只 其次品率 的概率分布如下表所示 甲厂在整机装配时 如发现零件是次品 必须更换 每换一 只 乙厂赔偿2 20元的损失费 但也可以在送装前采取全 部检查的办法

12、使每批零件的次品率降为1 但乙厂必须 支付每只0 10元的检查费 乙厂面临如下两种选择 a1 一批中一件都不检查 a2 一批中每件都检查 若乙厂厂长想从每批中任取三只零件进行抽查 根据不合格 品个数来决定是采取行动a1还是行动a2 并想知道这样能 否带来更大的收益 0 02 0 05 0 10 0 45 0 39 0 16 26 分析过程 一 计算先验EVPI 支付函数 由此的支付矩阵和损失矩阵 计算每个行动下的先验期望损失 由此得在先验期望准则下 a1是最优行动 则 先验EVPI 15 68 27 2 计算的后验分布 3 计算各行动的后验期望损失 x 0 1 2 3 m x 0 8745 0

13、 1176 0 0076 0 0002 x 0 1 2 3 1 0 020 4843 0 2202 0 0658 0 0028 2 0 05 0 3824 0 4490 0 3684 0 0190 3 0 10 0 1333 0 3308 0 5658 0 9782 x 0 1 2 3 13 0634 32 4148 55 4484 95 8636 42 3642 22 5636 9 5532 0 4464 28 4 确定最优决策函数 5 计算后验EVPI x 0时 后验EVPI 13 0634 x 1时 后验EVPI 22 5636 x 2时 后验EVPI 9 5532 x 3时 后验EVP

14、I 0 4494 6 计算后验EVPI的期望值 7 计算抽样信息期望值 EVSI 15 68 14 15 思考 该厂长所确定的抽取三件产品检查 是否是最好 29 第五节 最佳样本量的确定 一 抽样净益 1 抽样成本 抽样费用称为抽样成本 记为 其中Cf是固定成本 Cv是可变成本 2 抽样净益 从抽样信息期望值中扣除抽样成本所剩下的净收 益 记为ENGS 即 二 最佳样本量及其上界 1 最佳样本量 使得抽样净益达到最大的样本量n 称为最佳样 本量 即 2 上界的确定 30 三 最佳样本量的求法 31 第六节 二行动线性决策问题的EVPI 一 正态分布下二行动线性决策问题的先验EVPI 二 贝塔分

15、布下二行动线性决策问题的先验EVPI 三 伽玛分布下二行动线性决策问题的先验EVPI 32 案例分析 某厂的产品每100件装成一箱运交顾客 在向顾客交货 前面临如下二中选择 a1 一箱中逐一检查 a2一箱中一件 也不检查 若工厂选择a1 则可保证交货时每件产品都是 合格品 但因每件产品的检查费为0 8元 为此工厂要支付 检查费80元 箱 若工厂选择a2 虽可免去每箱80元的检 查费 但一旦顾客发现不合格品时 不仅要免费更换 而且 每件还要支付12 5元的赔偿费 假设该厂产品的不合格 率 没有超过0 12的记录 根据下列不同的情形 作出相 应的最优决策 1 不作任何抽样 怎样做决策 解答 2 每

16、箱中抽取两件进行检查 结果如何 解答 3 每箱中抽取三件进行检查 结果又如何 B 33 x012 决策函数 34 x012 22 203015 04832 7986 22 203015 048336 8924 22 203055 97832 7986 22 203055 978336 8924 15 615915 04832 7986 15 615915 048336 8924 15 615955 97832 7986 15 615955 978336 8924 各决策函数的后验风险 35 1 第一步 由支付函数确定损失函数 36 第二步 计算每一个行动的先验期望损失B 37 2 第一步 由支付函数确定损失函数 38 第二步 计算后验分布 39 40 第三步 利用后验风险准则做决策 计算每一个决策行动的后验风险 41 B