《信号检测与估计理论第五章统计估计理论.ppt》由会员分享，可在线阅读，更多相关《信号检测与估计理论第五章统计估计理论.ppt（120页珍藏版）》请在金锄头文库上搜索。
1、估计理论与信号检测 第五章信号的统计估计理论 内容提要 5 1引言5 2随机参量的贝叶斯估计5 3最大似然估计5 4估计量的性质5 5矢量估计5 7线性最小均方误差估计5 8最小二乘估计 5 1引言 信号的参量估计若信号中被估计的量是随机参量或非随机未知参量 则称这种估计为信号的参量估计 在观测时间内一般不随时间变化 静态估计信号的波形估计或状态估计若被估计的是随机过程或非随机的未知过程 信号的波形 参量随时间变化 动态估计 5 1引言 研究内容 信号的参量估计若信号中被估计的量是随机参量或非随机未知参量 则称这种估计为信号的参量估计 理论基础 随机变量与数理统计 2 2 P 8 随机噪声理论
2、 2 6 P 46 5 1引言 基本思想信号模型的差异 先验知识与数据之间的关系 估计准则与估计方法 估计的评价指标 数据模型 复杂性 足以描述数据的基本特征 简单 允许估计量是最佳的 且易于实现 5 1引言 信号处理中的估计 在雷达 声呐 语音 图像分析 生物医学 通信 自动控制等领域 都涉及到参数估计的问题 例如雷达系统被动声呐系统语音识别系统 由时域信号转换为线性预测编码语音模型 模型的参数决定了谱包络 5 1引言 估计的数学问题 确定估计量后 建立数据的数学模型 例1 实际问题中 未给出PDF 要选择一个与问题的约束与先验知识一致 且在数学上容易处理的PDF 例2 道琼斯指数 参数确定
3、但未知 经典估计 参数为随机变量 贝叶斯估计 20世纪90年代 5 1 2数学模型和估计量构造 四个组成部分 参量空间 概率映射 观测空间和估计准则 概率映射函数 完整地描述了含有被估计矢量信息时观测矢量的统计特性 5 1 3估计量性能的评估 单次观测量为标量 被估计量为标量 单参量 单次观测量为矢量 被估计量为矢量 多参量 最佳估计准则定义 充分利用先验知识 使构造的估计量具有最优性质的估计准则 被估计参量 随机或非随机 的先验知识 P 264 被估计量及其均值 方差和均方误差的表示 P 264 观测向量为长列向量 5 1 3估计量性能的评估 例子 非随机未知单参量的估计 5 1 3估计量性
4、能的评估 例子 非随机未知单参量的估计 经典估计与贝叶斯估计 FromStevenM Key page253 259 上述估计假定参数取值范围 考虑到物理条件的限制 经典估计与贝叶斯估计 FromStevenM Key page253 259 贝叶斯最小均方误差估计 令其为零 后验概率均值 1 经典估计与贝叶斯估计 FromStevenM Key page253 259 短数据记录对后验PDF的影响 大数据记录对后验PDF的影响 经典估计与贝叶斯估计 FromStevenM Key page253 259 后验概率均值 在先验知识和由数据贡献的知识之间进行折衷 例如 当N增加时 后验PDF变得
5、更加集中 MMSE估计量 最小均方误差 对先验知识的依赖越来越小 对数据的依赖越来越多 数据把先验知识 擦除 了 参数估计的贝叶斯方法 假设要估计的参数是随机变量的一个实现 1 指定一个先验PDF 2 观测到数据后 后验PDF概括了对参数的了解 3 利用先验知识通常能改善估计精度 经典估计与贝叶斯估计 FromStevenM Key page253 259 利用先验知识通常能改善估计精度 在贝叶斯估计中 先验PDF的选择是很关键的 错误的选择将导致差的估计量 类似与在经典估计量问题中使用不正确的数据模型设计估计量 围绕贝叶斯估计量的使用上有许多争议 源于在实践中不能证明先验PDF 一般说来 除
6、非先验概率是建立在物理约束的基础上 否则还是使用经典估计比较合适 贝叶斯准则 二元信号检测的贝叶斯准则 P 70 M元信号检测的贝叶斯准则 P 93 5 2随机参量的贝叶斯估计 在信号参量的估计中 我们用类似的方法提出贝叶斯估计准则 即使估计的平均代价最小 适用于随机参量情况 代价函数的一般形式 满足 1 非负性 2 误差时最小 5 2随机参量的贝叶斯估计 三种典型的代价函数 5 2 1常用代价函数和贝叶斯估计概念 平均代价 条件平均代价 贝叶斯公式 上述条件平均代价函数对求最小 即可以求得随机参量的贝叶斯估计量 5 2 2贝叶斯估计量的构造 1 最小均方误差估计 条件均值 代价函数参见图 a
7、 对求偏导 并令结果为零 5 2 2贝叶斯估计量的构造 1 最小均方误差估计 条件均值 代价函数参见图 a 二阶偏导数 上式求得的估计量 可以使平均代价C达到最小 最小平均代价是条件方差对所有观测量的统计平均 5 2 2贝叶斯估计量的构造 1 最小均方误差估计 条件均值 代价函数参见图 a 估计量是后验概率密度函数的均值 将后验概率转化为先验概率表达 5 2 2贝叶斯估计量的构造 2 条件中值估计 条件中值 代价函数参见图 b 称为条件中值估计 或条件中位数估计 ConditionalMedianEstimation 估计量是的点 3 最大后验估计 条件众数 最大后验 代价函数参见图 c 5
8、2 2贝叶斯估计量的构造 等效于使最大 估计量是后验概率密度函数取最大值的点 5 2 2贝叶斯估计量的构造 例5 2 1单随机参量的贝叶斯估计 最佳估计的不变性 贝叶斯公式 5 2 3最佳估计的不变性 如果被估计量的后验概率密度函数是高斯型的 则在三种典型代价函数下 使平均代价最小的估计量是一样的 都等于最小均方误差估计量 即它们的均方误差都是最小的 这就是最佳估计的不变性 但是 代价函数的选择常常带有主观性 而后验概率密度函数也不一定能满足高斯型的要求 希望能够放宽条件 也能获得均方误差最小的估计 5 2 3最佳估计的不变性 两种情况下最小均方误差估计所具有最佳估计不变性 5 2 3最佳估计
9、的不变性 情况 情况 最大似然估计常用来估计未知的非随机参量 最大似然估计定义 使似然函数最大的值作为估计量的参量估计方法 MaximumLikelihoodEstimation 5 3 1最大似然估计原理最大似然函数的基本原理是 对于某个选定的 考虑落在一个小区域内的概率 取最大的那个作为估计量 似然函数是在给定后得到的 可以画出它与被估计量的关系曲线 5 3最大似然估计 PDF作为未知参数的函数 固定 称之为似然函数 根据最大似然估计原理 可得如下最大似然估计量或 5 3 2最大似然估计量的构造 对比 5 2 19 式 相当于最大似然估计用于估计没有任何先验知识的随机参量 假定为均匀分布
10、上式第二项为零 最大后验概率估计转化为最大似然估计 例5 3 1同例5 2 1 但不利用被估计量的先验分布知识 而把其看成是未知非随机参量观测矢量的似然函数为 5 3 2最大似然估计量的构造 带先验知识的贝叶斯估计 1 最大似然估计没有利用被估计量的先验知识 其性能比贝叶斯估计差 2 当为未知随机参量时 计算似然函数相对容易 3 对于绝大多数实用的最大似然估计 观测数据足够多时 其性能是最优的 4 最然似然估计具有不变性 5 3 2最大似然估计量的构造 带先验知识的贝叶斯估计 最大似然估计的不变性 1 如果参量的最大似然估计量为 那么函数的最大似然估计量 在是的一对一变换时有2 如果不是的一对
11、一变换 而是一对多变换 则首先应找出在取值范围内所有变化参量的似然函数中具有最大值的一个 记为 即然后 通过求出的最大似然估计量 就是函数的最大似然估计量 5 3 3最大似然估计的不变性 估计量是随机变量主要性质无偏性有效性一致性充分性克拉美 罗不等式 Cramer Rao 克拉美 罗界 均方误差下界 5 4估计量的性质 2 估计量的有效性则称估计量比有效 克拉美 罗不等式克拉美 罗界 在5 4 2小节讨论 无偏有效估计量的定义 P 277 5 4 1估计量的主要性质 1 估计量的无偏性 估计量方差估计误差方差均方误差 5 4 1估计量的主要性质 3 估计量的一致性 4 估计量的充分性若被估参
12、量的估计量为 如果以为参量的似然函数能够分解表示为则称充分估计量 运用了观测量中的全部关于的信息 无偏有效估计量必然是充分估计量 一致估计量均方一致估计量 均方误差准则 MSE 5 4 2克拉美 罗不等式与克拉美 罗界 度量估计量偏移真值的平方偏差的统计平均值 约束 偏差为零 方差 偏差 最小方差无偏估计 MVU Cramer Rao下限 5 4 2克拉美 罗不等式与克拉美 罗界 对无偏估计量确定一个下限 判断是否是MVU估计量 为比较无偏估计量的性能提供标准 不可能求得方差小于下限的无偏估计量 用于信号处理的可行性研究 引入 依赖于未知参数的PDF 5 4 2克拉美 罗不等式与克拉美 罗界
13、观测到上述单个样本 其中 显然有 方差为 图 b 的PDF与A的相关性较弱 直观的看 似然函数的 尖锐 性 决定了估计未知参数的精度 PDF受未知参数的影响越大 所得到的估计越好 考察由对数似然函数在其峰值处的负的二阶导数 来度量 尖锐 性 5 4 2克拉美 罗不等式与克拉美 罗界 一阶导数 曲率更一般的度量 负的二阶导数 曲率随方差的减少而增加 在本例中 假定PDF满足 正则 条件 5 4 2克拉美 罗不等式与克拉美 罗界 Page25fromStevenM Key CRLB定理 Cramer Rao下限定理 且对于某个函数g和I 当且仅当 则 任何无偏估计量的方差必定满足 时 对所有达到下
14、限的无偏估计量可以求得 1 非随机参量情况 5 4 2克拉美 罗不等式与克拉美 罗界 推论最大似然估计公式 推导 两边对theta求偏导 5 4 2克拉美 罗不等式与克拉美 罗界 1 非随机参量情况 续 克拉美 罗不等式的推导P 364 Cauchy SchwarzInequality 无偏估计 不等式取等号条件 1 非随机参量情况 续 另一种形式 5 4 2克拉美 罗不等式与克拉美 罗界 另一种形式克拉美 罗不等式的推导过程 两边对theta求二阶偏导 2 随机参量情况 第一种形式 5 4 2克拉美 罗不等式与克拉美 罗界 关系常数k与随机参量的二阶统计量有关 推导 两边对theta求偏导
15、2 随机参量情况 续 第二种形式 5 4 2克拉美 罗不等式与克拉美 罗界 推论最大后验估计公式 5 4 2克拉美 罗不等式与克拉美 罗界 2 随机参量情况 续 第二种形式 若随机参量的任意无偏估计量也是有效的 则该估计量一定是的最大后验估计量 无偏且达到CRLB的估计量可以有效地使用数据 称其为有效的 如左图所示 MVU 最小方差无偏 估计量可能是也可能不是有效的 如图 b 所示 没有达到CRLB 因此不是有效的 但是它的方差一致地小于所有其它无偏估计量的方差 因此是MVU估计量 Page28 29fromStevenM Key 5 4 2克拉美 罗不等式与克拉美 罗界 2 随机参量情况 续
16、 第二种形式 当达到CRLB时 方差是Fisher信息的倒数 即信息越多 下限越低 具有信息测度的基本性质 非负性 对独立观测的可加性 将下限表达式中的分母称为数据X的Fisher信息 即 5 4 2克拉美 罗不等式与克拉美 罗界 关于对独立观测的可加性 N个IID观测的CRLB是单次观测的1 N倍 对于独立观测 对于同分布观测 对于非独立的样本 可能有 例5 4 1非随机参量的最大似然估计量的性质 5 4 2克拉美 罗不等式与克拉美 罗界 1 无偏性 2 有效性 3 一致性 随观测次数的增加 估计质量有所提高 例5 4 1非随机参量的最大似然估计量的性质 续 5 4 2克拉美 罗不等式与克拉美 罗界 4 充分性估计量利用了观测量中所有有关信息 例5 4 2随机参量的贝叶斯估计量的性质 5 4 2克拉美 罗不等式与克拉美 罗界 1 无偏性 2 有效性 先验知识 之前求取的贝叶斯估计量 例5 4 2随机参量的贝叶斯估计量的性质 续 5 4 2克拉美 罗不等式与克拉美 罗界 3 一致性 4 充分性 5 4 3有效估计量均方误差与的关系 1 非随机参量情况 2 随机参量情况 两边对theta
