信号检测与估计理论第五章-统计估计理论-PPT课件

《信号检测与估计理论第五章-统计估计理论-PPT课件》由会员分享，可在线阅读，更多相关《信号检测与估计理论第五章-统计估计理论-PPT课件（120页珍藏版）》请在金锄头文库上搜索。

1、估计理论与信号检测估计理论与信号检测第五章第五章 信号的统计估计理论信号的统计估计理论内容提要内容提要5.1 引言引言5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计5.3 最大似然估计最大似然估计5.4 估计量的性质估计量的性质5.5 矢量估计矢量估计5.7 线性最小均方误差估计线性最小均方误差估计5.8 最小二乘估计最小二乘估计5.1 引言引言l信号的参量估计信号的参量估计l若信号中被估计的量是若信号中被估计的量是随机参量随机参量或或非随机未知参非随机未知参量量，则称这种估计为信号的参量估计。，则称这种估计为信号的参量估计。l在观测时间内一般不随时间变化在观测时间内一般不随时间变化静态估计

2、静态估计l信号的波形估计或状态估计信号的波形估计或状态估计l若被估计的是随机过程或非随机的未知过程。若被估计的是随机过程或非随机的未知过程。l信号的波形、参量随时间变化信号的波形、参量随时间变化动态估计动态估计5.1 引言引言l研究内容：研究内容：l信号的参量估计信号的参量估计若信号中被估计的量是若信号中被估计的量是随机参量随机参量或或非随机未知参量非随机未知参量，则称这，则称这种估计为信号的参量估计。种估计为信号的参量估计。l理论基础：理论基础：l随机变量与数理统计随机变量与数理统计( (2.2, P.8) )l随机噪声理论随机噪声理论( (2.6, P.46) )5.1 引言引言l基本思想

3、基本思想 信号模型信号模型的差异；的差异； 先验知识与数据之间的关系先验知识与数据之间的关系； 估计准则估计准则与估计方法；与估计方法； 估计的评价指标。估计的评价指标。数数据据模模型型复杂性：足以描述数据的基本特征复杂性：足以描述数据的基本特征简单：允许估计量是最佳的，且易于实现简单：允许估计量是最佳的，且易于实现5.1 引言引言-信号处理中的估计信号处理中的估计l在雷达、声呐、语音、图像分析、生物医学、通信、自动控在雷达、声呐、语音、图像分析、生物医学、通信、自动控制等领域，都涉及到参数估计的问题。例如制等领域，都涉及到参数估计的问题。例如l雷达系统雷达系统l被动声呐系统被动声呐系统l语音

4、识别系统语音识别系统由时域信号转换为线性预测编码语音模型，由时域信号转换为线性预测编码语音模型，模型的参数决定了谱包络。模型的参数决定了谱包络。5.1 引言引言-估计的数学问题估计的数学问题l确定估计量后，建立数据的数学模型确定估计量后，建立数据的数学模型例1：实际问题中，未给出实际问题中，未给出PDF，要选择一个与问题的约束与先验知识，要选择一个与问题的约束与先验知识一致，且在数学上容易处理的一致，且在数学上容易处理的PDF。例。例2-道琼斯指数：道琼斯指数：参数确定但未知参数确定但未知-经典估计经典估计参数为随机变量参数为随机变量-贝叶斯估计贝叶斯估计20世纪世纪90年代年代5.1.2 数

5、学模型和估计量构造数学模型和估计量构造四个组成部分：参量空间、概率映射、观测空间和估计准则。四个组成部分：参量空间、概率映射、观测空间和估计准则。概率映射函数概率映射函数 ，完整地描述了含有被估计矢量信息时观测，完整地描述了含有被估计矢量信息时观测矢量的统计特性。矢量的统计特性。5.1.3 估计量性能的评估估计量性能的评估l单次观测量为标量，被估计量为标量（单参量）单次观测量为标量，被估计量为标量（单参量）l单次观测量为矢量，被估计量为矢量（多参量）单次观测量为矢量，被估计量为矢量（多参量）l最佳估计准则定义：充分利用先验知识，使构造的估计量具最佳估计准则定义：充分利用先验知识，使构造的估计量

6、具有有最优性质最优性质的估计准则。的估计准则。l被估计参量（随机或非随机）的先验知识（被估计参量（随机或非随机）的先验知识（P.264）l被估计量及其均值、方差和均方误差的表示（被估计量及其均值、方差和均方误差的表示（P.264）观测向量为长列向量观测向量为长列向量5.1.3 估计量性能的评估估计量性能的评估例子：非随机未知单参量的估计例子：非随机未知单参量的估计5.1.3 估计量性能的评估估计量性能的评估例子：非随机未知单参量的估计例子：非随机未知单参量的估计经典估计与贝叶斯估计经典估计与贝叶斯估计lFrom Steven M. Key -page253-259上述估计假定参数取值范围：上述

7、估计假定参数取值范围：考虑到物理条件的限制：考虑到物理条件的限制：经典估计与贝叶斯估计经典估计与贝叶斯估计lFrom Steven M. Key -page253-259贝叶斯最小均方误差估计：贝叶斯最小均方误差估计：令其为零令其为零后验概率均值后验概率均值=1经典估计与贝叶斯估计经典估计与贝叶斯估计lFrom Steven M. Key -page253-259短数据记录对后验短数据记录对后验PDF的影响的影响大数据记录对后验大数据记录对后验PDF的影响的影响经典估计与贝叶斯估计经典估计与贝叶斯估计lFrom Steven M. Key -page253-259后验概率均值：在后验概率均值：

8、在先验知识先验知识和和由数据贡献的知识由数据贡献的知识之间进行折衷。之间进行折衷。例如，当例如，当N增加时，后验增加时，后验PDF变得更加集中，变得更加集中，MMSE估计量（最小均方误差）对先验知识的依估计量（最小均方误差）对先验知识的依赖越来越小，对数据的依赖越来越多，数据把先赖越来越小，对数据的依赖越来越多，数据把先验知识验知识“擦除擦除”了。了。参数估计的贝叶斯方法：假设要估计的参数是随机变量参数估计的贝叶斯方法：假设要估计的参数是随机变量 的一个实现。的一个实现。(1) 指定一个先验指定一个先验PDF ;(2) 观测到数据后，后验观测到数据后，后验PDF 概括了对参数的了解。概括了对参

9、数的了解。(3) 利用先验知识通常能改善估计精度。利用先验知识通常能改善估计精度。经典估计与贝叶斯估计经典估计与贝叶斯估计lFrom Steven M. Key -page253-259利用先验知识通常能改善估计精度；利用先验知识通常能改善估计精度；在贝叶斯估计中，先验在贝叶斯估计中，先验PDF的选择是很关键的。的选择是很关键的。错误的选择将导致差的估计量，类似与在经典估计量问题中使用不错误的选择将导致差的估计量，类似与在经典估计量问题中使用不正确的数据模型设计估计量。正确的数据模型设计估计量。围绕贝叶斯估计量的使用上有许多争议，源于在实践中不能证明围绕贝叶斯估计量的使用上有许多争议，源于在实

10、践中不能证明先验先验PDF。一般说来，除非先验概率是建立在物理约束的基础上，否则还是一般说来，除非先验概率是建立在物理约束的基础上，否则还是使用经典估计比较合适。使用经典估计比较合适。贝叶斯准则：贝叶斯准则：l二元信号检测的贝叶斯准则（二元信号检测的贝叶斯准则（P.70）lM元信号检测的贝叶斯准则（元信号检测的贝叶斯准则（P.93）5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计在信号参量的估计中，我们用类似的方法提出在信号参量的估计中，我们用类似的方法提出贝叶斯估计准则贝叶斯估计准则，即使估计的即使估计的平均代价最小平均代价最小。适用于随机参量情况。适用于随机参量情况。代价函数的一般形式：满

11、足满足 （1）非负性；）非负性； （2）误差）误差 时最小。时最小。5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计三种典型的代价函数：三种典型的代价函数：5.2.1 常用代价函数和贝叶斯估计概念常用代价函数和贝叶斯估计概念平均代价平均代价条件平均代价条件平均代价贝叶斯公式贝叶斯公式上述条件平均代价函数上述条件平均代价函数 对对 求最小，求最小，即可以求得随机参量即可以求得随机参量 的贝叶斯估计量的贝叶斯估计量 。5.2.2 贝叶斯估计量的构造贝叶斯估计量的构造1、最小均方误差估计（条件均值，代价函数参见图、最小均方误差估计（条件均值，代价函数参见图(a)）对求偏导，并令结果为零。5.2.2

12、贝叶斯估计量的构造贝叶斯估计量的构造1、最小均方误差估计（条件均值，代价函数参见图、最小均方误差估计（条件均值，代价函数参见图(a)）二阶偏导数，上式求得的估计量，可以使平均代价C 达到最小：最小平均代价最小平均代价是是条件方差条件方差对所有观测量的统计平均。对所有观测量的统计平均。5.2.2 贝叶斯估计量的构造贝叶斯估计量的构造1、最小均方误差估计（条件均值，代价函数参见图、最小均方误差估计（条件均值，代价函数参见图(a)）估计量估计量 是后验概率密度函数是后验概率密度函数 的均值的均值 。将后验概率转化将后验概率转化为先验概率表达为先验概率表达5.2.2 贝叶斯估计量的构造贝叶斯估计量的构

13、造2、条件中值估计（条件中值，代价函数参见图、条件中值估计（条件中值，代价函数参见图(b)）称为条件中值估计，或条件中位数估计称为条件中值估计，或条件中位数估计（Conditional Median Estimation），），估计量估计量 是是 的点。的点。3、最大后验估计（条件众数，最大后验，代价函数参见图、最大后验估计（条件众数，最大后验，代价函数参见图(c)）5.2.2 贝叶斯估计量的构造贝叶斯估计量的构造等效于使等效于使 最大最大估计量估计量 是后验概率密度函数是后验概率密度函数 取最大值的点。取最大值的点。5.2.2 贝叶斯估计量的构造贝叶斯估计量的构造例例5.2.1 单随机参量的

14、贝叶斯估计（最佳估计的不变性）单随机参量的贝叶斯估计（最佳估计的不变性）贝叶斯公式贝叶斯公式5.2.3 最佳估计的不变性最佳估计的不变性如果被估计量的后验概率密度函数如果被估计量的后验概率密度函数 是高斯型的，则在三是高斯型的，则在三种典型代价函数下，使平均代价最小的估计量是一样的，都等于种典型代价函数下，使平均代价最小的估计量是一样的，都等于最小均方误差估计量，即最小均方误差估计量，即它们的均方误差都是最小的，这就是最佳估计的不变性。但是，它们的均方误差都是最小的，这就是最佳估计的不变性。但是，代价函数的选择常常带有代价函数的选择常常带有主观性主观性，而后验概率密度函数，而后验概率密度函数

15、也不一定能满足高斯型的要求。也不一定能满足高斯型的要求。希望能够放宽条件，也能获得均方误差最小的估计。希望能够放宽条件，也能获得均方误差最小的估计。5.2.3 最佳估计的不变性最佳估计的不变性两种情况下最小均方误差估计所具有两种情况下最小均方误差估计所具有最佳估计不变性。最佳估计不变性。5.2.3 最佳估计的不变性最佳估计的不变性情况情况最大似然估计常用来最大似然估计常用来估计未知的非随机参量估计未知的非随机参量。最大似然估计定义：使似然函数最大似然估计定义：使似然函数 最大的最大的 值作为估计量值作为估计量的参量估计方法的参量估计方法( (Maximum Likelihood Estimat

16、ion) )。5.3.1 最大似然估计原理最大似然估计原理最大似然函数的基本原理是：对于某个选定的最大似然函数的基本原理是：对于某个选定的 ，考虑，考虑 落在一落在一个小区域内的概率个小区域内的概率 ，取，取 最大的那个最大的那个 作为估作为估计量计量 。似然函数是在给定似然函数是在给定 后后得到的，可以画出它与被估得到的，可以画出它与被估计量计量 的关系曲线。的关系曲线。5.3 最大似然估计最大似然估计PDF作为未知参数的函数（固定），称之为似然函数。根据最大似然估计原理，可得如下最大似然估计量根据最大似然估计原理，可得如下最大似然估计量 或或5.3.2 最大似然估计量的构造最大似然估计量的

17、构造对比（5.2.19）式，相当于最大似然估计用于相当于最大似然估计用于估计没有任何先验知识的随机参量估计没有任何先验知识的随机参量 ，假定假定 为均匀分布，上式第二项为零，最大后验概率估计转化为均匀分布，上式第二项为零，最大后验概率估计转化为最大似然估计。为最大似然估计。例例5.3.1 同例同例5.2.1，但不利用被估计量的先验分布知识，而把其，但不利用被估计量的先验分布知识，而把其看成是未知非随机参量看成是未知非随机参量观测矢量观测矢量 的似然函数为：的似然函数为：5.3.2 最大似然估计量的构造最大似然估计量的构造带先验知识的贝叶斯估计：(1) 最大似然估计没有利用被估计量的先验知识，其

18、性能比贝叶斯估计差；最大似然估计没有利用被估计量的先验知识，其性能比贝叶斯估计差；(2) 当当 为未知随机参量时，计算似然函数为未知随机参量时，计算似然函数 相对容易；相对容易；(3) 对于绝大多数实用的最大似然估计，观测数据足够多时，对于绝大多数实用的最大似然估计，观测数据足够多时， 其性能是最优的；其性能是最优的；(4) 最然似然估计具有不变性。最然似然估计具有不变性。5.3.2 最大似然估计量的构造最大似然估计量的构造带先验知识的贝叶斯估计：最大似然估计的不变性：最大似然估计的不变性：1、如果参量、如果参量 的最大似然估计量为的最大似然估计量为 ，那么函数，那么函数 的的最大似然估计量最

19、大似然估计量 ，在，在 是是 的的一对一变换一对一变换时有时有2、如果、如果 不是不是 的一对一变换，而是的一对一变换，而是一对多变换一对多变换，则首先应找，则首先应找出在出在 取值范围内所有变化参量的似然函数取值范围内所有变化参量的似然函数 中具有最大值的一个，记为中具有最大值的一个，记为 ，即，即然后，通过然后，通过 求出求出 的最大似然估计量的最大似然估计量 ，就是函数，就是函数 的最大似然估计量。的最大似然估计量。5.3.3 最大似然估计的不变性最大似然估计的不变性估计量是随机变量估计量是随机变量主要性质主要性质无偏性无偏性有效性有效性一致性一致性充分性充分性克拉美克拉美-罗不等式罗不

20、等式(Cramer-Rao)克拉美克拉美-罗界（均方误差下界）罗界（均方误差下界）5.4 估计量的性质估计量的性质2、估计量的有效性、估计量的有效性 则称估计量则称估计量 比比 有效。有效。 克拉美克拉美-罗不等式罗不等式 克拉美克拉美-罗界（在罗界（在5.4.2小节讨论）小节讨论） 无偏有效估计量无偏有效估计量的定义（的定义（P.277）5.4.1 估计量的主要性质估计量的主要性质1、估计量的无偏性、估计量的无偏性估计量方差估计量方差估计误差方差估计误差方差均方误差均方误差5.4.1 估计量的主要性质估计量的主要性质3、估计量的一致性、估计量的一致性4、估计量的充分性、估计量的充分性 若被估

21、参量的估计量为若被估参量的估计量为 。如果以。如果以 为参量的似然为参量的似然 函数函数 能够分解表示为能够分解表示为 则称则称 充分估计量，运用了观测量充分估计量，运用了观测量 中的全部关于中的全部关于 的信息。的信息。 无偏有效估计量必然是充分估计量。无偏有效估计量必然是充分估计量。一致估计量一致估计量均方一致估计量均方一致估计量均方误差准则（均方误差准则（MSE）：）：5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界度量估计量偏移真值的平方偏差的统计平均值。度量估计量偏移真值的平方偏差的统计平均值。约束约束偏差为零偏差为零方差方差偏差偏差最小方差无偏估计最小方差无偏估

22、计(MVU)：Cramer-Rao下限下限5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界对无偏估计量确定一个下限：对无偏估计量确定一个下限：判断是否是判断是否是MVU估计量；估计量；为比较无偏估计量的性能提供标准；为比较无偏估计量的性能提供标准；不可能求得方差小于下限的无偏估计量不可能求得方差小于下限的无偏估计量（用于信号处理的可行性研究）（用于信号处理的可行性研究）引入：依赖于未知参数的引入：依赖于未知参数的PDF5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界观测到上述单个样本，其中。显然有：，方差为。图图(b)的的PDF与与A的相关性较弱。直观的

23、看：的相关性较弱。直观的看：似然函数的似然函数的”尖锐尖锐”性性，决定了，决定了估计未知参数的精度。估计未知参数的精度。PDF受未知参数的影响越大，所得到的估计越好受未知参数的影响越大，所得到的估计越好。考察由对数似然函数在其峰值处的负的二阶导数，考察由对数似然函数在其峰值处的负的二阶导数，来来度量度量“尖锐尖锐”性。性。5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界一阶导数：曲率更一般的度量：曲率更一般的度量：负的二阶导数：曲率随方差的减少而增加。在本例中：假定假定PDF 满足满足“正则正则”条件：条件：5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗

24、界Page25 from Steven M. KeyCRLB定理（定理（Cramer-Rao 下限定理）：下限定理）：且对于某个函数且对于某个函数 g 和和 I，当且仅当，当且仅当则，任何无偏估计量则，任何无偏估计量 的方差必定满足：的方差必定满足：时，对所有时，对所有 达到下限的无偏估计量可以求得：达到下限的无偏估计量可以求得：1、非随机参量情况、非随机参量情况5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界推论推论最大似然估计公式最大似然估计公式推导：两边对推导：两边对theta求偏导求偏导5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界1、非随机参

25、量情况（续，克拉美、非随机参量情况（续，克拉美-罗不等式的推导罗不等式的推导P.364）Cauchy-Schwarz Inequality无偏估计无偏估计不等式取等号条件：不等式取等号条件：1、非随机参量情况（续，另一种形式）、非随机参量情况（续，另一种形式）5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界另一种形式克拉美另一种形式克拉美-罗不等式的推导过程罗不等式的推导过程两边对两边对theta求二阶偏导求二阶偏导2、随机参量情况（第一种形式）、随机参量情况（第一种形式）5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界关系常数关系常数k与随机参量的二阶

26、统计量有关与随机参量的二阶统计量有关推导：两边对推导：两边对theta求偏导求偏导2、随机参量情况（续，第二种形式）、随机参量情况（续，第二种形式）5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界推论推论最大后验估计公式最大后验估计公式5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界2、随机参量情况（续，第二种形式）、随机参量情况（续，第二种形式）若随机参量若随机参量 的任意无偏估计量的任意无偏估计量 也是有效的，也是有效的，则该估计量一定是则该估计量一定是 的最大后验估计量的最大后验估计量 。无偏且达到无偏且达到CRLB的估计量可以有效地使用数据，称其

27、为有效的。如左图所示。的估计量可以有效地使用数据，称其为有效的。如左图所示。MVU（最小方差无偏）估计量可能是也可能不是有效的，如图（最小方差无偏）估计量可能是也可能不是有效的，如图(b)所示，所示， 没有没有达到达到CRLB，因此不是有效的，但是它的方差一致地小于所有其它无偏估计量的，因此不是有效的，但是它的方差一致地小于所有其它无偏估计量的方差，因此方差，因此 是是MVU估计量。估计量。Page28-29 from Steven M. Key5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界2、随机参量情况（续，第二种形式）、随机参量情况（续，第二种形式）当达到当达到CR

28、LB时，时，方差是方差是Fisher信息的倒数，信息的倒数，即信息越多，下限越低，即信息越多，下限越低，具有信息测度的基本性质：具有信息测度的基本性质：(1)非负性；非负性；(2)对独立观测的可加性。对独立观测的可加性。将下限表达式中的分母称为数据将下限表达式中的分母称为数据 X 的的Fisher信息信息 ，即，即5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界关于对独立观测的可加性：关于对独立观测的可加性：N个个IID观测的观测的CRLB是单次观测的是单次观测的 1/N 倍。倍。对于独立观测对于独立观测对于同分布观测对于同分布观测对于非独立的样本，可能有：对于非独立的样本

29、，可能有：例例5.4.1 非随机参量的最大似然估计量的性质非随机参量的最大似然估计量的性质5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界（1）无偏性）无偏性（2）有效性）有效性（3）一致性（随观测次数的增加，估计质量有所提高）一致性（随观测次数的增加，估计质量有所提高）例例5.4.1 非随机参量的最大似然估计量的性质（续）非随机参量的最大似然估计量的性质（续）5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界（4）充分性估计量利用了观测量中所有有关信息。）充分性估计量利用了观测量中所有有关信息。例例5.4.2 随机参量的贝叶斯估计量的性质随机参量的贝叶斯

30、估计量的性质5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界（1）无偏性）无偏性（2）有效性）有效性先验知识先验知识之前求取的贝叶斯估计量之前求取的贝叶斯估计量例例5.4.2 随机参量的贝叶斯估计量的性质（续）随机参量的贝叶斯估计量的性质（续）5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界（3）一致性）一致性（4）充分性）充分性5.4.3 有效估计量均方误差与有效估计量均方误差与 的关系的关系1、非随机参量情况、非随机参量情况2、随机参量情况、随机参量情况两边对两边对theta求偏导求偏导两边求均值两边求均值两边对两边对theta求偏导，并求均值求偏导

31、，并求均值,5.4.4 非随机参量函数估计的克拉美非随机参量函数估计的克拉美-罗界罗界推导：两边对推导：两边对theta求偏导求偏导未知随机参量的函数，其估计量是的任意无偏估计量，有：5.4.4 非随机参量函数估计的克拉美非随机参量函数估计的克拉美-罗界罗界由柯西由柯西-施瓦兹不等式得（参见施瓦兹不等式得（参见(5B.6)式）式）其克拉美其克拉美-罗不等式推导过程罗不等式推导过程5.4.4 非随机参量函数估计的克拉美非随机参量函数估计的克拉美-罗界罗界例例5.4.3 非随机参量非随机参量线性线性函数的最大似然估计量的性质函数的最大似然估计量的性质5.4.4 非随机参量函数估计的克拉美非随机参量

32、函数估计的克拉美-罗界罗界例例5.4.4 非随机参量非随机参量非线性非线性函数的最大似然估计量的性质函数的最大似然估计量的性质非线性函数的最大似然估计量非线性函数的最大似然估计量 是有偏估计，但是是有偏估计，但是渐进无偏的渐进无偏的。根据最大似然函数估计的不变性：根据最大似然函数估计的不变性：5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界Page31 from Steven M. Key非线性变换破坏了估计量的有效性，线性变换能够保持估计量的有效性。非线性变换破坏了估计量的有效性，线性变换能够保持估计量的有效性。如果数据记录足够大，非线性变换可以近似保持有效性。如果数据记

33、录足够大，非线性变换可以近似保持有效性。要估计的参数是某个基本参数的函数，例如下述两个典型的情况：线性关系：例如非线性关系：例如若：，CRLB：StevenP31335.4.5 估计量性质的总结估计量性质的总结关于估计量性质的几个基本概念性问题关于估计量性质的几个基本概念性问题 有效估计量一定是建立在无偏的基础上的。因为克拉美有效估计量一定是建立在无偏的基础上的。因为克拉美- -罗不罗不等式以及不等式取等号的条件，都是等式以及不等式取等号的条件，都是在任意无偏估计量基础上推在任意无偏估计量基础上推导导的。所以检验一个估计量的性质，首先要检验它的无偏性，只的。所以检验一个估计量的性质，首先要检验

34、它的无偏性，只有有在无偏性的基础上，才能进一步检验它的有效性在无偏性的基础上，才能进一步检验它的有效性。 只有无偏的和有效的估计量，其估计的均方误差才能达到克只有无偏的和有效的估计量，其估计的均方误差才能达到克拉美拉美- -罗界，并可通过计算克拉美罗界，并可通过计算克拉美- -罗界求得该估计量的均方误差。罗界求得该估计量的均方误差。 虽然，例虽然，例5.4.15.4.1中的最大似然估计量和例中的最大似然估计量和例5.4.25.4.2中的贝叶斯估中的贝叶斯估计量都是无偏有效估计量。但是，计量都是无偏有效估计量。但是，非随机参量的最大似然估计量非随机参量的最大似然估计量或随机参量的贝叶斯估计量不一

35、定都是无偏有效估计量或随机参量的贝叶斯估计量不一定都是无偏有效估计量。它可能。它可能是无偏的、有效的；也可能仅是无偏的，但不是有效的；也可能是无偏的、有效的；也可能仅是无偏的，但不是有效的；也可能是有偏的。是有偏的。5.5 矢量估计矢量估计在许多实际问题中，要求我们同时估计信号的多个参量，这就是在许多实际问题中，要求我们同时估计信号的多个参量，这就是矢量估计矢量估计。本节将把单参量估计的概念、方法和性能评估等推广。本节将把单参量估计的概念、方法和性能评估等推广到信号参量的矢量估计中。到信号参量的矢量估计中。类似于单参量估计的情况，矢量估计也可分为类似于单参量估计的情况，矢量估计也可分为随机矢量

36、和非随机矢量两种情况。随机矢量和非随机矢量两种情况。M维矢量维矢量估计矢量的的误差矢量：估计矢量的的误差矢量：5.5 矢量估计矢量估计矢量参数的矢量参数的CRLB对每个元素的方差设置下限：对每个元素的方差设置下限：其中其中 是是 的的Fisher 矩阵，有：矩阵，有：关于直线拟合的一个例子：关于直线拟合的一个例子：其中，是WGN，参数矢量是。5.5 矢量估计矢量估计似然函数为：似然函数为：5.5 矢量估计矢量估计由上式可得：由上式可得：总结：总结：（1） 的的CRLB相对于相对于 B 是已知的情况有所增加；是已知的情况有所增加； B 已知时，有已知时，有（2）对于）对于 ，CRLB随着估计更多

37、的参数而增加；随着估计更多的参数而增加；（3）对于）对于 ，B 更容易估计，其更容易估计，其CRLB随随 而减少；而减少； A 的的CRLB与与 有关；有关；（4）表明）表明 对对 B 的变化比对的变化比对 A 的变化敏感。的变化敏感。5.5.1 随机矢量的贝叶斯估计随机矢量的贝叶斯估计1、最小均方误差估计、最小均方误差估计条件平均代价条件平均代价各个分量估计误差的平方和各个分量估计误差的平方和为使平均代价为使平均代价 最小，要求每个参量最小，要求每个参量 估计的均方误差最小。估计的均方误差最小。矢量形式：矢量形式：5.5.1 随机矢量的贝叶斯估计随机矢量的贝叶斯估计2、最大后验估计、最大后验

38、估计最大后验估计最大后验估计的另一种形式的另一种形式5.5.2 非随机矢量的最大似然估计非随机矢量的最大似然估计被估计的矢量是非随机矢量，被估计的矢量是非随机矢量，或者是完全缺少先验知识的随机矢量或者是完全缺少先验知识的随机矢量。是阶矩阵的第i 行第j 列元素。5.5.3 矢量估计量的性质矢量估计量的性质1、非随机矢量情况、非随机矢量情况（1）无偏性）无偏性（2）有效性）有效性若对所有的若对所有的 ，估计的偏矢量，估计的偏矢量 的每一个分量都为零，则的每一个分量都为零，则 为无偏估计矢量。为无偏估计矢量。5.5.3 矢量估计量的性质矢量估计量的性质矩阵矩阵J通常称为通常称为费希尔信息矩阵费希尔

39、信息矩阵，它表示从观测数据中获得的信息。，它表示从观测数据中获得的信息。当当M=1，矩阵，矩阵J 退化成标量。退化成标量。若对于若对于M维非随机矢量维非随机矢量 的任意无偏估计矢量的任意无偏估计矢量 中的每一个参量中的每一个参量都满足都满足 ，则该估计称为联合有效估计。，则该估计称为联合有效估计。 是是 的均方误差下界，即克拉美的均方误差下界，即克拉美-罗界。罗界。5.5.3 矢量估计量的性质矢量估计量的性质例例5.5.1 非随机二维矢量的估计问题非随机二维矢量的估计问题5.5.3 矢量估计量的性质矢量估计量的性质例例5.5.1 非随机二维矢量的估计问题非随机二维矢量的估计问题关于本例题的讨论

40、和关于习题关于本例题的讨论和关于习题5.17的讨论：的讨论：（1）矢量估计的性能一般来说要低于单参量估计的性能；）矢量估计的性能一般来说要低于单参量估计的性能；（2）矢量估计中的参量）矢量估计中的参量 越多，估计量的性能越多，估计量的性能 可能会越低，除非各估计量之间是互不相关的。可能会越低，除非各估计量之间是互不相关的。5.5.3 矢量估计量的性质矢量估计量的性质2、随机矢量情况、随机矢量情况费希尔信息矩阵费希尔信息矩阵JT由两部分组成。由两部分组成。JD是是数据信息矩阵数据信息矩阵，它表示从，它表示从观测数据中获得的信息；观测数据中获得的信息；JP是是先验信息矩阵先验信息矩阵，它表示从先验

41、知识，它表示从先验知识中获得的信息。中获得的信息。均方误差阵均方误差阵C-R不等式不等式（1）无偏性）无偏性（2）有效性）有效性设有设有M维非随机矢量维非随机矢量 ，现在需要估计，现在需要估计M维矢量维矢量 的的L维函数维函数 。设。设L维估计矢量维估计矢量 是是L维矢量函数维矢量函数 的任意无偏估计矢量。则估计矢量的任意无偏估计矢量。则估计矢量 的均方误差阵的均方误差阵 满足不等式满足不等式式式(5.5.23)是矢量函数估计的克拉美是矢量函数估计的克拉美-罗不等式，罗不等式，不等式的右边就是克拉美不等式的右边就是克拉美-罗界；罗界；式式(5.5.24)是克拉美是克拉美-罗不等式取等号的条件。

42、罗不等式取等号的条件。其中，其中，J是费希尔信息矩阵。是费希尔信息矩阵。5.5.4 非随机矢量函数估计的克拉美非随机矢量函数估计的克拉美-罗界罗界LM, MM, MLLM, MM, M15.5.4 非随机矢量函数估计的克拉美非随机矢量函数估计的克拉美-罗界罗界例例5.5.3 高斯噪声背景中的信噪比估计问题（高斯噪声背景中的信噪比估计问题（函数估计函数估计）线性函数线性函数估计性质的不变性：如果估计性质的不变性：如果M维非随机矢量维非随机矢量 的任意无偏的任意无偏估计估计 是有效的；那么，其是有效的；那么，其L维线性矢量函数维线性矢量函数 的估计的估计矢量矢量 是无偏有效的。证明如下是无偏有效的

43、。证明如下如果如果 是是非线性函数非线性函数，则对于有限的观测次数，则对于有限的观测次数N，不再保，不再保持这种不变性。持这种不变性。5.5.4 非随机矢量函数估计的克拉美非随机矢量函数估计的克拉美-罗界罗界线性模型线性模型Steven M. Key page70-大量的信号处理问题都可以转化为线性模大量的信号处理问题都可以转化为线性模型构造解决。型构造解决。可以通过构造线性模型，寻找最佳估计量。可以通过构造线性模型，寻找最佳估计量。对于之前提到的直线拟合的例子：对于之前提到的直线拟合的例子：有：有：线性模型线性模型在在线性观测模型线性观测模型下下 和和 一般高斯噪声背景下一般高斯噪声背景下

44、研究：研究：非随机矢量非随机矢量 的最大似然估计；的最大似然估计；一般高斯随机矢量一般高斯随机矢量 的贝叶斯估计；的贝叶斯估计；已知随机矢量已知随机矢量 的均值矢量的均值矢量 和协方差矩阵和协方差矩阵 ：伪贝叶斯估计估计伪贝叶斯估计估计指定指定 先验先验PDF线性最小均方误差估计线性最小均方误差估计限定估计量是观测量的线性函数限定估计量是观测量的线性函数线性线性最小二乘估计：直接利用观测模型，不需要先验知识。最小二乘估计：直接利用观测模型，不需要先验知识。线性模型线性模型（1）若）若 为非随机矢量：为非随机矢量：高斯随机噪声高斯随机噪声线性模型线性模型（1）若）若 为非随机矢量：为非随机矢量：

45、对照对照CRLB定理：定理：d(UV)/dX=(dU/dX)V+(dV/dX)U线性模型线性模型（1）若）若 为非随机矢量：为非随机矢量：信息矩阵：线性模型线性模型（2）若）若 为随机矢量：为随机矢量：最小均方误差估计最小均方误差估计最大后验概率估计最大后验概率估计二者具有二者具有等同性等同性矩阵反演公式：矩阵反演公式：线性模型线性模型（3）随机矢量的伪贝叶斯估计：）随机矢量的伪贝叶斯估计：若被估计量若被估计量 的均值矢量的均值矢量 与协方差矩阵与协方差矩阵 已知，已知，PDF函数未知。函数未知。假定随机矢量假定随机矢量 为高斯分布，则伪贝叶斯估计矢量：为高斯分布，则伪贝叶斯估计矢量：最大似然

46、估计量的均方误差最大似然估计量的均方误差非负定非负定伪贝叶斯估计矢量的均方误差阵伪贝叶斯估计矢量的均方误差阵 小于等于小于等于 不利用先验知识的最大似然估计矢量的均方误差阵。不利用先验知识的最大似然估计矢量的均方误差阵。线性模型举例线性模型举例曲线拟合曲线拟合傅里叶分析傅里叶分析系统辨识系统辨识Page73-795.7 线性最小均方误差估计线性最小均方误差估计如果关于观测信号矢量和被估计矢量的如果关于观测信号矢量和被估计矢量的概率密度函数未知概率密度函数未知，（1）仅知道观测信号矢量和被估计随机矢量的）仅知道观测信号矢量和被估计随机矢量的前二阶矩知识前二阶矩知识（局部信息）（局部信息），即均值

47、矢量、协方差矩阵和互协方差矩阵；，即均值矢量、协方差矩阵和互协方差矩阵；（2）限定估计量是观测量的线性函数限定估计量是观测量的线性函数。上述情况下，要求估计量的均方误差达到最小。求得的估计量即上述情况下，要求估计量的均方误差达到最小。求得的估计量即为为线性最小均方误差估计量线性最小均方误差估计量。线性最小均方误差估计量所具有的重要性质线性最小均方误差估计量所具有的重要性质正交性：正交性：估计的误差矢量与观测矢量正交，常称为估计的误差矢量与观测矢量正交，常称为正交性原理正交性原理。5.7.1 线性最小均方误差估计准则线性最小均方误差估计准则单参量估计单参量估计线性最小均方误差估计的估计规则，就是

48、线性最小均方误差估计的估计规则，就是把估计量构造成观测量把估计量构造成观测量的线性函数，同时要求估计量的均方误差最小。的线性函数，同时要求估计量的均方误差最小。矢量估计矢量估计N M M1M1 MN N15.7.2 线性最小均方误差估计矢量的构造线性最小均方误差估计矢量的构造=0令令5.7.2 线性最小均方误差估计矢量的构造线性最小均方误差估计矢量的构造参见附录参见附录5G=0参考协方差矩阵定参考协方差矩阵定义义（见（见P18）令5.7.2 线性最小均方误差估计矢量的构造线性最小均方误差估计矢量的构造1、估计矢量是观测矢量的线性函数、估计矢量是观测矢量的线性函数2、估计矢量的无偏性、估计矢量的

49、无偏性3、估计矢量均方误差阵的最小性、估计矢量均方误差阵的最小性5.7.3 线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质添项，配方添项，配方5.7.3 线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质4、估计的误差矢量与观测矢量的、估计的误差矢量与观测矢量的正交性正交性 正交性原理表明，线性最小均方误差估计量是被估计矢量在正交性原理表明，线性最小均方误差估计量是被估计矢量在 观测矢量上的观测矢量上的正交投影正交投影。5、最小均方误差估计与线性最小均方误差估计的关系、最小均方误差估计与线性最小均方误差估计的关系 非线性非线性vs线性观测模型；线性模型且为联合高斯分布条

50、件下等同。线性观测模型；线性模型且为联合高斯分布条件下等同。线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质Setven M. Key page 311-312 -概念更清楚概念更清楚使使MSE最小最小 等价于等价于 使误差矢量使误差矢量 的长度平方最小。的长度平方最小。显然，当显然，当 与与 张成的子空间正交时，张成的子空间正交时，误差矢量的长度最小。误差矢量的长度最小。5.7.3 线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质例例5.7.1 线性最小均方误差估计线性最小均方误差估计5.7.4 线性最小均方误差递推估计线性最小均方误差递推估计1、递推估计的基本思想、

51、递推估计的基本思想新息新息非递推估计算法的缺点：非递推估计算法的缺点：a. 计算量大，效率低；计算量大，效率低；b. 求解高维矩阵求解高维矩阵逆阵，出现逆阵，出现病态矩阵病态矩阵无法求逆。无法求逆。2、递推估计的公式、递推估计的公式证明用到正交投影引理证明用到正交投影引理和引理和引理（P402）5.7.4 线性最小均方误差递推估计线性最小均方误差递推估计3、递推估计的过程、递推估计的过程初始条件初始条件 和和 确定后，就可以从第一次观测开始进行递推估计确定后，就可以从第一次观测开始进行递推估计第第1步，求出修正的增益矩阵步，求出修正的增益矩阵 ；第第2步，求出估计矢量的均方误差阵步，求出估计矢

52、量的均方误差阵 ；第第3步，确定步，确定新息新息 ，前乘增益矩阵，前乘增益矩阵 ，结果加到，结果加到 上，获上，获得估计矢量得估计矢量 。然后进行第二次观测，继续这个运算过程，实现递推估计。然后进行第二次观测，继续这个运算过程，实现递推估计。5.7.4 线性最小均方误差递推估计线性最小均方误差递推估计4、递推估计的特点和性质、递推估计的特点和性质递推估计算法的优点：递推估计算法的优点：a.算法效率高；算法效率高；b.只需对低阶矩阵求逆；只需对低阶矩阵求逆；c.被估计随机变量的前二阶矩先验知识未知，也可确定某一初被估计随机变量的前二阶矩先验知识未知，也可确定某一初始条件后运行算法；始条件后运行算

53、法；d.递推算法在获得估计矢量的同时，也获得了反映估计精度的递推算法在获得估计矢量的同时，也获得了反映估计精度的估计矢量的估计矢量的均方误差阵均方误差阵（对其求迹即可得到估计矢量的均方（对其求迹即可得到估计矢量的均方误差）；误差）；e.修正修正增益矩阵增益矩阵与与观测噪声矢量的协方差矩阵观测噪声矢量的协方差矩阵成反比。成反比。5.7.4 线性最小均方误差递推估计线性最小均方误差递推估计例例5.7.2 线性最小均方误差估计（递推算法）线性最小均方误差估计（递推算法）5.7.4 线性最小均方误差递推估计线性最小均方误差递推估计5.29 若观测值若观测值计算可得：计算可得：测量中，若发现测量中，若发

54、现 ，明显不合理，应当剔除，并补充一个，明显不合理，应当剔除，并补充一个合理数值，如：合理数值，如：若若 :线性最小均方误差递推估计思想线性最小均方误差递推估计思想Gram-Schmidt正交化方法正交化方法线性代数的几何意义page134/174线性最小均方误差递推估计思想线性最小均方误差递推估计思想StevenM.Keypage3195.7.5 单参量的线性最小均方误差估计单参量的线性最小均方误差估计已知被估计参量（标量）和观测矢量前二阶矩知识已知被估计参量（标量）和观测矢量前二阶矩知识观测噪声矢量的前二阶矩知识已包含在观测矢量的前二阶矩知识观测噪声矢量的前二阶矩知识已包含在观测矢量的前二

55、阶矩知识中。可得单参量的线性最小均方误差估计和均方误差阵如下中。可得单参量的线性最小均方误差估计和均方误差阵如下均方误差阵（矩阵）已退化成均方误差（标量）。均方误差阵（矩阵）已退化成均方误差（标量）。N1NN1N5.7.6 观测噪声不相关时的单参量估计观测噪声不相关时的单参量估计令令5.7.6 观测噪声不相关时的单参量估计观测噪声不相关时的单参量估计两边分别乘以两边分别乘以并令并令5.7.6 观测噪声不相关时的单参量估计观测噪声不相关时的单参量估计与例与例5.2.1结果相同结果相同若若5.7.6 观测噪声不相关时的单参量估计观测噪声不相关时的单参量估计例例5.7.3 线性最小均方误差估计（时变

56、观测，观测噪声不相关）线性最小均方误差估计（时变观测，观测噪声不相关）与例与例5.7.2结果相同结果相同5.7.7 观测噪声相关时的单参量估计观测噪声相关时的单参量估计自回归平滑随机过程自回归平滑随机过程ARMA产生相关噪声的常用模型产生相关噪声的常用模型5.7.7 观测噪声相关时的单参量估计观测噪声相关时的单参量估计gk没有通式解，可用数没有通式解，可用数值方法近似求解值方法近似求解5.7.7 观测噪声相关时的单参量估计观测噪声相关时的单参量估计例子：考虑例子：考虑 的情况的情况当噪声当噪声 间互不相关时，即间互不相关时，即 有有5.8 最小二乘估计最小二乘估计5.8.1 最小二乘估计方法最

57、小二乘估计方法最小二乘估计是最小二乘估计是1795年高斯提出的一种估计方法。年高斯提出的一种估计方法。该方法不需要任该方法不需要任何先验知识，只需要关于被估计量的观测信号模型何先验知识，只需要关于被估计量的观测信号模型 ，就可实现信号参量就可实现信号参量 的估计。最小二乘估计法最小化如下的的估计。最小二乘估计法最小化如下的代价函数代价函数( (误差平方和误差平方和) )对于对于M维被估计矢量维被估计矢量 ，设信号模型为，设信号模型为 ，最小二乘估计代价，最小二乘估计代价函数如下函数如下根据信号模型线性与否，可分为线性根据信号模型线性与否，可分为线性最小二乘估计最小二乘估计和非线性和非线性最小二

58、最小二乘估计乘估计。5.8.2 线性最小二乘估计线性最小二乘估计线性最小二乘估计线性最小二乘估计构造规则：构造规则：构造公式：构造公式：估计量性质：估计量性质：5.8.2 线性最小二乘估计线性最小二乘估计例例5.8.1 求二维矢量求二维矢量 的线性最小二乘估计的线性最小二乘估计两次观测：两次观测：观测方程：观测方程： ，即信号模型，即信号模型最小二乘估计量：最小二乘估计量：5.8.3 线性最小二乘加权估计线性最小二乘加权估计线性最小二乘加权估计线性最小二乘加权估计矩阵不等式：矩阵不等式：5.8.3 线性最小二乘加权估计线性最小二乘加权估计例例5.8.2 求单参量的最小二乘估计和最小二乘加权估计

59、求单参量的最小二乘估计和最小二乘加权估计两次观测：两次观测：已知观测噪声特性：已知观测噪声特性：观测方程：观测方程：最小二乘估计量：最小二乘估计量：最小二乘加权估计量：最小二乘加权估计量：5.8.4 线性最小二乘递推估计线性最小二乘递推估计线性最小二乘递推估计线性最小二乘递推估计5.8.4 线性最小二乘递推估计线性最小二乘递推估计线性最小二线性最小二乘递推估计乘递推估计( (续续) )5.8.5 单参量线性最小二乘估计单参量线性最小二乘估计线性观测方程线性观测方程观测系数矩阵观测系数矩阵观测噪声满足条件观测噪声满足条件单参量最小二乘估计单参量最小二乘估计5.8.5 单参量线性最小二乘估计单参量

60、线性最小二乘估计习题习题5.335.8.5 单参量线性最小二乘估计单参量线性最小二乘估计习题习题5.335.8.6 非线性最小二乘估计非线性最小二乘估计1. 参量变换方法参量变换方法2.参量分离方法参量分离方法5.9 信号波形中的参量估计信号波形中的参量估计观测到的信号波形为：观测到的信号波形为：噪声信号为高斯白噪声。噪声信号为高斯白噪声。借助第借助第4章，随机过程的正交级数展开，观测信号的似然函数为：章，随机过程的正交级数展开，观测信号的似然函数为：最大似然估计量是下列方程的解：最大似然估计量是下列方程的解：5.9 信号波形中的参量估计信号波形中的参量估计费舍尔信息矩阵：费舍尔信息矩阵：其中：其中：单参量最大似然估计：单参量最大似然估计：