《信号的统计估计理论》由会员分享，可在线阅读，更多相关《信号的统计估计理论（179页珍藏版）》请在金锄头文库上搜索。
1、国家重点实验室国家重点实验室第五章第五章 信号的统计估计理论信号的统计估计理论国家重点实验室国家重点实验室基本要求基本要求掌握随机参量的贝叶斯估计方法掌握随机参量的贝叶斯估计方法掌握最大似然估计方法掌握最大似然估计方法掌握估计量的性质掌握估计量的性质掌握多参量估计方法掌握多参量估计方法掌握线性最小均方误差估计方法掌握线性最小均方误差估计方法掌握最小二乘估计方法掌握最小二乘估计方法掌握信号波形中参量的估计方法掌握信号波形中参量的估计方法国家重点实验室国家重点实验室5.1 引言引言估计理论与第三、四章介绍的检测理论有很多相似的地方，估计理论与第三、四章介绍的检测理论有很多相似的地方，有些分析方法是
2、相同的。有些分析方法是相同的。检测理论的主要任务是从检测理论的主要任务是从M个可能的信号假设中，判断哪个可能的信号假设中，判断哪个假设成立，检测系统结构、性能分析方法及最佳信号波个假设成立，检测系统结构、性能分析方法及最佳信号波形设计等问题。形设计等问题。估计理论，主要任务是在某种信号假设下，估算该信号中估计理论，主要任务是在某种信号假设下，估算该信号中某个参数（比如幅度、相位、达到时间）的具体取值，该某个参数（比如幅度、相位、达到时间）的具体取值，该需要估计的参数一般是连续变量。需要估计的参数一般是连续变量。如果信号的某个参数取离散值，估计理论和检测理论的界如果信号的某个参数取离散值，估计理
3、论和检测理论的界限变得不明显。限变得不明显。国家重点实验室国家重点实验室5.1 引言引言 1. 通信系统中的估计问题通信系统中的估计问题 载波频率载波频率 信号的幅度信号的幅度 信道噪声的均值和方差信道噪声的均值和方差2. 参量估计的数学模型和估计量的构造参量估计的数学模型和估计量的构造估计规则参量空间观测空间国家重点实验室国家重点实验室5.1 引言引言本章的核心问题之一就是研究上述函数的构造方法，评估所构造估计量的优劣。本章的核心问题之一就是研究上述函数的构造方法，评估所构造估计量的优劣。需要接收端作出估计的参量集合需要接收端作出估计的参量集合参量空间：参量空间：观测空间：观测空间：接收端收
4、到的观测信号的集合接收端收到的观测信号的集合概率映射：概率映射：信源发送信号到接收端过程中，会有噪声的影响，观测信号中信源发送信号到接收端过程中，会有噪声的影响，观测信号中包含被估计矢量的信息，所以观测信号是以被估计矢量为参数的包含被估计矢量的信息，所以观测信号是以被估计矢量为参数的随即矢量，用随即矢量，用 来描述。来描述。估计规则：估计规则：利用被估计矢量的先验知识和观测信号的统计特性，根据指标利用被估计矢量的先验知识和观测信号的统计特性，根据指标要求，构造观测矢量的函数来定义估计量。要求，构造观测矢量的函数来定义估计量。国家重点实验室国家重点实验室5.1 引言引言3. 估计量性能的评估估计
5、量性能的评估 估计量的均值估计量的均值 估计量的均方误差估计量的均方误差国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计1. 掌握常用代价函数和贝叶斯估计的概念掌握常用代价函数和贝叶斯估计的概念 2. 掌握最小均方误差估计掌握最小均方误差估计 3. 掌握最大后验概率估计掌握最大后验概率估计 4. 掌握条件中值估计掌握条件中值估计 5. 理解最佳估计的不变性理解最佳估计的不变性 国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计1. 常用代价函数和贝叶斯估计的概念常用代价函数和贝叶斯估计的概念 误差平方代价函数误差平方代价函数 误差绝对值代价
6、函数误差绝对值代价函数 均匀代价函数均匀代价函数 贝叶斯估计：使平均代价最小的一种估计准则。贝叶斯估计：使平均代价最小的一种估计准则。 代价函数的基本特性：非负性和代价函数的基本特性：非负性和 时的最小性。时的最小性。国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计2. 平均代价平均代价 设被估计的单随机变量的先验概率密度函数为设被估计的单随机变量的先验概率密度函数为 平均代价平均代价C为为 易知代价函数易知代价函数在在 给定，选定代价函数的条件下，使平均代价最小的估计给定，选定代价函数的条件下，使平均代价最小的估计称为贝叶斯估计。称为贝叶斯估计。 国家重点实验室国
7、家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计2. 平均代价平均代价 由由 是非负值，是非负值，因此使平均代价最小，就等价于使因此使平均代价最小，就等价于使最小。最小。条件平均代价条件平均代价国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计3. 最小均方误差估计最小均方误差估计选定的代价函数为选定的代价函数为 使条件平均代价最小的一个必要条件是对上式中使条件平均代价最小的一个必要条件是对上式中 求偏导求偏导 令偏导为零来求得最佳的估计量令偏导为零来求得最佳的估计量 求解方法求解方法 国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶
8、斯估计3. 最小均方误差估计最小均方误差估计国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计3. 最小均方误差估计最小均方误差估计注：注：1.最小均方误差估计的估计量实际是条件均值最小均方误差估计的估计量实际是条件均值2.最小均方误差估计的条件平均代价实际是条件方差最小均方误差估计的条件平均代价实际是条件方差3.最小均方误差估计量的另一种形式最小均方误差估计量的另一种形式国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计4. 最大后验估计最大后验估计选定的代价函数为选定的代价函数为 使条件平均代价最小，应该使使条件平均代价最小，应该使 取到
9、最大值取到最大值当当很小时，为保证上式最大，应当选择估计量很小时，为保证上式最大，应当选择估计量 ，使它处于后验概率密度函数使它处于后验概率密度函数 最大值的位置。最大值的位置。国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计4. 最大后验估计最大后验估计根据上述分析，得到最大后验概率估计量为根据上述分析，得到最大后验概率估计量为两种等价形式两种等价形式国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计5. 条件中值估计条件中值估计选定的代价函数为选定的代价函数为 使条件平均代价最小的一个必要条件是对上式中使条件平均代价最小的一个必要条件是
10、对上式中 求偏导求偏导 令偏导为零来求得最佳的估计量令偏导为零来求得最佳的估计量 求解方法求解方法 国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计例例5.1 研究在加性噪声中单随机参量研究在加性噪声中单随机参量 的估计问题。的估计问题。观测方程为观测方程为 其中其中nk是均值为零，方差为是均值为零，方差为 的独立同分布高斯随机噪声的独立同分布高斯随机噪声 被估计量被估计量 是均值为零，方差为是均值为零，方差为 高斯随机变量高斯随机变量 求求 的贝叶斯估计量的贝叶斯估计量(最小均方误差、最大
11、后验和条件中值最小均方误差、最大后验和条件中值) 国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计解：解：根据最大后验估计准则，估计量为满足以下方程的解，即根据最大后验估计准则，估计量为满足以下方程的解，即 最大后验估计最大后验估计由题设，可知，给定由题设，可知，给定 条件下，观测信号条件下，观测信号xk是均值为是均值为 ，方差为，方差为 的高斯的高斯随机变量随机变量 国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计所以最大后验估计量为满足以下方程的解所以最大后验估计量为满足以下方程的解 国家重点实验室国家重点实验室5.2 随机参量的贝叶
12、斯估计随机参量的贝叶斯估计估计量的均方误差为估计量的均方误差为 国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计根据最小均方误差估计准则，估计量为根据最小均方误差估计准则，估计量为 最小均方误差估计最小均方误差估计由题设，可知，给定由题设，可知，给定 条件下，观测信号条件下，观测信号xk是均值为是均值为 ，方差为，方差为 的高斯的高斯随机变量随机变量 国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的
13、贝叶斯估计上述分布是高斯型的，其均值为上述分布是高斯型的，其均值为估计量的均方误差为估计量的均方误差为方差为方差为所以最小均方误差估计量为所以最小均方误差估计量为国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计条件中值估计条件中值估计估计量的均方误差为估计量的均方误差为所以条件中值估计量为所以条件中值估计量为由于由于国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计结论：如果被估计量的后验概率密度函数是高斯型的，在三种典型代价函数下，结论：如果被估计量的后验概率密度函数是高斯型的，在三种典型代价函数下，使平均代价最小的估计量相同，都等于最小
14、均方误差估计量，估计量的均方误差使平均代价最小的估计量相同，都等于最小均方误差估计量，估计量的均方误差都是最小的都是最小的 最最 佳估计的不变性。佳估计的不变性。条件中值估计条件中值估计最小均方误差估计最小均方误差估计最大后验估计最大后验估计国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计例例5.2 研究在加性噪声中单随机参量研究在加性噪声中单随机参量 的估计问题。的估计问题。观测方程为观测方程为 其中其中nk是均值为零，方差为是均值为零，方差为 的独立同分布高斯随机噪声的独立同分布高斯随机噪声 被估计量被估计量 在在(-SM,SM)之间均匀分布的随机变量之间均匀分
15、布的随机变量求求 的贝叶斯估计量的贝叶斯估计量(最小均方误差和最大后验最小均方误差和最大后验) 国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计解：解：根据最大后验估计准则，估计量为满足以下方程的解，即根据最大后验估计准则，估计量为满足以下方程的解，即 最大后验估计最大后验估计由题设，可知，给定由题设，可知，给定 条件下，观测信号条件下，观测信号xk是均值为是均值为 ，方差为，方差为 的高斯的高斯随机变量随机变量 国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计所以最大后验估计量为满足以下方程的解所以最大后验估计量为满足以下方程的解 国家
16、重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计由于由于s在在(-SM, SM)之间取值，所以之间取值，所以国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计根据最小均方误差估计准则，估计量为根据最小均方误差估计准则，估计量为 最小均方误差估计最小均方误差估计国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计5. 最佳估计的不变性最佳估计的不变性结论：如果被估计量的后验概率密度函数是高斯型的，在三种典型代价函数下，结论：如果被估计量的后验概率密度函数是高斯型的，在三种典型代价函数下，使平均代价最小的估计量相同，都等于最
17、小均方误差估计量，估计量的均方误差使平均代价最小的估计量相同，都等于最小均方误差估计量，估计量的均方误差都是最小的都是最小的 最最 佳估计的不变性。佳估计的不变性。问题：代价函数的选取带有一定的主观性，且后验概率密度函数也不一定是高斯型问题：代价函数的选取带有一定的主观性，且后验概率密度函数也不一定是高斯型的，能否找到一种估计方法，使对放宽约束条件的代价函数和后验概率密度函数的，能否找到一种估计方法，使对放宽约束条件的代价函数和后验概率密度函数是最佳的？即可以获得均方误差最小的估计是最佳的？即可以获得均方误差最小的估计?国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估
18、计约束情况约束情况1对称对称下凸下凸且后验概率密度函数对称于条件均值，即满足且后验概率密度函数对称于条件均值，即满足则使平均代价最小的估计量则使平均代价最小的估计量国家重点实验室国家重点实验室5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计约束情况约束情况2对称对称下凸下凸且后验概率密度函数是对称于条件均值的单峰函数，即满足且后验概率密度函数是对称于条件均值的单峰函数，即满足则使平均代价最小的估计量则使平均代价最小的估计量对称对称单峰单峰国家重点实验室国家重点实验室5.3 最大似然估计最大似然估计1. 掌握最大似然估计原理掌握最大似然估计原理 2. 掌握最大似然估计量的构造方法掌握最大似然估计
19、量的构造方法 3. 掌握最大似然估计量的不变性掌握最大似然估计量的不变性 国家重点实验室国家重点实验室5.3 最大似然估计最大似然估计1. 最大似然估计原理最大似然估计原理 最大似然估计常用来估计未知的非随机参量或者概率密度函数未知的随机参量。最大似然估计常用来估计未知的非随机参量或者概率密度函数未知的随机参量。 被估计量的似然函数为被估计量的似然函数为 最大似然被估计的基本原理是：最大似然被估计的基本原理是：对于某个选定的对于某个选定的 ，考虑落在一个小区域内的概率，考虑落在一个小区域内的概率 ，取，取 最大值对应的最大值对应的 作为估计量作为估计量 国家重点实验室国家重点实验室5.3 最大
20、似然估计最大似然估计2. 最大似然估计量的构造最大似然估计量的构造 或或根据最大似然估计原理，如果已知似然函数根据最大似然估计原理，如果已知似然函数 ，则最大似然估计量可由，则最大似然估计量可由解得。解得。国家重点实验室国家重点实验室5.3 最大似然估计最大似然估计例例5.3 如果参量如果参量 的观测方程为的观测方程为其中其中nk是均值为零，方差为是均值为零，方差为 的独立同分布高斯随机噪声的独立同分布高斯随机噪声 被估计量被估计量 是未知的非随机参量是未知的非随机参量 求求 的最大似然估计量和均方误差的最大似然估计量和均方误差 国家重点实验室国家重点实验室由题设，可知，给定由题设，可知，给定
21、 条件下，观测信号条件下，观测信号xk是均值为是均值为 ，方差为，方差为 的高斯的高斯随机变量随机变量 由最大似然估计原理，得最大似然估计量为满足以下方程的解。由最大似然估计原理，得最大似然估计量为满足以下方程的解。国家重点实验室国家重点实验室所以最大似然估计量为所以最大似然估计量为均方误差为均方误差为国家重点实验室国家重点实验室5.3 最大似然估计最大似然估计例例5.4 研究在加性噪声中单随机参量研究在加性噪声中单随机参量 的估计问题。的估计问题。观测方程为观测方程为 其中其中n是均值为零，方差为是均值为零，方差为 的独立同分布高斯随机噪声的独立同分布高斯随机噪声 被估计量被估计量 是未知非
22、随机参量是未知非随机参量求求 的最大似然估计量，并求均方误差。的最大似然估计量，并求均方误差。 国家重点实验室国家重点实验室5.3 最大似然估计最大似然估计解：解：由题设，可知，给定由题设，可知，给定 条件下，观测信号条件下，观测信号x是均值为是均值为 ，方差为，方差为 的高斯的高斯随机变量随机变量 由最大似然估计原理，得最大似然估计量为满足以下方程的解。由最大似然估计原理，得最大似然估计量为满足以下方程的解。国家重点实验室国家重点实验室所以最大似然估计量为所以最大似然估计量为均方误差为均方误差为国家重点实验室国家重点实验室5.3 最大似然估计最大似然估计3. 最大似然估计量的不变性最大似然估
23、计量的不变性 很多情况下，需要估计很多情况下，需要估计 的一个函数的一个函数 。例例5.5 如果参量如果参量 的观测方程为的观测方程为其中其中nk是均值为零，方差为是均值为零，方差为 的独立同分布高斯随机噪声的独立同分布高斯随机噪声 被估计量被估计量 是未知的非随机参量是未知的非随机参量 求求 的最大似然估计量的最大似然估计量国家重点实验室国家重点实验室由题设，可知，给定由题设，可知，给定 条件下，观测信号条件下，观测信号xk是均值为是均值为 ，方差为，方差为 的高斯的高斯随机变量随机变量 由于由于 是是 的一对一变换，即是单调函数，因此可得的一对一变换，即是单调函数，因此可得解：解：国家重点
24、实验室国家重点实验室所以最大似然估计量为所以最大似然估计量为由最大似然估计原理，得最大似然估计量为满足以下方程的解。由最大似然估计原理，得最大似然估计量为满足以下方程的解。国家重点实验室国家重点实验室5.3 最大似然估计最大似然估计 最大似然估计量不变性归纳最大似然估计量不变性归纳 则有以下两个结论则有以下两个结论如果参量如果参量 的最大似然估计量为的最大似然估计量为 ，函数，函数 的最大似然估计量为的最大似然估计量为(1)如果如果 是是 的一对一变换，则有的一对一变换，则有所有变换参量的似然函数所有变换参量的似然函数 中具有最大值的一个中具有最大值的一个通过通过 求出求出 最大似然估计量最大
25、似然估计量 。(2)如果如果 是是 的一对的一对j变换，则应找出在变换，则应找出在 取值范围内，取值范围内，国家重点实验室国家重点实验室5.3 最大似然估计最大似然估计例例5.5 如果参量如果参量 的观测方程为的观测方程为其中其中nk是均值为零，方差为是均值为零，方差为 的独立同分布高斯随机噪声的独立同分布高斯随机噪声 被估计量被估计量 是未知的非随机参量是未知的非随机参量 求求 的最大似然估计量的最大似然估计量国家重点实验室国家重点实验室由题设，可知，给定由题设，可知，给定 条件下，观测信号条件下，观测信号xk是均值为是均值为 ，方差为，方差为 的高斯的高斯随机变量随机变量 由于由于 ，可得
26、，可得解：解：或或国家重点实验室国家重点实验室由于由于 ，可得，可得国家重点实验室国家重点实验室由最大似然估计原理，得最大似然估计量为满足以下方程的解。由最大似然估计原理，得最大似然估计量为满足以下方程的解。所以最大似然估计量为所以最大似然估计量为国家重点实验室国家重点实验室单参量估计方法小结单参量估计方法小结(1) 最小均方误差估计最小均方误差估计注：注：1.最小均方误差估计的估计量实际是条件均值最小均方误差估计的估计量实际是条件均值2.最小均方误差估计的条件平均代价实际是条件方差最小均方误差估计的条件平均代价实际是条件方差3.最小均方误差估计量的另一种形式最小均方误差估计量的另一种形式国家
27、重点实验室国家重点实验室单参量估计方法小结单参量估计方法小结(2)最大后验估计最大后验估计两种等价形式两种等价形式国家重点实验室国家重点实验室单参量估计方法小结单参量估计方法小结(3)最大似然估计最大似然估计 或或根据最大似然估计原理，如果已知似然函数根据最大似然估计原理，如果已知似然函数 ，则最大似然估计量可由，则最大似然估计量可由解得。解得。国家重点实验室国家重点实验室单参量估计方法小结单参量估计方法小结(4) 最大似然估计适用于非随机参量和概率密度函数未知的随最大似然估计适用于非随机参量和概率密度函数未知的随机参量估计机参量估计 最小均方误差估计和最大后验估计适用于概率密度函数已最小均方
28、误差估计和最大后验估计适用于概率密度函数已知的随机参量估计。知的随机参量估计。 但对于非高斯型的，不同的估计方法，可能会得到不同的估计量，如何来衡量一个但对于非高斯型的，不同的估计方法，可能会得到不同的估计量，如何来衡量一个估计量的好坏？估计量的好坏？如果后验概率密度是高斯型的，则最小均方误差、最大后验和条件中值三种方法得到如果后验概率密度是高斯型的，则最小均方误差、最大后验和条件中值三种方法得到的估计量相同，都是具有最小均方误差的估计量。的估计量相同，都是具有最小均方误差的估计量。国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质 掌握估计量的无偏性、有效性和一致性的定义。掌握估计
29、量的无偏性、有效性和一致性的定义。 掌握克拉美掌握克拉美-罗不等式和克拉美罗不等式和克拉美-罗界罗界(非随机参量、非随机参量、随机参量、非随机参量的函数随机参量、非随机参量的函数)国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质1. 估计量的主要性质估计量的主要性质1.1 估计量的无偏性估计量的无偏性(1) 对于随机参量对于随机参量 ，如果估计量，如果估计量 的均值满足的均值满足则称则称 是随机参量是随机参量 的无偏估计。的无偏估计。国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质1.1 估计量的无偏性估计量的无偏性(2) 对于非随机参量对于非随机参量 ，如果估计量，如
30、果估计量 的均值为的均值为若若 则称则称 是非随机参量是非随机参量 的无偏估计。的无偏估计。若若 则称则称 是非随机参量是非随机参量 的有偏估计。的有偏估计。若若 则称则称 是非随机参量是非随机参量 的已知偏差的有偏估计，的已知偏差的有偏估计，可从估计量可从估计量 中减去常数中减去常数b获得无偏估计。获得无偏估计。国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质1.1 估计量的无偏性估计量的无偏性(3) 如果根据如果根据N次观测量构造的估计量次观测量构造的估计量 是有偏的，但满足是有偏的，但满足或或非随机参量非随机参量随机参量随机参量则称则称 是是 的渐近无偏估计。的渐近无偏估计。
31、国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质1.2 估计量的有效性估计量的有效性对于被估计量对于被估计量 的任意无偏估计的任意无偏估计 和和 ，若估计的均方误差，若估计的均方误差则称估计量则称估计量 比比 更有效。更有效。如果如果 的无偏估计量的无偏估计量 小于其他任意无偏估计量的均小于其他任意无偏估计量的均方误差，则称该估计量为最小均方误差估计量。方误差，则称该估计量为最小均方误差估计量。问题：能否确定一个均方误差的下界？问题：能否确定一个均方误差的下界？国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质1.3 估计量的一致性估计量的一致性假设根据假设根据N次观测量
32、构造的估计量为次观测量构造的估计量为 若若则称估计量则称估计量 是一致收敛的估计量。是一致收敛的估计量。若若则称估计量则称估计量 是均方一致收敛的估计量。是均方一致收敛的估计量。国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质 若被估计量若被估计量 的估计量为的估计量为 ，x是观测量。如果以是观测量。如果以 为参量的似然为参量的似然函数函数 能够表示为：能够表示为： 则称则称 为充分估计量。为充分估计量。 其中，其中， 是通过是通过 才与才与x有关的函数，并且以有关的函数，并且以 为参量。为参量。 1.4估计量的充分性估计量的充分性国家重点实验室国家重点实验室5.4 估计量的性质估
33、计量的性质2. 非随机参量的克拉美非随机参量的克拉美-罗不等式罗不等式设设 是非随机参量是非随机参量 的无偏估计，则有的无偏估计，则有或当且仅当当且仅当 时，上述两式取等号。时，上述两式取等号。克拉美克拉美-罗罗不等式不等式克拉美克拉美-罗不等式取等号的条件罗不等式取等号的条件国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质证明：证明：设设 是非随机参量是非随机参量 的无偏估计，则有的无偏估计，则有对上式求偏导，对上式求偏导， 得得国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质证明：证明：上式改写为上式改写为国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质
34、根据柯西根据柯西-施瓦滋不等式施瓦滋不等式当且仅当当且仅当 时，上式等号成立。时，上式等号成立。国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质等号成立条件等号成立条件国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质克拉美克拉美-罗不等式的另一种形式罗不等式的另一种形式求偏导求偏导再求一次偏导再求一次偏导国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质克拉美克拉美-罗不等式的另一种形式罗不等式的另一种形式所以所以国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质2.1 非随机参量情况下的克拉美非随机参量情况下的克拉美-罗不等式的含义和用途罗不等式的
35、含义和用途(1) 非随机参量非随机参量 的任意无偏估计量的任意无偏估计量 的方差的方差 ，即，即均方误差恒不小于均方误差恒不小于 (2) 若非随机参量若非随机参量 的无偏估计量的无偏估计量 满足满足 则无偏估计量则无偏估计量 是有效的，否则是无效的。是有效的，否则是无效的。 国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质2.1 非随机参量情况下的克拉美非随机参量情况下的克拉美-罗不等式的含义和用途罗不等式的含义和用途(3) 若非随机参量若非随机参量 的无偏估计量的无偏估计量 是有效的，则估计量是有效的，则估计量的方差，即均方误差可由克拉美的方差，即均方误差可由克拉美-罗界取得。罗
36、界取得。国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质2.1 非随机参量情况下的克拉美非随机参量情况下的克拉美-罗不等式的含义和用途罗不等式的含义和用途(4) 若非随机参量若非随机参量 的无偏有效估计量的无偏有效估计量 存在，它必定是存在，它必定是 的最大似然估计量的最大似然估计量 ，且可由最大似然方程解得。，且可由最大似然方程解得。 (5) 若非随机参量若非随机参量 的最大似然估计量的最大似然估计量 不一定是无偏有不一定是无偏有效的。效的。最大似然估计量为由国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质2.2 非随机参量情况下，无偏有效估计量的均方误差计算方法非随
37、机参量情况下，无偏有效估计量的均方误差计算方法若非随机参量若非随机参量 的无偏估计量的无偏估计量 也是有效的，则其均方误差为也是有效的，则其均方误差为 由国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质例例5.6 如果参量如果参量 的观测方程为的观测方程为其中其中nk是均值为零，方差为是均值为零，方差为 的独立同分布高斯随机噪声，的独立同分布高斯随机噪声， 试讨论估计量试讨论估计量 的最大似然估计量的最大似然估计量 的无偏性、有效的无偏性、有效性和一致性。性和一致性。国家重点实验室国家重点实验室由题设，由题设，由于由于国家重点实验室国家重点实验室最大似然估计量最大似然估计量是是 的
38、有效估计量，且估计量的均方误差为的有效估计量，且估计量的均方误差为最大似然估计量最大似然估计量是一致收敛估计量。是一致收敛估计量。最大似然估计量最大似然估计量是均方一致收敛估计量是均方一致收敛估计量国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质3. 随机参量的克拉美随机参量的克拉美-罗不等式罗不等式设设 是随机参量是随机参量 的无偏估计，则有的无偏估计，则有或当且仅当当且仅当 时，上述两式取等号。时，上述两式取等号。克拉美克拉美-罗罗不等式不等式克拉美克拉美-罗不等式取等号的条件罗不等式取等号的条件国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质证明：证明：设设 是随
39、机参量是随机参量 的无偏估计，则有的无偏估计，则有对上式求偏导，对上式求偏导， 得得国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质证明：证明：上式改写为上式改写为国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质根据柯西根据柯西-施瓦滋不等式施瓦滋不等式当且仅当当且仅当 时，上式等号成立。时，上式等号成立。国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质等号成立条件等号成立条件国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质克拉美克拉美-罗不等式的另一种形式罗不等式的另一种形式求偏导求偏导再求一次偏导再求一次偏导国家重点实验室国家重点实验室5.4
40、 估计量的性质估计量的性质克拉美克拉美-罗不等式的另一种形式罗不等式的另一种形式所以所以国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质3.1 随机参量情况下的克拉美随机参量情况下的克拉美-罗不等式的含义和用途罗不等式的含义和用途(1) 由于由于 所以所以国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质3.1 随机参量情况下的克拉美随机参量情况下的克拉美-罗不等式的含义和用途罗不等式的含义和用途(2) 随机参量随机参量 的任意无偏估计量的任意无偏估计量 的方差的方差 ，即均，即均方误差恒不小于方误差恒不小于 国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质3
41、.1 随机参量情况下的克拉美随机参量情况下的克拉美-罗不等式的含义和用途罗不等式的含义和用途(4) 若随机参量若随机参量 的无偏估计量的无偏估计量 是有效的，则估计量的是有效的，则估计量的方差，即均方误差可由克拉美方差，即均方误差可由克拉美-罗界取得。罗界取得。(3) 若随机参量若随机参量 的无偏估计量的无偏估计量 满足满足 则无偏估计量则无偏估计量 是有效的，否则是无效的。是有效的，否则是无效的。 国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质3.1 随机参量情况下的克拉美随机参量情况下的克拉美-罗不等式的含义和用途罗不等式的含义和用途(6) 若随机参量若随机参量 的无偏有效估
42、计量的无偏有效估计量 存在，它必定是存在，它必定是 的的最大后验估计量最大后验估计量 ，且可由最大后验方程解得。，且可由最大后验方程解得。 最大后验估计量为最大后验估计量为由国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质3.2 随机参量情况下，无偏有效估计量的均方误差计算方法随机参量情况下，无偏有效估计量的均方误差计算方法若随机参量若随机参量 的无偏估计量的无偏估计量 也是有效的，则其均方误差为也是有效的，则其均方误差为 由国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质例例5.7 如果随机参量如果随机参量 的观测方程为的观测方程为其中其中nk是均值为零，方差为是均值
43、为零，方差为 的独立同分布高斯随机噪声，的独立同分布高斯随机噪声， 试讨论估计量试讨论估计量 的贝叶斯估计量的贝叶斯估计量 的无偏性、的无偏性、有效性和一致性。有效性和一致性。国家重点实验室国家重点实验室由题设，由题设，由于由于国家重点实验室国家重点实验室由于由于国家重点实验室国家重点实验室贝叶斯估计量贝叶斯估计量是是 的有效估计量，且估计量的均方误差为的有效估计量，且估计量的均方误差为贝叶斯估计量贝叶斯估计量是一致收敛估计量。是一致收敛估计量。贝叶斯估计量贝叶斯估计量是均方一致收敛估计量是均方一致收敛估计量国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质4.非随机参量函数的克拉美
44、非随机参量函数的克拉美-罗不等式罗不等式设设 非随机参量非随机参量 的函数的函数 ，其估计量，其估计量 是是 的任意无偏的任意无偏估计，则有估计，则有或当且仅当当且仅当 时，上述两式取等号。时，上述两式取等号。克拉美克拉美-罗罗不等式不等式克拉美克拉美-罗不等式取等号的条件罗不等式取等号的条件国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质例例5.8 设线性观测方程为设线性观测方程为其中其中nk是均值为零，方差为是均值为零，方差为 的独立同分布高斯随机噪声，的独立同分布高斯随机噪声， 是非随机参量，求是非随机参量，求 的最大似然估计量的最大似然估计量 ，考查，考查的无偏性和有效性，
45、并求估计的均方误差。的无偏性和有效性，并求估计的均方误差。国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质解解由于由于易知易知根据最大似然估计的不变性，得到根据最大似然估计的不变性，得到国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质例例5.9 设线性观测方程为设线性观测方程为其中其中nk是均值为零，方差为是均值为零，方差为 的独立同分布高斯随机噪声，的独立同分布高斯随机噪声， 是非随机参量，求是非随机参量，求 的最大似然估计量的最大似然估计量 ，考查，考查的无偏性和有效性，并求估计的均方误差。的无偏性和有效性
46、，并求估计的均方误差。国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质解解由于由于易知易知根据最大似然估计的不变性，得到根据最大似然估计的不变性，得到国家重点实验室国家重点实验室5.4 估计量的性质估计量的性质是高斯分布的随机变量是高斯分布的随机变量国家重点实验室国家重点实验室5.5矢量估计随机矢量的贝叶斯估计随机矢量的贝叶斯估计非随机矢量的最大似然估计非随机矢量的最大似然估计矢量估计量的性质矢量估计量的性质非随机矢量函数估计的克拉美非随机矢量函数估计的克拉美-罗界罗界国家重点实验室国家重点实验室随机矢量的贝叶斯估计随机矢量的贝叶斯估计最小均方误差估计最小均方误差估计 第j个参量的
47、最小均方误差估计为： 用矢量表示为：最大后验估计最大后验估计 式中 最大后验方程组国家重点实验室国家重点实验室非随机矢量的最大似然估计非随机矢量的最大似然估计如果被估计的矢量是非随机矢量如果被估计的矢量是非随机矢量 ，则应采用最大似然估计。，则应采用最大似然估计。最大似然方程组：最大似然方程组： 它是由M个方程组成的联立方程，可简明表示为：国家重点实验室国家重点实验室例例5.10 设接收端观测到设接收端观测到N个数据个数据已知已知xk是均值为是均值为 ，方差为，方差为 的独立同分布高斯随机噪声，的独立同分布高斯随机噪声， (1) 若方差若方差 已知，求均值已知，求均值 的最大似然估计的最大似然
48、估计(2) 若均值若均值 已知，求方差已知，求方差 的最大似然估计的最大似然估计(3) 若均值若均值 和方差和方差 均未知，求均值和方差均未知，求均值和方差 的最大似然估计的最大似然估计国家重点实验室国家重点实验室解：解：(1) 若方差若方差 已知，给定均值已知，给定均值 的条件下，有如下似然函数的条件下，有如下似然函数所以均值的最大似然估计是满足下述方程的解所以均值的最大似然估计是满足下述方程的解由于由于所以均值的最大似然估计为所以均值的最大似然估计为国家重点实验室国家重点实验室由于由于所以所以是无偏有效估计，且估计量的均方误差为是无偏有效估计，且估计量的均方误差为国家重点实验室国家重点实验
49、室(2) 若均值若均值 已知，给定方差的条件下，有如下似然函数已知，给定方差的条件下，有如下似然函数所以方差的最大似然估计是满足下述方程的解所以方差的最大似然估计是满足下述方程的解由于由于所以方差的最大似然估计为所以方差的最大似然估计为国家重点实验室国家重点实验室由于由于所以所以是无偏有效估计，且估计量的均方误差为是无偏有效估计，且估计量的均方误差为国家重点实验室国家重点实验室(3) 若均值和方差均未知，则有如下似然函数若均值和方差均未知，则有如下似然函数所以均值和方差的最大似然估计是满足下述方程组的解所以均值和方差的最大似然估计是满足下述方程组的解国家重点实验室国家重点实验室由于由于所以均值
50、和方差的最大似然估计分别为所以均值和方差的最大似然估计分别为国家重点实验室国家重点实验室由于由于所以所以是有偏估计是有偏估计由于由于所以所以是无偏估计是无偏估计国家重点实验室国家重点实验室矢量估计量的性质矢量估计量的性质主要讨论无偏估计量的均方误差的下界，即克拉美-罗界问题。 非随机矢量情况非随机矢量情况 无偏估计量的均方误差： 均方误差满足： 式中， 是 阶矩阵 的第i行第j列元素； 国家重点实验室国家重点实验室矢量估计量的性质矢量估计量的性质矩阵J的元素为： 矩阵J称为费希尔信息矩阵，它表示从观测数据中获得的信息。对所有的对所有的x和和，当且仅当，当且仅当均方误差取到最小值，均方误差取到最
51、小值， 是是 的联合有效估计。的联合有效估计。国家重点实验室国家重点实验室矢量估计量的性质矢量估计量的性质随机矢量情况随机矢量情况 估计的误差矢量为： 估计矢量的均方误差阵为： 克拉美-罗不等式克拉美-罗界国家重点实验室国家重点实验室矢量估计量的性质矢量估计量的性质对所有的对所有的x和和，当且仅当，当且仅当均方误差取到最小值，均方误差取到最小值， 是是 的联合有效估计。的联合有效估计。国家重点实验室国家重点实验室非随机矢量函数估计的克拉美非随机矢量函数估计的克拉美-罗界罗界设有M维非随机矢量 ，我们希望估计M维矢量 的L维函数 ，这就是非随机矢量函数的估计问题。设L维估计矢量 是L维矢量函数
52、的任意无偏估计矢量。则估计矢量的均方误差阵为：上式就是矢量函数估计的克拉美-罗不等式，不等式右边就是克拉美-罗界。 克拉美-罗不等式国家重点实验室国家重点实验室5.6一般高斯信号参量的统计估计一般高斯信号参量的统计估计线性观测模型高斯噪声中非随机矢量的最大似然估计高斯随机矢量的贝叶斯估计随机矢量的伪贝叶斯估计随机矢量的经验伪贝叶斯估计国家重点实验室国家重点实验室线性观测模型线性观测方程称为线性观测模型：式中国家重点实验室国家重点实验室高斯噪声中非随机矢量的最大似然估计高斯噪声中非随机矢量的最大似然估计所以，非随机矢量的最大似然估计是满足下述方程组的解所以，非随机矢量的最大似然估计是满足下述方程
53、组的解利用矢量函数对矢量变量求导的规则，有利用矢量函数对矢量变量求导的规则，有国家重点实验室国家重点实验室高斯噪声中非随机矢量的最大似然估计高斯噪声中非随机矢量的最大似然估计高斯噪声中非随机矢量的最大似然估计矢量为：高斯噪声中非随机矢量的最大似然估计矢量为：考察 的主要性质： 1.无偏性： 最大似然估计量 是无偏估计量。 2.有效性： 是有效估计量。由于 是无偏有效估计量，所以估计矢量的均方误差阵 就是估计矢量的协方差矩阵 ，且取克拉美-罗界，有：国家重点实验室国家重点实验室高斯随机矢量的贝叶斯估计高斯随机矢量的贝叶斯估计假设假设则，随机矢量的最大后验估计为满足下述方程的解则，随机矢量的最大后
54、验估计为满足下述方程的解国家重点实验室国家重点实验室高斯随机矢量的贝叶斯估计高斯随机矢量的贝叶斯估计最大后验估计最大后验估计 最大后验估计矢量： 估计的均方误差阵：国家重点实验室国家重点实验室高斯随机矢量的贝叶斯估计高斯随机矢量的贝叶斯估计后验概率密度函数 的统计特性： 均值矢量： 协方差矩阵：最小均方误差估计： 国家重点实验室国家重点实验室最小均方误差估计与最大后验估计的等同性最小均方误差估计与最大后验估计的等同性国家重点实验室国家重点实验室随机矢量的伪贝叶斯估计随机矢量的伪贝叶斯估计应用范围：随机矢量的均值矢量和协方差矩阵已知，但概率密度应用范围：随机矢量的均值矢量和协方差矩阵已知，但概率
55、密度函数未知时，可采用函数未知时，可采用伪贝叶斯估计伪贝叶斯估计方法。方法。 方法：根据随机矢量的均值矢量和协方差矩阵，将随机矢量的概方法：根据随机矢量的均值矢量和协方差矩阵，将随机矢量的概率密度函数假设为某种分布，然后应用贝叶斯方法进行估计。率密度函数假设为某种分布，然后应用贝叶斯方法进行估计。 最常用的，是假设为随机矢量服从高斯分布。最常用的，是假设为随机矢量服从高斯分布。采用伪贝叶斯估计方法得到的估计量，其均方误差阵不差于采用采用伪贝叶斯估计方法得到的估计量，其均方误差阵不差于采用最大似然估计时的结果。最大似然估计时的结果。国家重点实验室国家重点实验室随机矢量的经验伪贝叶斯估计随机矢量的
56、经验伪贝叶斯估计应用范围：随机矢量的均值矢量、协方差矩阵和概率密度函数均应用范围：随机矢量的均值矢量、协方差矩阵和概率密度函数均未知时，可采用经验未知时，可采用经验伪贝叶斯估计伪贝叶斯估计方法。方法。 方法：根据观测信号，首先估计随机矢量的均值矢量和协方差矩方法：根据观测信号，首先估计随机矢量的均值矢量和协方差矩阵，然后根据估计结果将随机矢量的概率密度函数假设为某种分阵，然后根据估计结果将随机矢量的概率密度函数假设为某种分布，并应用贝叶斯方法进行估计。布，并应用贝叶斯方法进行估计。 最常用的，是假设为随机矢量服从高斯分布。最常用的，是假设为随机矢量服从高斯分布。采用经验伪贝叶斯估计方法得到的估
57、计量，其均方误差阵不差于采用经验伪贝叶斯估计方法得到的估计量，其均方误差阵不差于采用最大似然估计时的结果。采用最大似然估计时的结果。国家重点实验室国家重点实验室5.7线性最小均方误差估计线性最小均方误差估计线性最小均方误差估计准则线性最小均方误差估计准则 线性最小均方误差估计量的构造线性最小均方误差估计量的构造线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质线性最小均方误差估计的应用范围：线性最小均方误差估计的应用范围：已知观测信号和被估计随机矢量的均值矢量、协方差矩阵和互协方差矩阵。已知观测信号和被估计随机矢量的均值矢量、协方差矩阵和互协方差矩阵。国家重点实验室国家重点实验室5.
58、7线性最小均方误差估计线性最小均方误差估计线性最小均方误差估计准则线性最小均方误差估计准则 首先，构造的估计矢量 是观测矢量x的线性函数，即： 同时要求估计矢量 的均方误差最小，即为 最小，式中， 表示矩阵的轨迹。所以，线性最小均方误差估计的估计规则，就是把估计量构造成观测量的线性函数，同时要求估计量的均方误差最小。国家重点实验室国家重点实验室5.7线性最小均方误差估计线性最小均方误差估计国家重点实验室国家重点实验室5.7线性最小均方误差估计线性最小均方误差估计令令解得解得令令国家重点实验室国家重点实验室5.7线性最小均方误差估计线性最小均方误差估计解得解得所以所以国家重点实验室国家重点实验室
59、线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质(1) 估计矢量是观测矢量的线性函数估计矢量是观测矢量的线性函数(2) 线性最小均方误差估计矢量是无偏估计线性最小均方误差估计矢量是无偏估计所以所以是是 无偏估计无偏估计国家重点实验室国家重点实验室线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质(3)估计矢量均方误差阵的最小性估计矢量均方误差阵的最小性 线性最小均方误差估计矢量在线性估计中具有最小的均方误差，且均方误差线性最小均方误差估计矢量在线性估计中具有最小的均方误差，且均方误差矩阵也具有最小性。矩阵也具有最小性。(4)估计的误差矢量与观测矢量的正交性估计的误差矢量与
60、观测矢量的正交性被估计矢量被估计矢量与观测矢量与观测矢量x是正交的，即是正交的，即与线性最小均方误差估计矢量与线性最小均方误差估计矢量 之间的误差矢量之间的误差矢量国家重点实验室国家重点实验室线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质由于由于是是 无偏估计无偏估计国家重点实验室国家重点实验室线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质(5)最小均方误差估计与线性最小均方误差估计的关系最小均方误差估计与线性最小均方误差估计的关系当观测矢量与被估计矢量是联合高斯分布时，最小均方误差估计与线性当观测矢量与被估计矢量是联合高斯分布时，最小均方误差估计与线性最小均方误差
61、估计两者相同最小均方误差估计两者相同随机矢量的最小均方误差估计矢量可以使观测矢量的非线性函数，而线随机矢量的最小均方误差估计矢量可以使观测矢量的非线性函数，而线性最小均方误差估计的估计矢量一定是观测矢量的线性函数。性最小均方误差估计的估计矢量一定是观测矢量的线性函数。国家重点实验室国家重点实验室线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质例例5.12 设设M维被估计随机矢量的均值矢量和协方差矩阵分别为维被估计随机矢量的均值矢量和协方差矩阵分别为 和和 ，观测方程为观测方程为求求 的线性最小均方误差估计矢量的线性最小均方误差估计矢量 和估计矢量的均方误和估计矢量的均方误差阵差阵且
62、已知且已知解：解：由由国家重点实验室国家重点实验室国家重点实验室国家重点实验室国家重点实验室国家重点实验室线性最小均方误差递推估计线性最小均方误差递推估计线性最小均方误差递推估计递推思想：递推估计的公式： 修正的增益矩阵： 估计量的均方误差阵： 估计量的更新：递推估计的过程： 第1步，确定初始条件 和 ，求出修正的增益矩阵 ； 第2步，求出估计矢量的均方误差阵 ； 第3步，确定新息 ，前乘增益矩阵 ，结果加到 上，获得估计矢量 。国家重点实验室国家重点实验室单参量的线性最小均方误差估计单参量的线性最小均方误差估计设线性观测方程为：单参量的线性最下均方误差估计： 单随机参量 的线性最小均方误差估
63、计量 的构造公式： 估计量的均方误差 公式国家重点实验室国家重点实验室观测噪声不相关时单参量的观测噪声不相关时单参量的线性最小均方误差估计线性最小均方误差估计设线性观测方程为： 国家重点实验室国家重点实验室观测噪声不相关时单参量的观测噪声不相关时单参量的线性最小均方误差估计线性最小均方误差估计令 国家重点实验室国家重点实验室观测噪声不相关时单参量的观测噪声不相关时单参量的线性最小均方误差估计线性最小均方误差估计因而，有以下方程组因而，有以下方程组解得解得式中，式中，国家重点实验室国家重点实验室观测噪声不相关时单参量的观测噪声不相关时单参量的线性最小均方误差估计线性最小均方误差估计 的线性最小均
64、方误差估计量的线性最小均方误差估计量 的构造公式为：的构造公式为： 的均方误差为：的均方误差为： 国家重点实验室国家重点实验室观测噪声相关时单参量的线性最小均方误差估计观测噪声相关时单参量的线性最小均方误差估计设线性参观方程为：设线性参观方程为：估计量估计量 为：为：估计量的均方误差估计量的均方误差 为：为：国家重点实验室国家重点实验室随机矢量函数的线性最小均方误差估计随机矢量函数的线性最小均方误差估计 的线性函数的线性函数 的线性最小均方误差估计矢量的线性最小均方误差估计矢量 为：为：性质：性质： 无偏性：无偏性： 可叠加性：可叠加性： 若：若： 则：则： 国家重点实验室国家重点实验室5.8
65、最小二乘估计最小二乘估计最小二乘估计的基本原理最小二乘估计的基本原理线性最小二乘估计线性最小二乘估计加权最小二乘估计加权最小二乘估计单参量的线性最小二乘估计单参量的线性最小二乘估计应用范围：只有观测信号及观测信号模型时，可应用最小二乘估计。应用范围：只有观测信号及观测信号模型时，可应用最小二乘估计。国家重点实验室国家重点实验室5.8最小二乘估计最小二乘估计1. 最小二乘估计方法最小二乘估计方法均方误差最小：被估计量与估计量之差在统计平均的意义上达到最小值。均方误差最小：被估计量与估计量之差在统计平均的意义上达到最小值。若只有观测信号模型，则无法从统计平均的角度考虑估计误差最小，但可以按照误差的
66、若只有观测信号模型，则无法从统计平均的角度考虑估计误差最小，但可以按照误差的平方和最小的原则进行估计。平方和最小的原则进行估计。观测信号模型为：观测信号模型为：所以，线性最小二乘估计量，是满足下述方程的解：所以，线性最小二乘估计量，是满足下述方程的解：国家重点实验室国家重点实验室5.8最小二乘估计最小二乘估计2. 线性最小二乘估计线性最小二乘估计由于由于所以所以国家重点实验室国家重点实验室5.8最小二乘估计最小二乘估计(1) 估计矢量是观测矢量的线性函数估计矢量是观测矢量的线性函数(2) 若观测噪声矢量若观测噪声矢量n的均值矢量为零，则线性最小的均值矢量为零，则线性最小 二乘估计矢量是二乘估计
67、矢量是无偏的。无偏的。(3) 若观测噪声矢量若观测噪声矢量n的均值矢量为零，协方差矩阵为的均值矢量为零，协方差矩阵为 ，则线性，则线性最小二乘估计矢量的均方误差阵为：最小二乘估计矢量的均方误差阵为： 3. 线性最小二乘估计量的性质线性最小二乘估计量的性质国家重点实验室国家重点实验室5.8最小二乘估计最小二乘估计国家重点实验室国家重点实验室线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质例例5.13根据以下对二维矢量根据以下对二维矢量 的两次观测的两次观测,求求 的最小二乘估计的最小二乘估计.解：解：根据两次观测值根据两次观测值,得以下观测方程得以下观测方程国家重点实验室国家重点实验
68、室线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质国家重点实验室国家重点实验室5.8最小二乘估计最小二乘估计4. 线性最小二乘加权估计线性最小二乘加权估计提出背景：如果各次观测噪声的强度不同，所得的各次观测量的饿精度也是不同的。提出背景：如果各次观测噪声的强度不同，所得的各次观测量的饿精度也是不同的。噪声方差小时，观测量的精度较高，噪声方差大，观测量的精度较低。如何在构造估计噪声方差小时，观测量的精度较高，噪声方差大，观测量的精度较低。如何在构造估计量时，综合考虑上述因素？量时，综合考虑上述因素？可以通过加权的方式，提高估计的精确度可以通过加权的方式，提高估计的精确度加权线性最小二
69、乘估计。加权线性最小二乘估计。线性最小二乘加权估计量，是满足下述方程的解：线性最小二乘加权估计量，是满足下述方程的解：国家重点实验室国家重点实验室5.8最小二乘估计最小二乘估计由于由于所以所以国家重点实验室国家重点实验室5.8最小二乘估计最小二乘估计(1) 估计矢量是观测矢量的线性函数估计矢量是观测矢量的线性函数(2) 若观测噪声矢量若观测噪声矢量n的均值矢量为零，则线性最小的均值矢量为零，则线性最小 二乘估计矢量是无二乘估计矢量是无偏的。偏的。(3) 若观测噪声矢量若观测噪声矢量n的均值矢量为零，协方差矩阵为的均值矢量为零，协方差矩阵为 ，则线性最，则线性最小二乘估计矢量的均方误差阵为：小二
70、乘估计矢量的均方误差阵为： 5. 线性最小二乘加权估计量的性质线性最小二乘加权估计量的性质国家重点实验室国家重点实验室5.8最小二乘估计最小二乘估计国家重点实验室国家重点实验室5.8最小二乘估计最小二乘估计(4) 若观测噪声矢量若观测噪声矢量n的均值矢量为零，协方差矩阵为的均值矢量为零，协方差矩阵为 ，则最优的，则最优的加权矩阵为：加权矩阵为： 国家重点实验室国家重点实验室线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质例例5.14 用电表对电压进行两次测量用电表对电压进行两次测量,测量结果分别为测量结果分别为216V和和220V,观测方程为观测方程为求电压的最小二乘估计和最小二乘
71、加权估计求电压的最小二乘估计和最小二乘加权估计,并对结果进行并对结果进行比较和讨论比较和讨论其中其中,观测噪声矢量的均值矢量和协方差矩阵分别为观测噪声矢量的均值矢量和协方差矩阵分别为国家重点实验室国家重点实验室线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质根据两次观测值根据两次观测值,得以下观测方程得以下观测方程线性最小二乘估计为线性最小二乘估计为国家重点实验室国家重点实验室线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质由由所以所以,线性最小二乘估计为线性最小二乘估计为国家重点实验室国家重点实验室线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质国家重点实
72、验室国家重点实验室5.8最小二乘估计最小二乘估计 其中，其中， 增益矩阵增益矩阵 6.线性最小二乘递推估计线性最小二乘递推估计国家重点实验室国家重点实验室5.8最小二乘估计最小二乘估计 其中，其中， 观测系数观测系数 7.单参量最小二乘估计单参量最小二乘估计假设单参量估计的观测方程为假设单参量估计的观测方程为 已知已知,观测噪声满足观测噪声满足 根据上述观测方程根据上述观测方程,有有国家重点实验室国家重点实验室5.8最小二乘估计最小二乘估计因此,单参量的线性最小二乘估计量为注注: 若若H为全为全1向量向量,退化为平均值估计退化为平均值估计,则有则有国家重点实验室国家重点实验室5.9信号波形中参
73、量的估计信号波形中参量的估计掌握信号振幅的估计方法掌握信号振幅的估计方法掌握信号相位的估计方法掌握信号相位的估计方法了解信号频率的估计方法了解信号频率的估计方法了解信号到达时间的估计方法了解信号到达时间的估计方法掌握信号波形中参量估计的基本原理掌握信号波形中参量估计的基本原理国家重点实验室国家重点实验室波形中参量估计的基本原理波形中参量估计的基本原理假设在假设在(0,T)时间内时间内,观测到的信号波形为观测到的信号波形为其中，其中， 是是M维的待估计的信号参量，维的待估计的信号参量，n(t)是均值为零，功率是均值为零，功率谱密度为谱密度为N0/2的高斯白噪声。的高斯白噪声。基本思路：基本思路：
74、 为估计参量为估计参量 ，首先需要知道似然函数，首先需要知道似然函数可按照随机过程可按照随机过程 正交级数展开方法求解。正交级数展开方法求解。国家重点实验室国家重点实验室波形中参量估计的基本原理波形中参量估计的基本原理任选一组正交函数集任选一组正交函数集 ，将接收信号，将接收信号进行正交级数展开，得到进行正交级数展开，得到国家重点实验室国家重点实验室波形中参量估计的基本原理波形中参量估计的基本原理由于由于 是高斯随机过程，因此在给定是高斯随机过程，因此在给定 条件下，展开系数是条件下，展开系数是均值为均值为 ，方差为，方差为N0/2的高斯随机变量，即的高斯随机变量，即取前取前N项，得到项，得到
75、N个展开系数的联合概率密度为个展开系数的联合概率密度为国家重点实验室国家重点实验室波形中参量估计的基本原理波形中参量估计的基本原理令令 ，得到，得到国家重点实验室国家重点实验室波形中参量估计的基本原理波形中参量估计的基本原理所以，所以， 的最大似然估计是满足下述方程的解的最大似然估计是满足下述方程的解由于由于国家重点实验室国家重点实验室信号振幅的估计信号振幅的估计信号可表示为信号可表示为其中，其中，s(t)是已知信号，振幅是已知信号，振幅a是待估计量，其最大似然估计量是待估计量，其最大似然估计量是满足下述方程的解是满足下述方程的解国家重点实验室国家重点实验室信号振幅的估计信号振幅的估计由于由于
76、所以所以国家重点实验室国家重点实验室信号振幅的估计信号振幅的估计信号振幅估计的性质信号振幅估计的性质国家重点实验室国家重点实验室信号振幅的估计信号振幅的估计由于由于国家重点实验室国家重点实验室信号相位的估计信号相位的估计信号可表示为信号可表示为其中，振幅和频率已知，相位待估计。其中，振幅和频率已知，相位待估计。相位的最大似然估计是满足下述方程的解相位的最大似然估计是满足下述方程的解国家重点实验室国家重点实验室信号相位的估计信号相位的估计由于由于当当或或时，有时，有所以所以国家重点实验室国家重点实验室信号相位的估计信号相位的估计国家重点实验室国家重点实验室信号频率的估计信号频率的估计设信号可表示为：设信号可表示为： 其中，其中，a(t)已知，相位已知，相位 是在是在 上均匀分布的随机变量；上均匀分布的随机变量；频率频率 是待估计量。是待估计量。似然函数：似然函数：由由 对对 求极大值就能得到频率的最大似然估计量。求极大值就能得到频率的最大似然估计量。
