《4现代信号处理-参数估计》由会员分享，可在线阅读，更多相关《4现代信号处理-参数估计（46页珍藏版）》请在金锄头文库上搜索。
1、随机信号处理,三、参数估计：许多信号处理问题都归结为参数估计。从般层义理解，估计理论所研究的对象是随机现象，它是根据受到噪声污染的观测数据来估计关于随机变量或随机过程的一种数学运算。若被估计量是随机变量。则称为参量估计；若被估计的是随机过程，则称为状态或波形估计。,随机信号处理,三、参数估计：因此，参量估计一般指静估计。参量随时间保持不变或只发生缓慢变化；状态或波形估计一般指动态估计，参量是随时间变化的。对于估计问题，从被估计的量来说，可以分为：(1)确定的与随机的；(2)数量的与矢量的；(3)不随时间变化的与随时间变化的。通常对前一种估计称为静态估计，而对后一种估计称为动态估计。这两部分有机
2、地结合起来，构成统了估计理论。,随机信号处理,三、参数估计： 1、基本概念（在折衷考虑下，尽量满足无偏性、有效性及一致性） 估计值：估计值 需要由观测数据Z1，Z2 ，ZN来决定，故 是观测数据的函数，且与相关。估计值 有以下含意： (1)估计值 是观测值Z1，Z2 ，ZN的一个函数，因此，构造一个估计值就是规定这一函数关系 (2)规定了一个函数关系，便得到一个估计值。,随机信号处理,三、参数估计： 1、基本概念 偏倚(Bias)： 用表示随机变量的真值， 表示它的估计值，则称： 为的偏倚。 无偏：若偏差B等于零或 ，即估计值的期望值等于真实参数。 渐近无偏：当样本长度N时，偏差B0。 估计的
3、均方误差：估计 与真实参数的误差平方的期望值，即 均方误差、方差、偏差的关系：,随机信号处理,三、参数估计： 1、基本概念 有效性：如果 与 都是的无偏估计值，对任意， 若 ，则 比 有效。相对有效性：当记 若REM时为“高矩阵”，矩阵方程称超定矩阵。 在应用中讨论的多为超定方程。 当NM时为“扁矩阵”，矩阵方程称欠定矩阵。,随机信号处理,三、参数估计： 7、最小二乘估计（LS） 定义：为确定参数估计向量 ，选择准则J：使误差的平方和最小。,随机信号处理,三、参数估计： 7、最小二乘估计（LS） 求估计: 令J对 的偏导为0,可得: 当 是满列秩,有 非奇异,则: 当 是不满列秩,那么由不同的
4、值均能得到相同的A 值，参数向量是不惟一辨识。 Gauss-Markov定理：当误差向量的各个分量具有相同的方差，并且各分量统计不相关时，最小二乘估计在方差最小的意义上是最优估计。 证明方法: 是等幂矩阵。,随机信号处理,三、参数估计： 7、加权最小二乘估计（WLS）观测模型：如果误差向量各分量具有不同的方差，或者各分量之间相关时，最小二乘估计就不再具有最小的估计方差，因而不会是最优的。那么，在这样的情况下： 定义：为确定参数估计向量 ,选择准则J:使加权误差平方和最小。,随机信号处理,三、参数估计： 7 、加权最小二乘估计（WLS）： 选择加权: 假定误差向量的方差 具有一般的形式。其中V
5、是一已知的正定矩阵，即可表示成 其中 非奇异。令 和 ，则使用 左乘原观测模型后有： 显然：误差向量各分量具有相同的方差。满足Gauss-Markov定理：,随机信号处理,三、参数估计： 7 、加权最小二乘估计（WLS）： 求估计: 令J对 的偏导为0,可得: 若非奇异,则: 对比可得： ，其中V 为误差向量的方差矩阵。,随机信号处理,三、参数估计： 8、递推估计现时的估计仅由前一估计值和现时的观测值决定，而与过去的观测值无关。特别在参量估计中，可以有效提高运算速度，减少存储空间。,随机信号处理,三、参数估计： 8、递推估计 均值估计： 若 是观测值 的样本均值定义为： 新增加一个观测值 后，
6、其均值为：,随机信号处理,三、参数估计： 8、递推估计 方差估计：若 是观测值 的样本方差定义为：新增加 后，其方差为：,随机信号处理,三、参数估计： 9、最大熵估计（MEM）香农信息论中的熵与估计理论中最小方差估计有等价关系。这样就有误差熵估计准则。 熵的定义：若x是以p(x)的随机矢量。其熵H(x)的定义为：,随机信号处理,三、参数估计： 9、最大熵估计（MEM） 熵的定义： 若x的观测矢量z，则其条件熵H(x|z)的定义为：上式对数的底，通常是以2为底，记为lb单位为“比特”； 从数学运算方便出发以自然数e为底也是常见的记为ln单位为“奈特”； 以10为底记为log单位为“哈脱莱”。 x与z间的平均互信息量的定义为：,
