医学信号处理参数估计

《医学信号处理参数估计》由会员分享，可在线阅读，更多相关《医学信号处理参数估计（62页珍藏版）》请在金锄头文库上搜索。

1、医学信号处理：参数估计第五章第五章 信号的参数估计信号的参数估计提出问题：信号估计（Estimations）从受噪声干扰的观测信号中估计信号参量和波形的问题，即参数估计问题。参量估计的目的：在有限个信号观测样值中，以最佳方式估计信号的参数。参数估计被估计的量是随机变量（静态估计）波形估计被估计的量是随机过程（动态估计） 1 1医学信号处理：参数估计551 1、概述、概述数理统计中由随机信号的一组样本估计信号的统计特征，如均值、方差、均方、相关函数、功率谱等，是一种简单而常见的参数估计。在数理统计中，均值、均方和方差的估计是按照定义，用有限个样本采用直接估计法来估计。这里的参数估计问题应为：从含

2、有噪声的观察中估计信号的参数。2 2医学信号处理：参数估计数学描述：数学描述：设观察x=x1,x2,.,xN为随机变量s的独立同分布的N个观测样值，x=s(a)+n，a为信号的参数，而f(x1,x2,.,xN)是用来估计参量a的观测样值函数（统计量），称：f(x1,x2,.,xN) 为参量a的估计量。 的均值即为 E =E f(x1,x2,.,xN) 。要求通过一定的估计算法，使得 为按某一判据的a的最优估计值，比如使得估计误差均方最小为最小均方误差估计。5.1.15.1.13 3医学信号处理：参数估计一、非线性估计一、非线性估计已知待估参数的先验概率p(a)和条件先验概率p(x|a)，依据某

3、些最优判据，通过非线性数理统计算法估计参数；随机参量其特性用概率密度来表征贝叶斯估计非随机参量仅为一般的未知量最大似然估计参数估计方法分为两类：参数估计方法分为两类：框图表示为：框图表示为：估计算法判据最优估计x=s(a)+na5.1.25.1.24 4医学信号处理：参数估计非线性估计方法经典，计算复杂，估计质量较好，但非线性估计方法经典，计算复杂，估计质量较好，但是要求先验概率知识。是要求先验概率知识。二、线性估计二、线性估计在估计参数a为观察值x的线性函数，基于最小均方误差准则进行估计。前提条件：估计 必须是观察值x的线性函数。线性估计方法计算简便，只要求一、二阶统计知识，线性估计方法计算

4、简便，只要求一、二阶统计知识，故先验知识要求低，估计质量较差，近年来发展较快。故先验知识要求低，估计质量较差，近年来发展较快。5 5医学信号处理：参数估计估计准则估计准则1、估计计偏差2、估计计方差3、估计值计值 的均方误误差4、有效估计计5、一致估计计5.1.35.1.3有关定义：6 6医学信号处理：参数估计估计准则：无偏估计无偏估计如果待估计参数如果待估计参数a a和它的估计值和它的估计值 的均的均值值 E( )E( )相等，即相等，即E( )=E( )=a a，就称为无偏估计，否则称，就称为无偏估计，否则称为为有偏估计有偏估计。估计偏差越小，则各次估计值的均值接近于真估计偏差越小，则各次

5、估计值的均值接近于真实值，但并不能保证每次估计值都接近于真实值，实值，但并不能保证每次估计值都接近于真实值，而且各次估计值可能分布很分散；而估计方差很小而且各次估计值可能分布很分散；而估计方差很小，表明估计值都接近于均值，即，表明估计值都接近于均值，即 分布很集中，但分布很集中，但 并不能保证均值并不能保证均值E( )E( )接近于真实值，也就是不能保接近于真实值，也就是不能保证各个证各个 集中分布于真实值集中分布于真实值a a附近。附近。7 7医学信号处理：参数估计一致估计一致估计根据以上分析，将估计偏差和方差结合根据以上分析，将估计偏差和方差结合起来的综合量表示估计质量的好坏，即估计值的均

6、方起来的综合量表示估计质量的好坏，即估计值的均方误差。误差。如果随着样本数目的增加，估计的均方误差趋于如果随着样本数目的增加，估计的均方误差趋于0 0，即要求当，即要求当N N+时，偏差和方差都趋于时，偏差和方差都趋于0 0，则称此，则称此估计为估计为一致估计一致估计。 有效估计有效估计由某一种估计方法得出的估计值的方差由某一种估计方法得出的估计值的方差小于其它任何估计方法得出的方差，则称该估计为小于其它任何估计方法得出的方差，则称该估计为有有效估计效估计。如果该估计同时又是无偏的，则为均方误差。如果该估计同时又是无偏的，则为均方误差最小的估计。最小的估计。8 8医学信号处理：参数估计 552

7、 2、非线性估计、非线性估计 贝叶斯估计贝叶斯估计5.2.15.2.1为双变量连续函数为双变量连续函数9 9医学信号处理：参数估计(c)均匀代价函数 这样这样C C定义为定义为 单变量函数单变量函数典典 型型 代代 价价 函函 数数1010医学信号处理：参数估计贝叶斯判据：平均代价最小，即 E(c)=min。由于c是 的函数，而 又是观察值x的函数， 所以c就是x和s的联合函数，所以有：用后验概率函数表示为：，R称为条件风险函数。令贝叶斯判据实际为以贝叶斯判据实际为以R R最小作为判据。最小作为判据。1111医学信号处理：参数估计情况(a)平方误差情况下，风险函数最小的估计量称为 最小均方估计

8、最小均方估计(minimum mean square estimation)其风险函数为：由于 则风险函数为：p(x)0 故MS最小即等效为上式括号 内项最小 1212医学信号处理：参数估计由于故 此最小均方误差估计，表示已知x时，s的条件均值 。1313医学信号处理：参数估计情况(b)绝对值误差情况下，风险函数为：上式括号 内项为：于是，可令上式对的导数为零，则有 ：ABSABS估计应取在后验概率密度函数面积的估计应取在后验概率密度函数面积的 平分线上，即平分线上，即 等于后验概率密度函等于后验概率密度函 数的中值。数的中值。 1414医学信号处理：参数估计情况(c)均匀估计代价函数 号中的

9、后面一项为：当此式最大，即p(s|x)最大时时，平均代价最小。 此时时称为为最大后验验估值值(Maximum a Posteriori) 采用对数函数，1515医学信号处理：参数估计最后，将三种情况估计式中后验概率密度函数借助 于贝叶斯公式用先验概率代替得到：ABS估计为MAP估计为MS估计为1616医学信号处理：参数估计( (Maximum Likelihood Estimation-MLEMaximum Likelihood Estimation-MLE) )uu 此式为必要条件，而不是充分条件。此式为必要条件，而不是充分条件。极大似然估计极大似然估计5.2.25.2.2由于：似然函数就是

10、先验由于：似然函数就是先验 概率密度函数，极大似然概率密度函数，极大似然 估计准则就是使得似然函估计准则就是使得似然函 数最大的数最大的s s值。实际中常值。实际中常 用对数似然函数用对数似然函数1717医学信号处理：参数估计多次观察多次观察5.2.35.2.3 把各式中的变量x换成矢量X=x1,x2,xM，即可扩展为多次观察情况。极大后验概率估计为极大后验概率估计为最小均方误最小均方误 差估计为差估计为极大似然估计为极大似然估计为1818医学信号处理：参数估计1919医学信号处理：参数估计如果要估ABS、 MAP、MS，还需 要已知p(s)。2020医学信号处理：参数估计实实 例例5.2.4

11、5.2.4例1、 M次观察xi=s+ni(i=1,2,M)，s为待估计的随机变量，做正态分布N ，ni为正态分布N ，且独立同分布。求s的MS、MAP、ABS和ML估计。2121医学信号处理：参数估计将与s有关的部分并在一起，同时由于含s的二次方，而对s配 平方得到：其中而且令p(X|s)取对数对s求导并等于0得 ：2222医学信号处理：参数估计例2、 s为离散的二值函数，取s0二值之一，且概率相等，用公式表示为噪声为高斯型噪声N 。现取M次采样，各样本中噪声独立且概率密度函数为：求2323医学信号处理：参数估计: 位于似然函数峰值处，M次观察独立同分布，故：上式取对数求导并令导数为0得：由于

12、2424医学信号处理：参数估计化简后为 取对数化简，即：当样本总和大于0，则 =s0；否则 =-s0。：由于2525医学信号处理：参数估计2626医学信号处理：参数估计例3、 发放率估计。由序列的发放间隔估计脉冲发放率。假设发放率和脉冲间隔均服从指数分布分别为和测得间隔= 1，估计发放率，2727医学信号处理：参数估计发放率估计为：2828医学信号处理：参数估计估计量的性质估计量的性质5.2.55.2.52929医学信号处理：参数估计如果满足条件存在且绝对可积，则Cramer-Rao不等式等效于3030医学信号处理：参数估计 结论：总之，式（1）满足则Cramer-Rao不等式取等号，即有效估

13、计存在，那么估计值就是极大似然估计 ，此估计值可通过解极大似然方程求得：否则，如果式（1）不成立，就不存在有效估计，那么无从评价估计值的估计质量。 上式在下述条件下取等号，方差达到下限，即（1）且可以证明满足上式的估计即为极大似然估计（证明略） 。3131医学信号处理：参数估计例4、 估计性质分析。取M次独立观察，对非随机未知量s=A进行估计，已知各ni为正态分布N(0, )。求极大似然估计 ，并分析估计是否为有效估计，估计方差有多大？3232医学信号处理：参数估计所以，为无偏估计。所以，为有效估计。估计的方差应等于克拉美-劳下限，即：3333医学信号处理：参数估计553 3、线性估计、线性估

14、计 前提：必需满足估计算法是观察值的线性函数。3434医学信号处理：参数估计引引 例例5.3.15.3.1在贝叶斯估计中，平均代价公式采用误差平方作为代价函数 ，即成为现取单次观察x做估计，并限定估计算法为线性函数，即：于是有：估计任务就是：选a、b使得 最小。3535医学信号处理：参数估计上式分别对a、b求导并令导数等于0，得：解方程，得：如果待估计量均值为0，即E(s)=0，观察值的均值也为0，即 E(x)=0，则有3636医学信号处理：参数估计线性均方估计线性均方估计5.3.25.3.23737医学信号处理：参数估计记作：。 3838医学信号处理：参数估计3939医学信号处理：参数估计x

15、 x的自相关矩阵的自相关矩阵待定系数矩阵待定系数矩阵4040医学信号处理：参数估计4141医学信号处理：参数估计 采用均方判据，导出线性方程组，求解简便。算法 所需先验知识为：观察x的自相关函数、信号与观察值之间互相关函数； 估计误差e和所有观察值xi正交，这是LMS估计的重要特性； LMS的最小均方误差为：正交条件下，估计的均方误差是估计误差和信号乘积的均值。4242医学信号处理：参数估计4343医学信号处理：参数估计例5、 LMS估计。取M次独立观察，xj=s+nj, j=1N。噪声为白色，即E(ninj)= ，E(nj)=0，s为信号，E(s)=0,E(s2)=信号和噪声相互独立，则按照线性估计算法 进行LMS估计。也就是求各系数hj和估计值 。4444医学信号处理：参数估计代入4545医学信号处理：参数估计解得： 最小均方误差？因此：4646医学信号处理：参数估计观察值：xj=s+nj, j=1,2,如果先验统计信息：用递归线性最小均方估计算法由上一次估计和本次观 察值做出本次估计估计