《最优贝叶斯估计》由会员分享，可在线阅读，更多相关《最优贝叶斯估计（34页珍藏版）》请在金锄头文库上搜索。
1、线性贝叶斯估计问题线性贝叶斯估计问题杨文电子信息学院 教学实验大楼十楼1008室 E-mail: 贝叶斯估计?最小均方差估计（MMSE）总是后验概率 密度的均值（后验均值）?最大后验概率估计（MAP）总是后验概 率密度的峰值（后验峰值）?当后验概率密度函数为对称于其后验均 值的单峰密度函数时，MMSE估计或MAP 估计是众多类型代价函数的最佳估计 量。估计量的不变性由于代价函数的选择往往带有某些主观的武断性，如能证明在一定由于代价函数的选择往往带有某些主观的武断性，如能证明在一定由于代价函数的选择往往带有某些主观的武断性，如能证明在一定由于代价函数的选择往往带有某些主观的武断性，如能证明在一定
2、 条件下最佳估计量与所选定的代价函数无关是很有意义的。条件下最佳估计量与所选定的代价函数无关是很有意义的。条件下最佳估计量与所选定的代价函数无关是很有意义的。条件下最佳估计量与所选定的代价函数无关是很有意义的。1( )( | ) MMSEMAPMMSECEx=1212def性质 ：若代价函数是对称的凸U函数，且后验概率密度函数p( |x)对称于其后验均值，即1）C( )=C(- )(对称性)2) C(b+(1-b)bC()+(1-b)C()（凸性）0b13) p( |x)=p(- |x)(对称性) 在这种情况下，使上述这一类代价函数最小的最佳估计 与或者一致。若C( MAPMMSE)是严格凸U
3、函数，则最佳估计 是惟一的，且等于或。估计量的不变性2( )00( )00limMMSEMAPMMSEMAPCCC =def性质 ：若代价函数是对称的非减函数，即1）C( )=C(- )(对称性)d2) d同时后验概率密度是对称于条件均值的单峰函数，即3) p( |x)=p(- |x)(对称性) 且满足条件44）（ ）p( |x)=0则使这一类代价函数最小的最佳估计 与或者一致。估计量的不变性告诉我们：对相当广泛的一类代价函数，只要性质估计量的不变性告诉我们：对相当广泛的一类代价函数，只要性质估计量的不变性告诉我们：对相当广泛的一类代价函数，只要性质估计量的不变性告诉我们：对相当广泛的一类代价
4、函数，只要性质1 1和和和和2 2的条件得的条件得的条件得的条件得 以满足，则最小均方误差估计或最大后验概率估计总是使代价最小的最佳估计。以满足，则最小均方误差估计或最大后验概率估计总是使代价最小的最佳估计。以满足，则最小均方误差估计或最大后验概率估计总是使代价最小的最佳估计。以满足，则最小均方误差估计或最大后验概率估计总是使代价最小的最佳估计。线性贝叶斯估计量的引出?最佳贝叶斯估计量是很难用闭合形式确定的， 并且在实践中因其计算量太大而难以实现?MMSE估计量含有多重积分；?MAP估计量含有多维最大值求解问题?在不能做出高斯假定的时候，就必须利用另外 的方法：选择保留选择保留选择保留选择保留
5、MMSEMMSE准则，但是限定估计准则，但是限定估计准则，但是限定估计准则，但是限定估计 量是线性的量是线性的量是线性的量是线性的，则估计量的显式表示可以很容易 地根据PDF的前两阶矩来确定实践中的维纳 滤波器线性贝叶斯估计器线性贝叶斯估计器线性贝叶斯估计器矢量LMMSE估计量1() (wTT wxCMMSEHHHCxH+如果观测数据 可以使用贝叶斯线性模型表示x=H +w其中x是一个N 1的数据矢量，H是一个已知的Np矩阵，是一个p 1的的随机矢量，它的现实是要估计的，其均值和协方差分别为E( )和C ;w是一个N 1的噪声矢量，均值和协方差分别为零和,且与 是不相关的（另外，联合PDFp(
6、w, )是任意的）。那么 的估计量为E( ) CCE()()()11111 ,111)()(),( )TT wwTTT xwT wiiiiiCH C HH CxHCEHHHCHCH C HMSEMBmse+=+=+ =)E( )E( )估计量的性能是通过误差 来度量的，误差的均值为零，协方差矩阵为CCCC误差协方差矩阵也是最小的矩阵其对角线上的元素产生最小贝叶斯MSE,即 MC贝叶斯高斯马尔可夫定理：贝叶斯高斯马尔可夫定理：贝叶斯高斯马尔可夫定理：贝叶斯高斯马尔可夫定理：贝叶斯线性模型0( |wCCEx贝叶斯一般线性模型为 x=H +w其中x是一个N 1的数据矢量，H是一个已知的Np矩阵，是一
7、个p 1的具有先验概率PDFN(,)的随机矢量，w是一个N 1的噪声矢量，具有PDFN( ,),且与 无关。它和经典的一般线性模型的区别在于，将 看作为一个具有高斯先验PDF的随机变量。如果观测数据x满足上面的模型，那么后验PDFp( |x)是高斯分布的，它的均值和协方差分别为11 |)() ()()TT wTT xwT wC HHC HCxHCCC HHC HCHCHC HCH=+=+为确保的可逆性，那么 不必是满秩的。贝叶斯线性模型()()()()1111111111 |1111( | ),0( | )TT wwTT xwxwTT wwPDFExCH C HH CxHCCH C HCCH
8、C HCExH C HH C xMVU=+=+后验的均值和协方差还可以表达为且即对于无先验知识的情况，因此这是一般线性模型的估计量结论：在结论：在结论：在结论：在BayesBayes线性模型中没有线性知识的时候，线性模型中没有线性知识的时候，线性模型中没有线性知识的时候，线性模型中没有线性知识的时候，MMSEMMSE估计量与经典线估计量与经典线估计量与经典线估计量与经典线 性模型的性模型的性模型的性模型的MVUMVU估计量有着相同的形式。估计量有着相同的形式。估计量有着相同的形式。估计量有着相同的形式。贝叶斯线性模型下的MMSE估 计量的性能贝叶斯线性模型下贝叶斯线性模型下贝叶斯线性模型下贝叶
9、斯线性模型下MMSEMMSE估计量的性能：估计量的性能：估计量的性能：估计量的性能：()()()111111 ,111() ()()()TT wTT wwTTT xwT wxMMSEC HHC HCxHCH C HH CxHCECC HHC HCHCCH C HMSEM+=+=+如果观测数据 可以使用贝叶斯线性模型表示，那么估计量为估计量的性能是通过误差 来度量的，它的PDF是高斯的，均值为零，协方差矩阵为误差协方差矩阵也是最小的矩阵,( )iiiiiBmse =其对角线上的元素产生最小贝叶斯MSE,即 MC维纳滤波?Wiener滤波器是从统计意义上的最优滤波, 它要求输入信号是宽平稳随机序列
10、, 我们主 要集中在FIR结构的Wiener滤波器的讨论。?由信号当前值与它的各阶延迟，估计一个期望信号，输入信号是宽 平稳的，和是联合宽平稳的, 要求这 个估计的均方误差最小.。)1(,),1(),(+Mnununu?)(nd)(nu )(nu)(nd维纳滤波器的应用1?通信的信道均衡器维纳滤波器的应用2?系统辨识维纳滤波器的一般结构?一般结构Wiener 滤波器u(n) y(n)d(n)-+e(n)Wiener滤波器的目的是求最优滤波器系数，使下式最小ow w =22)()(| )(|)(ndndEneEnJ从估计的观点导出维纳滤波?FIR结构(也称为横向)的Wiener滤波器的 核心结构
11、如下图所示z-1z-1u(n)u(n-1)u(n-2)u(n-M+1)w0w1w2wm-1y(n)从估计的观点导出维纳滤波从估计的观点导出维纳滤波从估计的观点导出维纳滤波从估计的观点导出维纳滤波从正交原理和线性滤波观点分 析维纳滤波器从从从从正交原理和线性滤波观点分析维纳滤波器正交原理和线性滤波观点分析维纳滤波器正交原理和线性滤波观点分析维纳滤波器正交原理和线性滤波观点分析维纳滤波器从从从从正交原理和线性滤波观点分析维纳滤波器正交原理和线性滤波观点分析维纳滤波器正交原理和线性滤波观点分析维纳滤波器正交原理和线性滤波观点分析维纳滤波器从正交原理和线性滤波观点分 析维纳滤波器从从从从正交原理和线性
12、滤波观点分析维纳滤波器正交原理和线性滤波观点分析维纳滤波器正交原理和线性滤波观点分析维纳滤波器正交原理和线性滤波观点分析维纳滤波器从从从从正交原理和线性滤波观点分析维纳滤波器正交原理和线性滤波观点分析维纳滤波器正交原理和线性滤波观点分析维纳滤波器正交原理和线性滤波观点分析维纳滤波器从从从从正交原理和线性滤波观点分析维纳滤波器正交原理和线性滤波观点分析维纳滤波器正交原理和线性滤波观点分析维纳滤波器正交原理和线性滤波观点分析维纳滤波器从从从从正交原理和线性滤波观点分析维纳滤波器正交原理和线性滤波观点分析维纳滤波器正交原理和线性滤波观点分析维纳滤波器正交原理和线性滤波观点分析维纳滤波器从正交原理和线性滤波观点分 析维纳滤波器?分析：由正交原理导出Wiener滤波器和从线性 贝叶斯估计得到wiener滤波器, 分别得到一些 有益的启示, 从估计理论看,Wiener滤波器只是 一个线性Beyesian估计, 它是最优估计的一个 线性逼近, 只有在高斯情况下, 它才是真正的最 优滤波器, 在其它分布情况下, 非线性滤波器可 以达到比线性最优滤波器更优的结果. 从一般 线性最优滤波器的正交原理出发, 我们容易忽 视这些限制。误差性能表面误差性能曲面误差性能曲面误差性能曲面误差性能曲面误差性能表面谢谢大家谢谢大家谢谢大家谢谢大家
