《西安工业信号检测与估计SDE_09ch7最大似然估计解读》由会员分享，可在线阅读，更多相关《西安工业信号检测与估计SDE_09ch7最大似然估计解读（57页珍藏版）》请在金锄头文库上搜索。
1、Ch7 最大似然估计MLE Chapter 7 Maximum likelihood Estimation 雷斌 13809194497 gropemind Signal Detection and Estimation 信号检测与估值 第八讲 Spring 2016 lecture 8 *SDE_08 MLE2 Review: BLUE的想法及定义 1. PDF未知 2. 已知，但推导导很麻烦烦 3. 用CRLB、线线性模型和RBLS得不到MVU估计计 试图试图通过简过简化的推导导，得到一个准最佳估计计 只要其估计计性能能够满够满足系统统要求方差满满足 假设设估计计与样样本间间是线线性关系
2、（或可通过样过样本变换变换，使 估计计与样样本间间呈线线性） Problem: Except for Linear Model case ,the MVU estimator may: 1. not even exist 2. be difficult or impossible to find *SDE_08 MLE3 6.5 扩展到矢量参数 定理6.1 高斯马尔可夫定理 假设设估计计与样样本间间是线线性关系（或可通过样过样本变换变换，使估计计与 样样本间间呈线线性）即 X H w 其中H 是已知的N Xp矩阵， 是p X 1的待估参数矢量， w 是N X 1的均值为0、协方差为C的噪声矢量
3、（ w的PDF是任 意的）； 那么的BLUE是 i的最小方差是 估计的协方差是 *SDE_08 MLE4 6.3 BLUE的定义 Definition of BLUE (scalar case) 假设设估计计与样样本间间是线线性关系（或可通过过 样样本变换变换，使估计计与样样本间间呈线线性） Idea for BLUE: 1.Restrict estimate to be linearin data x 限定估计量与数据呈线性 2.Restrict estimate to be unbiased 限定为无偏估计 3.Find the best one (i.e. with minimum va
4、riance)方差最小的 BLUE Best Linear Unbiased Estimate 最佳线性无偏估计 is one such sub-optimal estimate Advantage of BLUE: Needs only 1st and 2nd moments of PDF 1阶矩：期望Mean 2阶矩：方差Covariance Disadvantages of BLUE: 1.Sub-optimal (in general) 准最优 2.Sometimes totally inappropriate 有时完全不适用 *SDE_08 MLE5 Ex. 噪声中的估计问题 1：对
5、对于IID高斯白噪声，有 2：对对于0，b均匀分布噪声 均值值，有 1为线为线性，2为为非线线性。 噪声均值的估计 在已知PDF 情况下，可 以知道不同 噪声分布侠 的最佳估计 问题是： PDF未知 （a）WGN中的DC电平 ；BLUE是最佳的 （b）均匀噪声的均值； BLUE是准最佳的 *SDE_08 MLE6 用途示例：源定位 Ex. 6.3 假设有一个标称源位置可用 Assume some rough estimate is available Rn Ri linearized TOA mode 套用定理6.1 高斯马尔可夫定理 Ch7 最大似然估计MLE Chapter 7 Maxim
6、um likelihood Estimation 雷斌 13809194497 gropemind Signal Detection and Estimation 信号检测与估值 第八讲 Spring 2016 lecture 8 *SDE_08 MLE8 MLE: 问题的引出 Motivation for MLE Problem: MVUE often does not exist or cant be found. MVUE通常不存在或 找不到 BLUE may not be applicable if PDF is known, then MLE can be used。如果PDF已知，
7、BLUE就未必适用，此时MLE可用 Solution: If the PDF is known, then MLE can always be used! One of most popular practical methods. 通用的工程方法 Advantages 优势优势 : 1. “turn-the-crank” method to find it .总能得到结果 2. Optional for enough data size. 当观测数据足够多时，其性能最优 。 Disadvantages 缺点: Not optimal for small data size.小数据量时性能差
8、Can be computationally complex 计算复杂 may require numerical “search” methods. 可能用到数学搜索方法 *SDE_08 MLE9 MLE基本原理 Rationale for MLE Choose the parameter value that: 选择选择待估参数 makes the data you did observe使得所观测观测数据 the most likely data to have been observed! 与 那个参数所 决定的分布间间是最相似的。 Consider 2 possible parame
9、ter values: 1 2) dx But p1= p(x; 1)dx 选择 使得 达到最大 pick so that is largest *SDE_08 MLE10 General Procedure maximizes the likelihood function likelihood function Note :Because Ln(z) is a monotonically in creasing function， also maximizes Lnp(x;) 1 Find log-likelihood function ; ln p(x; ) 2 对对求偏导导Differ
10、entiate w.r.t. : 3 Set to zero: =0 4 sole for value 一般程序 General Procedure *SDE_08 MLE11 MLE定义 Definition of the MLE Note: Because ln(z) is a monotonically increasing 单调增长 function General Analytical Procedure to Find the MLE 发现最大似然估计的一般的分析方法 1. Find log-likelihood function: lnp(x;) 2. Differentiate
11、 w.r.t and set to 0: 偏导=0 lnp(x;)/= 0 3. Solve for value that satisfies the equation 求解 *SDE_08 MLE12 7.3 An Example A simple example for which NO way to find MVUE Can find an estimator MVUE for large N Ex. 7.1 高斯白噪声中的DC电电平估计计修正 x N (A, A) A与均值和 方差有关系 *SDE_08 MLE13 Ex. 7.1 con. 2ndTry: 采用充分统计统计量的方法
12、1 Find sufficient statistic using Neyman fisher Try to use RBLS Theorem(2 possible ways) Use the conditional expect. Approach Very hard or impossible! Failed to find MVUE here! (But we did find CRLB) P130 131 两种方法均告失败！ 期望找到一种准最佳估计 FAILS *SDE_08 MLE14 Ex. 7.1 con. 1ST Try: check it (3.25) holds; if y
13、es, effic. est. exists. 采用CRLB下限的方法 so for this case: find see if has form Not obvious it does however, can still find CRLB: 很难转难转成这样这样的形式 *SDE_08 MLE15 Ex. 7.2 WSN中的DC电平修正con. Propose Estimator: BUT it is asymptotically unbiased 渐近无偏的: Use “Law of Large Numbers”大数定理: Sample Mean 一致估计 渐近无偏估计 渐近有效估计
14、*SDE_08 MLE16 7.4 finding the MLE MLE Definition： 标标量参数的MLE定义为义为 对对于固定的x，使p(x; )最大的值值 即 使似然函数最大的值值 is the value of that maximizes for the specific measured data x 最大化是在 的允许许范围围内求得的 MLE Rationale基本原理: Consider 2 possible parameter values :1 1)dx p2=p(x; 2)dx p(x; ML)dx is largest! *SDE_08 MLE17 Gener
15、al Procedure maximizes the likelihood function likelihood function Note :Because Ln(z) is a monotonically in creasing function， also maximizes Lnp(x;) 1 Find log-likelihood function ; ln p(x; ) 2 对对求偏导导Differentiate w.r.t. : 3 Set to zero: =0 4 sole for value 一般程序 General Procedure *SDE_08 MLE18 Ex. 7.3 WSN中的DC电平修正 con. Ex. of MLE When MVUE Non-Existent PDF： A0 MLE方法不仅仅能够够求得渐渐近有效的估计计量，而且有时还时还 能求得有限数据记录记录的有效估计计 Ex. 7.4 *SDE_08 MLE19 Ex. 7.4 WSN中的DC电平验证 Xn=A+wn WSN： p134 *SDE_08 MLE20 7.5 MLE的性质 Properties of MLE The MLE is asymptoti
