《对贝叶斯估计的理解》由会员分享，可在线阅读，更多相关《对贝叶斯估计的理解（6页珍藏版）》请在金锄头文库上搜索。
1、对贝叶斯定理及其在信号处理中的应用的理解信号估计中的贝叶斯方法是对贝叶斯定理的应用，要理解贝叶斯估计首先要理解 贝叶斯定理。一、 贝叶斯定理：1. 贝叶斯定理的简单推导过程贝叶斯定理就是条件概率公式(贝叶斯公式)，所谓条件概率就是在事件A发 生的条件下事件B发生的概率，常用P(B / A)表示。一般情况下P(B / A)与 P(A/B) 是不相等的。容易得到:P (B / A ) = H型，P (A / B ) = 邑P( A)P(B)所以 P(B/A) P(A)=P(A/B) P(B),对上式变形得贝叶斯公式：1)2)= P(B / A)P( A)P(A/B)=-P(B)若 A, A 为样本
2、空间的一个划分，可得全概率公式：P(B) = P(B / A)P(A) + P(B / A)P(A)所以(1)式可以改写为：P (B / A) P (A)P(B / A)P(A) + P(B / A)P(A)如果A，A， A为样本空间的一个划分，由(2)式可得条件概率P(A / B)1 2 n j3)P (B / A ) P (A )j j P (B / A ) P (A )ii(3)式就是当样本空间的划分为n时的贝叶斯公式即贝叶斯定理。我们把其 中的P(A )(i = 1,. n)称为先验概率，即在B事件发生之前我们对A事件概率的一ii个判断。P(A / B)称为后验概率，即在B事件发生之后
3、我们对A事件概率的重新ji评估。2. 贝叶斯公式的事件形式对于(3)式的得到，可不必要求A , A，A为样本空间的一个划分。假定1 2 nA，A，., A是互不相容事件，只要他们之和Ua包含事件B，即B u UA，1 2 k i ii 二 1i 二 1则有P(B /A P AA )(4)贝H有P (A /B )j j(4)1 丈 P (B /A P 4)ii (3)式和(4)式是贝叶斯公式的事件形式。可在对贝叶斯定理的应用中我们更 多的使用贝叶斯公式的密度函数形式。3贝叶斯公式的密度函数形式 在给出贝叶斯公式的密度函数形式之前，先了解一下贝叶斯学派的一些基本假设。假设I:随机变量X有一个密度函
4、数p(x;9 )，其中0是一个参数，不同的0对应 不同的密度函数，故从贝叶斯观点看，p(x；0)是在给定0后的一个条件密度函数， 因此记为p(x /0 )更恰当一些。这个条件密度能提供我们的有关的0信息就是总 体信息。假设II:当给定0后，从总体p (x / 0)中随机抽取一个样本X，X,该样本中含 1n有0 的有关信息。这种信息就是样本信息。假设皿：从贝叶斯观点来看，未知参数0是一个随机变量。而描述这个随机变量 的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用冗(0 )表 示。(1) 先验分布将总体中的未知参数0 G 看成一取值于的随机变量，它有一概率分布，记为 冗(0)，称
5、为参数0的先验分布。(2) 后验分布在贝叶斯统计学中，把以上的三种信息(总体信息、样本信息、先验信息)归纳起来的最好形式是在总体分布基础上获得的样本X，X ,和参数的联合密1n度函数:h( x ,., x , 0) = p ( x ,., x / 0 )冗(0)1 n 1 n在这个联合密度函数中。当样本XX ,给定之后，未知的仅是参数0 了，我们1n关心的是样本给定后， 0的条件密度函数，依据密度的计算公式，容易获得这个 条件密度函数:h(x x ,0 ) p(x x /0 )冗(0 )(5)n/ 0 )冗(0) d0n冗(0 / x x ) =1 n =1 n丿1 n m(x ,., x )
6、 f p(x ,., x1n11n这就是贝叶斯公式的密度函数形式，其中冗(0 /x x )称为0的后验密度函数,或后验分布。而:m(x，x ) = f p(x，x (0 )冗(0 )d01n1n是样本的边际分布，或称样本X X ,的无条件分布，它的积分区域就是参数01n 的取值范围，随具体情况而定。现在对前面的分析总结如下：人们根据先验信息对参数0已有一个认识，这 个认识就是先验分布冗(0)。通过试验，获得样本。从而对0的先验分布进行调整, 调整的方法就是使用上面的贝叶斯公式， 调整的结果就是后验分布冗(0 / X x )。后验分布是二种信息的综合。获得后验分布使人们对0的认识又前进一步 ，冗
7、(0 / x x1n上。1可看出，获得样本的的效果是把我们对0的认识由冗(0)调整到。所以对0的统计推断就应建立在后验分布冗(0 / x x )的基础1n贝叶斯定理在信号估计中的应用图像，假设在表达式y = x + ro中，y为我们接收到的含躁信号图像，x为真实信号为与x相互独立但与x同分布的噪声。设x服从N (0, o 2)分布，服从xN(0, o 2)分布。从而p (x)为x的先验概率密度函数，p)为的概率密度函数,XW5)1-ro 2p (ro) =exp( )w2冗 o2o2若我们采取最大后验概率法来估计真实信号x，即在接受到的信号y的条件 下，求使得后验概率密度p (x/y)最大的x
8、，记x =arg max(p (x/y)则由X / YX /Y贝叶斯公式的密度函数形式可得x = arg m ax( p/x (yx)px(x) p ( y)Y(6)式等价于x =arg max ( P( y / x) p ( x)，Y /X X又因为由关系式y =x可得p (y/x)=p (y_ x) Y /X W将(8)式代入(7)式得：x = arg m ax (p (y - x). p (x)WX由(5)有:=1_(y _ x)2P (y _ x) =.exp()2冗o2O 23将(10)代入(9)再利用等价得：x 二 argm ax(exp(_(y _ x)2).exp(2O 23_ x 2)2O 2xx 二 argm ax、丿 /_ x2(ln(exp(). exp( )2O 22O 23x(y x)2x 二 argmax_ ( y _ x) 2_ x 2( + ) 2O 2x(8)(9)(10)(11)将(11)式的右边对 x 求导并令为 0 得：所以求解得到：2O 23x=0O2O2+O2 3x
