《二统计推断与贝叶斯预测》由会员分享，可在线阅读，更多相关《二统计推断与贝叶斯预测（85页珍藏版）》请在金锄头文库上搜索。
1、统计信号分析与处理统计信号分析与处理2010201020102010年年年年11111111月月月月侯侯 强强2024/7/2112of70第二章第二章第二章第二章 统计推断与贝叶斯预测统计推断与贝叶斯预测统计推断与贝叶斯预测统计推断与贝叶斯预测2024/7/2123of70第二章第二章 统计推断与贝叶斯预测统计推断与贝叶斯预测n2.1 引言与导学引言与导学n2.2 贝叶斯估计基础贝叶斯估计基础 -想法想法n2.3 贝叶斯估计贝叶斯估计-评价评价n2.4 期望期望-最大方法最大方法 -算法算法n2.5 高斯混合模型的设计高斯混合模型的设计-算法算法 n2.6 贝叶斯分类贝叶斯分类 -应用应用n
2、2.7 随机过程空间的建模随机过程空间的建模-提高提高2024/7/2134of70n 本章首先给出一个关于参数估计参数估计理论基本概念的介绍。（想法）（想法）n 然后介绍用于定量评价估计量性能估计量性能的统计测度。我们主要研究贝叶斯估计方法，考虑在估计均值与方差中使用先验模型的效果。（评价）。（评价）n 研究从不完整数据中估计一组未知参数的期望最大期望最大（EM）方法，并将其应用于连续随机变量的高斯混合模型空间。（算法）。（算法）n 本章最后以离散或有限状态信号的贝叶斯分类贝叶斯分类结束，并介绍K-均值聚类方法。n本章思路本章思路：想法想法-算法算法-评价评价-应用应用2.1 引言与导学引言
3、与导学2024/7/2145of702024/7/2156of702024/7/2167of702024/7/2178of70蓝色为原始含噪语音蓝色为原始含噪语音黄色为谱相减处理的结果黄色为谱相减处理的结果2024/7/2189of70原始含原始含噪语音噪语音 自适应自适应抗噪与谱抗噪与谱相减相结相减相结合后的输合后的输出结果出结果基本自适基本自适应抗噪输应抗噪输出结果出结果2024/7/21910of70通过语音合成来说话2024/7/211011of70 男声男声“深圳深圳 广州广州 珠海珠海”的短时幅度统的短时幅度统计。在采样频率为计。在采样频率为22050Hz22050Hz的情况下，取
4、的情况下，取20ms20ms作作为一帧，帧长为为一帧，帧长为441441点，一共统计了点，一共统计了180180帧。帧。短时平均幅度短时平均幅度原始原始语音语音2024/7/211112of70 音乐信号的分离音乐信号的分离 CEG基频基频CE基频基频C基频基频和弦和弦CEG2024/7/211213of70GMM的例子n例 ：一个班级每个学生的身高为假设男生和女生的身高分别服从高斯分布则其中 为男生的比例，n问题：给定独立同分布(independent and identically distributed-IID)的数据 ，求参数n混合模型的参数估计是EM(Expectation Maxi
5、mization)算法最典型的应用2024/7/211314of702024/7/211415of70n估计理论主要研究从观测信号中最优地估计出参数矢量的问题，或者研究从被噪声污染或退化的信号中恢复出纯净信号的方法。n例如，给定一个正弦信号波形，我们可能需要估计其基本参数（如幅度、频率和相位），或者我们可能希望恢复信号本身。2.2 贝叶斯估计基础贝叶斯估计基础2024/7/211516of70n 估计量通常以带噪信号或不完整观测作为输入，并且采用动态模型（如线性预测模型）和/或过程的概率模型（如高斯模型）来估计未知的参数，即估计量是一个系统即估计量是一个系统，而被估计的参数是此次系统的输出。n
6、 估计的精度取决于可以使用的信息和估计方法的有效性。n 本章主要研究平稳参数的贝叶斯估计问题。关于非平稳有限状态过程的建模与估计问题将在下面的章节研究。2.2 贝叶斯估计基础贝叶斯估计基础2024/7/211617of702024/7/211718of702024/7/211819of70n贝叶斯理论是一个基本的统计推断框架。在过程状态的估计与预测中，贝叶斯方法主要利用两种信息:n其一是包含在观测信号中的事实;n其二是过程分布的先验知识。n图2.1给出了贝叶斯方法作为主要统计估计方法的基本框架。2.2 贝叶斯估计基础贝叶斯估计基础2024/7/211920of702.2 贝叶斯估计基础贝叶斯估
7、计基础图图2.1 贝叶斯推断包含一个代价函数，一个先验函数和一个似然函数。贝叶斯推断包含一个代价函数，一个先验函数和一个似然函数。其他估计方法可以被认为是贝叶斯估计的特例其他估计方法可以被认为是贝叶斯估计的特例2024/7/21202024/7/212122of702.2.1 估计的动态模型和概率模型估计的动态模型和概率模型n 最优估计算法常采用观测信号的动态模型和概率模型。n动态预测模型利用信号的相关结构信息，根据信号的过去状态和输入激励对信号当前值与将来值的依赖关系进行建模。采用动态模型进行估计的例子包括线性预测模型和卡尔曼滤波器。n统计概率模型依据均值和方差这样的统计量来表现信号随机波动
8、空间的特性，为了描述得更完整，则需要采用概率模型。条件概率模型除了对信号的随机波动建模以外，也用于表示信号对其过去状态和其他过程的依赖情况。n动态模型和概率模型可以进行组合：例如，一个有限状态模型可以通过隐马尔可夫模型（HMM）和卡尔曼滤波器的组合来构造。2024/7/21222.2.1 估估计的的动态模型和概率模型模型和概率模型2024/7/212324of70n随机过程的预测模型和概率模型引导估计结果朝着与模型参数和观测信号的先验分布相一致的方向发展。n一般来说，只要所使用的模型能够准确代表观测数据和参数过程的特征，则估计中所使用的信息量越多，估计的结果会越好。n其缺点是，如果模型是不准确
9、的，则所引起的负面效应要超过其正面效果。2024/7/212425of702.2.2 参数空间与信号空间参数空间与信号空间2024/7/21252.2.2 参数空参数空间与信号空与信号空间2024/7/212627of702.2.2 参数空间与信号空间参数空间与信号空间2024/7/212728of702.2.3 参数估计和信号恢复参数估计和信号恢复n参数估计和信号恢复是密切相关的两个问题。n二者的主要区别是大多数信号往往波动较快，而大多数参数则波动较慢。n例如，语音信号的波动速率大约为20kHz，而相应的元音和谐音参数的变化速率则仅为100Hz。这个现象表明，在参数估计时可以比信号恢复时进行
10、更多的平均操作。n作为一个简单的例子，考虑零均值随机噪声中的一个观测信号。假定我们希望估计：n（a）纯净信号的平均值；n (b) 纯净信号本身。n随着观测时间的增长，信号均值的估计会逐渐逼近纯净信号的均值，而纯净信号样本的估计则取决于信号的相关结构和信噪比，并取决于所采用的估计方法。2024/7/212829of702024/7/212930of702.2.4 性能测度与所希望的估计性能性能测度与所希望的估计性能2024/7/213031of702.2.4 性能测度与所希望的估计性能性能测度与所希望的估计性能n不同的参数估计会得到不同的结果，这主要取决于所采用的估计方法、所利用的观测数据和所利
11、用的先验信息。n由于观测所具有的随机性，即使是相同的估计量，如果选用同一过程中不同的观测数据，也会产生不同的结果。n因此，估计结果本身是一个随机变量，也具有均值和方差，也可以用概率密度函数来描述。然而，在大多数情况下，根据估计误差的均值和方差来确定一个估计量的特性就足够了。n对于估计量最常用的性能测度为：2024/7/213132of702.2.4 性能测度与所希望的估计性能性能测度与所希望的估计性能2024/7/213233of702.2.4 性能测度与所希望的估计性能性能测度与所希望的估计性能n最优估计的目标是使估计的偏为零，并使估计误差的方差达到最小。对于估计量来说，所希望的性质可以列于
12、下面：2024/7/213334of702.2.4 性能测度与所希望的估计性能性能测度与所希望的估计性能2024/7/213435of702024/7/213536of702024/7/213637of702024/7/213738of70今晚内容：n高斯混合模型高斯混合模型(GMM)(GMM)与与n期望最大算法（期望最大算法（EMEM）2024/7/213839of70频率学派的观点到目前为止我们讲述的都是频率（经典的）统计学n概率指的是相对频率，是真实世界的客观属性。n参数是固定的未知常数。由于参数不会波动，因此不能对其进行概率描述。n统计过程应该具有定义良好的频率稳定性。如：一个95的置
13、信区间应覆盖参数真实值至少95的频率。统计学更多关注频率推断频率学派频率学派PK贝叶斯学派贝叶斯学派2024/7/213940of70贝叶斯学派的观点贝叶斯推断采取了另外一个不同的立场：n概率描述的是主观信念的程度，而不是频率。这样除了对从随机变化产生的数据进行概率描述外，我们还可以对其他事物进行概率描述。n可以对各个参数进行概率描述，即使它们是固定的常数。n为参数生成一个概率分布来对它们进行推导，点估计和区间估计可以从这些分布得到机器学习和信号处理更偏爱贝叶斯推断2024/7/214041of70贝叶斯方法贝叶斯推断的基本步骤如下：n选择一个概率密度函数 ，用来表示在取得数据之前我们对某个参
14、数 的信念。我们称之为先验分布。n选择一个模型 （在参数推断记为 ） 来反映在给定参数 情况下我们对x的信念。n当得到数据 X1, X2,Xn 后，我们更新我们的信念并且计算后验分布 。n从后验分布中得到点估计和区间估计。2024/7/214142of70回忆贝叶斯规则n亦称贝叶斯定理n条件概率n利用贝叶斯规则将数据和参数的分布联合起来2024/7/214243of70似然函数n假设我们有n个IID观测 ，记为 ,产生的数据为 ，记为 ，我们用如下公式替代n现在似然函数真正解释为给定参数下数据的概率2024/7/214344of70后验概率n因此后验概率为n其中 被称为归一化常数(normal
15、izing constant)。该常数经常被忽略，因为我们关心的主要是参数 的不同值之间的比较。所以n也就是说，后验和似然函数与先验的乘积成正比2024/7/214445of70贝叶斯点估计n后验的均值n是一个常用的点估计nL2损失下的贝叶斯规则n极大后验估计(maximum a posteriori，MAP)是使后验 最大的 的值：n是另一个常用的点估计n0-1损失下的贝叶斯规则2024/7/214546of70贝叶斯学派的观点n先验信息：可以方便的结合先验信息，而且人们在做推断时也确实利用了先验信息，贝叶斯推断使得这个过程显式化n提供了更多的结构：对小样本很有效n简练：允许人们对参数进行概
16、率描述，使得似然函数与其逻辑结论一致，减小了数据和参数之间的区别n统一：不必对点估计和区间估计各个解析推导2024/7/214647of70反对贝叶斯学派的观点n不方便：后验区间不是真正的置信区间，估计通常都是有偏估计n以参数为中心：在很多非参数情况下似然很脆弱n计算强度大：积分/仿真或近似很难处理n不必要的复杂：即使没有先验信息也要有先验函数n假设检验：贝叶斯假设检验对先验的选取很敏感2024/7/214748of70综上所述n在参数模型中，当样本数目很多时，贝叶斯方法和频率方法得到的近似相同的推理。但通常二者的结果不同n贝叶斯方法和频率推理是为了解决不同的问题n结合先验知识和数据：贝叶斯方
17、法n构造长期稳定的性能（如置信区间）：频率方法2024/7/214849of70综上所述n当参数空间为高维时，通常采用贝叶斯方法n但当参数比数据还多时，没有统计方法能跨越自然的本质约束n即使先验知识选择得当，也只能对“过去”预测很好，对将来不一定能预测很好nYou cannot get something for nothing. A little bit of data, will not help you to learn about a million dimensional, complex problem.2024/7/214950of702.3 贝叶斯估计贝叶斯估计2024/7/2
18、15051of702024/7/215152of70n2.3.1 最大后验估计最大后验估计 n2.3.2 最大似然估计最大似然估计n2.3.3 最小均方误差估计最小均方误差估计n2.3.4 最小平均绝对误差估计最小平均绝对误差估计2024/7/215253of702024/7/215354of702024/7/215455of702024/7/215556of702024/7/215657of702024/7/215758of702024/7/215859of702024/7/215960of702024/7/216061of702.3.5 均匀分布参数高斯过程条件下均匀分布参数高斯过程条件下
19、MAP,ML,MMSE和和MAVE的等价性的等价性2024/7/216162of702.4 期望期望-最大方法最大方法n期望-最大（EM）算法是一种迭代实现的最大似然方法，在盲解卷积、聚类、隐马尔可夫模型的训练、基于模型的内插、带噪信号的谱估计、信号恢复与估计等领域得到广泛的应用。 nEM是解决一类问题的一个框架，在这类问题中，由于数据的不完整性（图2.15），例如，当数据中丢失了一些样本或标志，或问题过于难等原因，往往难于直接得到问题的ML估计。例如，在聚类应用中，通常原始数据是没有聚类标记的，因此往往采用迭代的EM方法，其中包括：n（a）给数据加上标记（期望）n（b）计算聚类的均值和方差。
20、2024/7/216263of702024/7/216364of702024/7/216465of702024/7/216566of702.5 高斯混合模型的设计高斯混合模型的设计n对任意信号空间概率密度函数建模的一种实际的方法是用多个高斯概率密度函数来拟合信号空间。因此高斯函数被用做构造 pdf的元素。n图2.16给出了一个二维信号空间的聚类模型，其中给出了一些圆的或椭圆形状的高斯过程。注意到高斯密度是可以重叠的，在重叠区域的一个数据点可以与不同的高斯混合分量有关。n使用高斯混合模型的一个主要优点是其可以导致数学上解析的信号处理方法。过程的混合高斯pdf模型定义为：2024/7/216667
21、of70天空、远山、树木、草地、公路（五类信息）天空、远山、树木、草地、公路（五类信息）2024/7/216768of702024/7/216869of70n一般来说，存在无穷多个不同的混合高斯密度，可以用来“铺满”一个信号空间。因此，一个具有混合pdf空间的信号空间可以被认为是一种多对一的映射，而EM算法则可以被用来估计高斯pdf模型的参数。2024/7/216970of702.6 贝叶斯分类贝叶斯分类 分类是用M个信号类别 对观测序列y(m)进行标记的过程。在现代数字通信技术中，例如在接收机中对离散码进行译码、语音压缩、视频压缩、语音识别、图像识别、字符识别、信号或噪声分类与检测中，经常使
22、用分类器。 举例来说，在一个M进制编码的数字通信系统中，信道的输出信号是M个信号编码中的一个。在语音识别中，语音信号的分段用40个不同的音素对信号进行标记。在语音和视频压缩中，一段语音信号或一块图像像素被量化，并在码书中用原型信号矢量进行标记。在分类器的设计中，最终目标是在给定信噪比、可用的训练数据量，以及确定的信号带宽及计算复杂等条件下，尽量使分类误差达到最小。 2024/7/217071of70分类误差主要来源于不同类型信号发布的重叠。这可以用图2.17来表示。该图给出了两个高斯信号 和 的二元分类问题。在有阴影的区域，信号的分布是有重叠的，信号中的一个样本可能属于这两类中的任何一类。因此
23、阴影区域的大小可以用来测量分类误差的大小。由图2.17可以发现，减小分类误差最明显的方法是减小信号发布的重叠区域。可以采用两种方法来减小重叠区域：（a）增加不同类别信号均值间的距离，(b)减小每一类信号的方差。在通信系统中，通常采用几种方法的组合来减小不同信号类别之间的重叠，这些方法包括：增加信号的信噪比，通过加上冗余误差控制码来增加不同信号模式之间的距离，信号整形以及信号的后置滤波等。在模式识别中，不可能像在语音和图像识别中那样控制信号的产生过程，模式特性和模型的选择会影响分类的误差。 2024/7/217172of70 用于模式识别分类的有效方法取决于许多因素，可以简单列出如下： （1）对
24、来自信号的一组有意义特征的提取与变换。这些特征能够适当地表示每一类的特性，并强调不同类别之间的差别。 （2）对每一类观测特性的统计建模。对于贝叶斯分类，需要获取每一类的后验概率模型。 （3）用类中的一类标记尚未标记的类别。2024/7/217273of70n最简单的分类形式就是用信号两种类型中的一种去标记观测信号。图2.18（a）、(b)给出了两个简单二维信号二元分类器的例子。n在每种情况下，观测信号是从二进制信号源到连续观测空间的随机映射（如信号加噪声）。在图2.18（a）中，二进制源和与每一个源对应的观测空间能够很好地区分。n在图2.18 (b)中，两类信号的均值和之间的距离较小，且观测信
25、号的分散性较大。这两点导致了信号空间的重叠和分类误差的产生。 2024/7/217374of702024/7/217475of702024/7/217576of702024/7/217677of702024/7/217778of702.6.2 分类误差分类误差n分类误差来源于不同类信号发布的重叠。图2.17给出了一个标量信号的二元分类器，而图2.18则给出了一个二维信号的二元分类器。n在上述各图中，重叠区域给出了分类误差的测度。减小分类误差的最明显的方法是减小各个分布的相互重叠。通过增加各信号均值或方差之间的距离，可能会达到减小分类误差的效果。 2024/7/217879of702024/7/217980of702024/7/218081of70贝叶斯分类具体形式贝叶斯分类具体形式n2.6.4 最大后验分类最大后验分类n2.6.5 最大似然分类最大似然分类n2.6.6 最小均方误差分类最小均方误差分类n2.6.7 有限状态过程的贝叶斯分类有限状态过程的贝叶斯分类n2.6.8 最可能状态序列的贝叶斯估计最可能状态序列的贝叶斯估计2024/7/218182of702024/7/218283of702024/7/218384of702024/7/218485of70欢迎提出问题！2024/7/2185
