概率密度函数的参数估计

《概率密度函数的参数估计》由会员分享，可在线阅读，更多相关《概率密度函数的参数估计（55页珍藏版）》请在金锄头文库上搜索。

1、模式识别 概率密度函数的参数估计第三章 概率密度函数的参 数估计模式识别 概率密度函数的参数估计3.0 引言 贝叶斯分类器的学习：类条件概率密度函数的估计。 问题的表示：已有c个类别的训练样本集合D1，D2，Dc，求取每个类别的类条件概率密度 。模式识别 概率密度函数的参数估计概率密度函数的估计方法 参数估计方法：预先假设每一个类别的 概率密度函数的形式已知，而具体的参 数未知； 最大似然估计(MLE, Maximum Likelihood Estimation)； 贝叶斯估计(Bayesian Estimation)。 非参数估计方法。模式识别 概率密度函数的参数估计3.1 最大似然估计 独

2、立同分布假设：样本集D中包含n个样本：x1，x2， , xn，样本都是独立同分布的随机变量(i.i.d，independent identically distributed)。 对类条件概率密度函数的函数形式作出假设，参数可以表示为参数矢量：模式识别 概率密度函数的参数估计似然函数 样本集D出现的概率： 对数似然函数：模式识别 概率密度函数的参数估计最大似然估计 最大似然估计：寻找到一个最优矢量 ，使 得似然函数 最大。模式识别 概率密度函数的参数估计正态分布的似然估计 Gauss分布的参数：由均值矢量和协方 差矩阵构成，最大似然估计结果为：模式识别 概率密度函数的参数估计3.2 期望最大化

3、算法(EM算法) EM算法的应用可以分为两个方面：l 训练样本中某些特征丢失情况下，分布参 数的最大似然估计；l 对某些复杂分布模型假设，最大似然估计 很难得到解析解时的迭代算法。模式识别 概率密度函数的参数估计混合密度模型 混合密度模型：一个复杂的概率密度分布函 数可以由多个简单的密度函数混合构成： 高斯混合模型：GMM，Gauss Mixture Model模式识别 概率密度函数的参数估计两个高斯函数的混合模式识别 概率密度函数的参数估计样本的产生过程 高斯模型样本的产生：每一个样本都是按 照正态分布产生的； GMM样本的产生：先按照先验概率ai选择 一个子类，然后按照这个子类满足的正态

4、分布产生样本。模式识别 概率密度函数的参数估计GMM模型产生的2维样本数据模式识别 概率密度函数的参数估计GMM模型的参数估计 GMM的参数：参数估计：已知样本x1,xn，估计参数 。存在的问题 ：每个样本是由哪一个子集产 生的未知。模式识别 概率密度函数的参数估计训练样本 ：来自子类 ：已知y的条件下，参数的估计：已知参数条件下，y的估计：K-mean算法模式识别 概率密度函数的参数估计 存在的问题：样本xt可能来自于任何一个子类，但 在参数估计时只出现在一个子类中。 修改计算过程：EM算法模式识别 概率密度函数的参数估计混合密度模型的参数估计 混合密度模型的参数可以表示为为：参数的估计方法

5、： 1. 梯度法：利用最优化方法直接对似然函数 进行优化； 2. EM算法：引入未知隐变 量Y对问题进 行简化 ，将Y看作丢失的数据，使用EM算法进行优化 。模式识别 概率密度函数的参数估计EM算法的性质 收敛性：EM算法具有收敛性； 最优性：EM算法只能保证收敛于似然函 数的局部最大值点（极值点），而不能保 证收敛于全局最优点。模式识别 概率密度函数的参数估计基本EM算法 样本集：令X是观察到的样本数据集合，Y为 丢失的数据集合，完整的样本集合D=XY。 似然函数：由于Y未知，在给定参数时，似 然函数可以看作Y的函数：模式识别 概率密度函数的参数估计基本EM算法 由于Y未知，因此我们需要寻找

6、到一个在Y的 所有可能情况下，平均意义下的似然函数最 大值，即似然函数对Y的期望的最大值：E步：M步：模式识别 概率密度函数的参数估计基本EM算法begin initialize ，T，i0； do ii+1 E步：计算 ; M步： until return模式识别 概率密度函数的参数估计 隐含Markov模型 (Hidden Markov Model, HMM) 应用领域：识别对象存在着先后次序信 息，如语音识别，手势识别，唇读系统 等； 模式描述：特征矢量序列。模式识别 概率密度函数的参数估计输入语音波形模式识别 概率密度函数的参数估计观察序列 观察序列：信号的特征需要用一个特征矢 量的序

7、列来表示： 其中的vi为一个特征矢量，称为一个观察 值。模式识别 概率密度函数的参数估计一阶Markov模型 状态序列的产生：一阶Markov模型由M个 状态构成，在每个时刻t，模型处于某个状 态w(t)，经过T个时刻，产生出一个长度为 T的状态序列WT=w(1),w(T)。模式识别 概率密度函数的参数估计一阶Markov模型的状态转移 Markov性：模型在时刻t处于状态wj的概率完全 由t-1时刻的状态wi决定，而且与时刻t无关，即 ：模式识别 概率密度函数的参数估计Markov模型的初始状态概率 模型初始于状态wi的概率用 表示。 模型参数：一阶Markov模型可以用参数 表示，其中：

8、模式识别 概率密度函数的参数估计 一阶Markov模型输出状态序列 的概率 输出状态序列的概率：由初始状态概率与各次状 态转移概率相乘得到。 例如：W5=w1, w1, w3, w1, w2，则模型输出该序 列的概率为：模式识别 概率密度函数的参数估计一阶隐含Markov模型 隐含Markov模型中，状态是不可见的， 在每一个时刻t，模型当前的隐状态可以输 出一个观察值。 隐状态输出的观察值可以是离散值，连续 值，也可以是一个矢量。模式识别 概率密度函数的参数估计HMM的工作原理 观察序列的产生过程：HMM的内部状态转移过程同 Markov模型相同，在每次状态转移之后，由该状态 输出一个观察值

9、，只是状态转移过程无法观察到，只 能观察到输出的观察值序列。 输出概率：以离散的HMM为例，隐状态可能输出的 观察值集合为v1, v2, , vK，第i个隐状态输出第k个 观察值的概率为bik。 例如：T=5时，可能的观察序列V5=v3v2v3v4v1模式识别 概率密度函数的参数估计HMM的工作过程模式识别 概率密度函数的参数估计HMM的参数表示 状态转移矩阵：A，M*M的方阵； 状态输出概率：B，M*K的矩阵； 初始概率：，包括M个元素。M个状态态，K个可能的输输出值值。模式识别 概率密度函数的参数估计HMM的三个核心问题 估值问题：已有一个HMM模型，其参数已知， 计算这个模型输出特定的观

10、察序列VT的概率； 解码问题：已有一个HMM模型，其参数已知， 计算最有可能输出特定的观察序列VT的隐状态 转移序列WT； 学习问题：已知一个HMM模型的结构，其参数 未知，根据一组训练序列对参数进行训练；模式识别 概率密度函数的参数估计估值问题 一个HMM模型产生观察序列VT可以由下式计算 ：rmax=MT为HMM所有可能的状态转移序列数； 为状态转移序列 输出观察序列 的概率； 为 状态转移序列 发生的概率。 模式识别 概率密度函数的参数估计估值问题的计算 计算复杂度：模式识别 概率密度函数的参数估计HMM估值算法的简化模式识别 概率密度函数的参数估计HMM的前向算法初始化：迭代计算：结束

11、输出：计算复杂度：模式识别 概率密度函数的参数估计解码问题 解码问题的计算：同估值问题的计算类似， 最直观的思路是遍历所有的可能状态转移序 列，取出最大值，计算复杂度为：O(MTT) 。 同样存在着优化算法：Viterbi算法。模式识别 概率密度函数的参数估计Viterbi算法因为需要回朔最优路径，所以建立一个矩阵，其元 素 保存第t步，第i个状态在第t-1步的最优状态 。2. 初始化：3. 迭代计算 ：4. 结束：5. 路径回朔：模式识别 概率密度函数的参数估计Viterbi算法图示模式识别 概率密度函数的参数估计学习问题 HMM的学习问题： 已知一组观察序列(训练样本集合)：如何确定最优的

12、模型参数，使得模型产生训 练集合V的联合概率最大这同样是一个最大似然估计问题，需要采用EM算 法。模式识别 概率密度函数的参数估计图示模式识别 概率密度函数的参数估计变量说明 ：表示在t-1时刻HMM处于状态i，并且从 1t-1时刻之间产生观察序列V1t-1的概率； ：表示在t时刻HMM处于状态j，并且从 t+1T时刻之间产生观察序列Vt+1T的概率；模式识别 概率密度函数的参数估计变量说明 输出观察序列VT时，在t-1时刻HMM处于i状 态，在时刻t处于j状态的概率：模式识别 概率密度函数的参数估计前向-后向算法(Baum-Welch算法) 迭代公式： 初始概率：状态转移概率：输出概率：模式

13、识别 概率密度函数的参数估计HMM的其它问题 连续HMM模型：在观察序列中每个观察值是一个特征 矢量，相应的模型中输出概率b就需要用一个概率密 度函数描述，其函数形式需要假设，通常使用GMM。 训练问题：通常可以用每个训练样本分别计算值， 然后分子和分母部分分别进行累加，最后统一进行参 数修正； 模型的拓扑结构：模型结构可以根据实际问题的需要 来设计，在初始化状态转移矩阵A时，将某些元素设 为0即可。模式识别 概率密度函数的参数估计“左-右”模型结构模式识别 概率密度函数的参数估计带跨越的“左-右”结构HMM模型模式识别 概率密度函数的参数估计3.3 贝叶斯估计 为什么要采用贝叶斯估计？ 贝叶

14、斯估计与最大似然估计有什么差别？模式识别 概率密度函数的参数估计贝叶斯估计与最大似然估计的差别 观点不同： 最大似然估计认为是一个确定的未知矢量; 贝叶斯估计认为是一个随机矢量。 过程不同： 最大似然估计：样本集D 估计最优参数* ； 贝叶斯估计：样本集D和先验分布p() 估 计参数的后验分布p(|D)； 优点：提高小样本集条件下的估计准确率； 缺点：计计算复杂杂模式识别 概率密度函数的参数估计贝叶斯估计的一般理论 识别过程：类条件概率密度的计算 学习过程：参数后验概率密度的估计模式识别 概率密度函数的参数估计单变量正态分布的贝叶斯估计 已知概率密度函数满足正态分布，其中方 差2已知，均值未知，假设的先验概 率满足正态分布，即：模式识别 概率密度函数的参数估计均值的后验概率经推导可得，在已知训练样本集合D的条件 下，参数的分布：模式识别 概率密度函数的参数估计均值的后验概率均值的后验概率仍满足正态分布，其中：模式识别 概率密度函数的参数估计均值分布的变化模式识别 概率密度函数的参数估计类条件概率密度的计算