混高斯背景建模

《混高斯背景建模》由会员分享，可在线阅读，更多相关《混高斯背景建模（26页珍藏版）》请在金锄头文库上搜索。

1、2015/1/25,1,混合高斯模型背景建模,汇报人：,2015/1/25,混合高斯模型背景建模,2,EM算法,EM算法是一种迭代算法，用于含有隐含变量的概率模型参数的极大似然估计，或极大后验概率估计。 EM算法的每次迭代由两步组成：E步,求期望（expection）；M步，求极大（maximization）。,EM算法,2015/1/25,混合高斯模型背景建模,3,算法引入 算法距离： （三硬币模型）假设有3枚硬币，分别记作A，B，C。这些硬 币正面出现的概率分别是，p和q。进行如下抛硬币实验：先抛硬 币A，根据其结果选出硬币B或硬币C,正面选硬币B，反面选硬币C； 抛选出的硬币，出现正面记

2、作1，出现反面记作0；独立地重复n次实 验（这里，n=10）,观测结果如下： 1,1,0,1,0,0,1,0,1,1 假设只能观测到抛硬币的结果，不能观测抛硬币的过程。问如何估 计三枚硬币正面出现的概率，即三硬币模型参数。,2015/1/25,4,EM算法,混合高斯模型背景建模,解：三硬币模型可以写作 (1) 这里，随机变量y是观测变量，表示一次试验观测的结果是 1或0；随机变量z是隐变量，表示未观测到的抛硬币A的结果； =(,p,q)是模型参数。其中，y的数据可以观测，z的数据 不可观测。 将观测数据表示为 ，未观测数据表示为 则观测数据的似然函数为 (2),2015/1/25,5,EM算法

3、,混合高斯模型背景建模,即 (3) 考虑求模型参数=(,p,q)的极大似然估计，即 (4) 这个问题没有解析解，只有通过迭代的方法求解。EM算法就 是可以用于求解这个问题的一种迭代算法。,2015/1/25,6,EM算法,混合高斯模型背景建模,算法推导 我们面对一个含有隐变量的概率模型，目标是极大化观测数据（不完全数据）Y关于参数的对数似然函数，即极大 化 (5) (5)中有未观测变量并有包含和（或积分）的对数，进行（求 导）极大化比较困难。,2015/1/25,混合高斯模型背景建模,7,EM算法,EM算法通过逐步迭代近似极大化L()。假设在第i次迭代后的估计值 。我们希望新估计值能使L（）增

4、加，即 ，并逐步达到最大值。为此考虑两者的差： 利用Jensen不等式得到其下界：,2014/12/11,8,EM算法,混合高斯模型背景建模,其中 Jensen不等式： 若f是凸函数，X是随机变量，那么 ，当且仅当 ，即X为常量时去等号。Jensen不等式应用于凹函 数时，不等号取反。 log函数为凹函数，Y为X的函数：Y=g(X),X为离散随机变量时， ,k=1,2,3.，若 绝对收敛，则 。 这里Y对应 ，X对应Z，Pk对 ，g是Z到 的映射。那么 为EY，Elog(Y)为 。,EM算法,接着令 (6) 则 (7) 即函数 是 的一个下界，有式（6）可知， (8) 因此任何可以使 增大的，

5、也可以使L()增大。为了 使L()尽可能的增大，选择 使 达到极大，即 (9),2015/1/25,混合高斯模型背景建模,9,EM算法,现求 的表达式。省去对的极大化而言是常数的项，有 (10) 式(10)中的函数 是EM算法的核心，称为Q函数，其含义 完全数据的对数似然函数 关于在给定观测数据Y和当前 参数 下对未观测数据Z的条件概率分布 的期望，即,10,混合高斯模型背景建模,2015/1/25,2015/1/25,11,EM算法,混合高斯模型背景建模,EM算法描述： 输入：观测变量数据Y，隐变量数据Z，联合分布 ，条件分布 ； 输出：模型参数。 (1)选择参数的初值 ，开始迭代； (2)

6、E步：记 为第i次迭代参数的估计值，在第i+1次迭代的E步，计算 (11),2015/1/25,12,EM算法,混合高斯模型背景建模,M步：求使 极大化的，确定第i+1次迭代的参数估计值 （12） (4)重复第(2)步和第(3)步，直到收敛，迭代停止条件为：对较小的正数，若满足 或 则停止迭代。,2015/1/25,13,混合高斯模型,混合高斯模型背景建模,（定义）高斯混合模型是指具有如下形式的概率分布模型： (13) 其中， 是系数， 是高斯分布密度， (14) 称为第k个分模型。,2015/1/25,14,混合高斯模型,混合高斯模型背景建模,高斯混合模型参数估计的EM算法 假设观测数据 由

7、高斯混合模型生成， 其中， 。我们用EM算法估计高斯混合模型的 参数。 1.明确隐变量，写出完全数据的对数似然函数 可以设想观测数据 ，是这样产生的：首先依概率 选择第k个高斯分布分模型 ；然后依第k个分模型的概率模型生成观测数据 。这时观测数据 ，是已知的；反应观测数据 来自第k个分模型的数据是未知的，以隐变量 表示，其中k=1,2,K,其定义如下：,2015/1/25,15,混合高斯模型,混合高斯模型背景建模,（15） 是0-1随机变量。 有了观测数据 以及未观测数据 ，那么完全数据是 那么完全数据的的似然函数为：,(16) 式中， 。,2015/1/25,16,混合高斯模型背景建模,混合

8、高斯模型,2015/1/25,17,混合高斯模型背景建模,混合高斯模型,那么，完全数据的对数似然函数为： 2.EM算法的E步：确定Q函数 (17),2015/1/25,18,混合高斯模型背景建模,混合高斯模型,这里需要计算 ，记作 。 是在当前模型参数下第j个观测数据来自第k个分模型的概率，称为分模型k对观测数据 的响应度。,2015/1/25,19,混合高斯模型,混合高斯模型背景建模,3.确定EM算法的M步 迭代的M步是求函数 对的极大值，即求新一轮的模型迭代参数： 用 表示 的各参数。求 只需对 求偏导，并使倒数为0即可；求 是在 条件下求偏导， 并使导数为0得到。结果如下： (18),2

9、015/1/25,20,混合高斯模型背景建模,混合高斯模型背景建模,混合高斯模型背景建模的思想是把每一个像素点所呈现的颜色用M个状态来表示，通常M取3-5之间，将每个状态用一个高斯分布来近似将像素点所呈现的颜色用随机变量X来表示，在每个时刻T得到视频图像的像素值为随机变量X的采样值则对于第个状态的像素的分布可表示为： (19) 其中 和 分别表示期望和协方差矩阵。 随机变量X的分布可用k个状态分布的加权和来表示： (20),2015/1/25,21,混合高斯模型背景建模,混合高斯模型背景建模,其中 是T时刻第k个高斯分布的权值，它代表了由第k个分布产生的采样值占总采样值的比例或者说表面k出现在

10、该像素的先验概率，且 是全部参数的集合，定义为 ，所有参数需要从X的观察值估计得到上述表达式的直观意义是：在T时刻观察到 的概率等于该值分别属于M个高斯分布的概率的加权和 GMM之所以能够将前景和背景分开是基于如下两点事实的：一，在长期观测的场景中，背景占大多数时间，更多的数据是支持背景分布的二，即使是相对颜色一致的运动物体也会比背景产生更多变化，况且一般情况下物体都是带有不同颜色的我们之所以将前景也用一个高斯分布来表示是因为：前景物体也有机会变为背景，当场景中添加物体时，通过一段自适应过程，可以用新的背景模型来替换旧的背景模型而当物体移走时，由于原来的背景的模型依然存在，可以快速的恢复背景模

11、型,2015/1/25,22,混合高斯模型背景建模,混合高斯模型背景建模,混合高斯模型的参数更新: 在时刻t，对图像帧的每个像素值Xt和它对应的混合高斯模型进行匹配检验： 如果像素值Xt与混合高斯模型中第k个高斯分布Gk均值的距离小于其标准差的25倍，则定义该高斯分布Gk与像素值Xt匹配。 (初始化：第一帧中，第一个高斯分布的权值为1，期望为第一个像素数据其余高斯分布权值为0，期望为0每个高斯分布都被赋予适当的相等的初始方差),2015/1/25,23,混合高斯模型背景建模,混合高斯模型背景建模,如果检测出该像素混合高斯模型中至少有一个高斯分量与像 素Xt匹配，那么混合高斯模型的参数更新方式如

12、下：1）对于 不匹配的高斯分量，他们的均值和协方差矩阵保持不变；2） 对于匹配的高斯分量，他们的均值和协方差矩阵按下式更新： 式中： ，为参数估计的学习速率。,2015/1/25,24,混合高斯模型背景建模,混合高斯模型背景建模,如果该像素对应的混合高斯模型中，没有高斯分量与该像素Xt匹配，那么将最不可能代表背景过程的高斯分量Gj(权重最小的分量)重新赋值，即：用当前像素值Xt作为均值，并给予一个较大（比其他的高斯分量的方差都要大）的方差以及一个较小的权重（比其他的高斯分量的权重都要小）。 然后按下式更新所有高斯分量在T=t时刻的权重 ： 式中，如果t时刻Xt与高斯分量Gk匹配则 为1，否则为

13、0。,2015/1/25,25,混合高斯模型背景建模,混合高斯模型背景建模,背景模型估计： 每个像素的模型更新后 按 从大到小将每个像素高斯混合模型的K个高斯分 布排序 选择上述序列的前B个高斯分布作为背景像素模型 式中T是预先设定的阈值，代表背景过程成分占整个高斯过程的比例 。 现在重新检测每一个像素Xt与得到的B个高斯分量是否匹配，如果匹配则为背景，否则为前景。,混合高斯模型背景建模,模型改进： 1）对参数的初始化方式以及更新方式： 首先用标准EM算法对前N帧进行学习（不参与前景建模），得到一个稳定的背景后采用固定的进行检测 2）混合高斯模型中K的值自适应：在不同时间，不同区域K的值不同。,混合高斯模型背景建模,2015/1/25,26,