实时视频监控人数统计关键技术研究

《实时视频监控人数统计关键技术研究》由会员分享，可在线阅读，更多相关《实时视频监控人数统计关键技术研究（101页珍藏版）》请在金锄头文库上搜索。

1、 分类号 TP391.41 学号 09040108 密级 公 开 工学硕士学位论文 实时视频监控人数统计关键技术研究实时视频监控人数统计关键技术研究 硕士生姓名 孙统义 学 科 专 业 信息与通信工程 研 究 方 向 精确制导自动目标识别技术 指 导 教 师 卢焕章 教授 国防科学技术大学研究生院 二一一年十一月 国防科学技术大学研究生院 二一一年十一月 Research on People Counting in Real-time Video Surveillance Candidate：Sun Tongyi Advisor：Prof. Lu Huanzhang A dissertatio

2、n Submitted in partial fulfillment of the requirements for the degree of Master of Engineering in Information ( , ) 255 nn n ifF x yFx yT Mx y otherwise = (2.1) 为了提高帧间差分法的性能，很多文献将帧间差分法与其它方法相融合。Neri 等26 为进一步减弱噪声对检测结果的影响，设噪声为高斯分布，而运动目标的差分为非高斯 分布，通过高阶统计量可以预先分割出运动区域和背景区域，然后通过块匹配估计差分 图像的运动场，再进一步区分出运动目标和背

3、景25。Alatan 等27在帧差法的基础上，结 合颜色分割、局部运动估计以及局部运动补偿等多个方面的信息来检测运动目标。 2.2.2 光流法 1950 年，Gibson 首先提出了“光流”的概念，光流是空间运动物体观测面上的像 素点运动产生的瞬时速度场，其中包含了物体表面结构和动态行为的重要信息。1981 年，美国学者 Hom 和 Schunck 推导出灰度图像光流场计算的基本公式，奠定了光流场 理论计算的基础。光流在模式识别、计算机视觉以及其他图像处理应用中都有广泛的应 用。25 光流法是基于对光流场的估算进行运动目标检测和分割的方法。 光流既包含被观察 物体的运动信息，同时由于运动目标各

4、部分运动模式的不同，光流也表示出了目标的大 致结构信息。 用光流法进行运动目标检测的基本思想是通过计算出来的光流场来模拟运动场。 通 常来说，光流可以由场景中目标运动、相机运动或者两者共同的运动产生，光流的计算 国防科学技术大学研究生院硕士学位论文 第 10 页 是运用光流进行运动检测的关键，计算光流的基础是光流的约束方程。理论上，光流计 算方法大致可分为三类：基于梯度的方法、基于匹配的方法和基于频域的方法。基于梯 度的方法利用图像序列的时空微分计算 2D 速度场(光流)，计算简单，效果较好，因此 得到了广泛应用25。 考虑图像象素( , )mx y=，时刻t的亮度值为( , , )I x y

5、 t。令点m的速度为(,) mxy vv v=， 若设点m的亮度保持不变，那么在很短时间间隔出内，有 (,)( , , ) xy I xv dt yv dt tdtI x y t+= (2.2) 如果亮度随, ,x y t缓慢变化，可将上式左边进行泰勒展开，则 2 ( , , )()( , , ) xy III I x y tvvO dtI x y t xyt += (2.3) 式中， 2 ()O dt代表阶数大于或等于2的高阶项，消去并忽略，得 0 m I I v t += i (2.4) 式中，, II I xy = 是图像在点m的梯度。 这个方程就叫光流约束方程(Optical Flow

6、 Constraint Equation)。根据检测分割与光流估算的关系可以将光流法分为：参数聚类法、 贝叶斯法和同时估算和检测分割的方法13。 光流法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标，然而，大 多数的光流计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置则不能被应用 于全帧视频流的实时处理28。 2.2.3 模板匹配法 前两种都是基于运动信息的目标检测方法，不能适用于静止对象的检测，模板匹配 方法能应用于检测静止对象。 基于模板的对象检测就是模板与待分析的视频之间的特征 匹配过程，这种方法计算量大，匹配质量依赖于对象模板提供的细节和精确程度13。 模板匹配分为固定

7、模板和可变形模板匹配12。 固定模板匹配主要应用于对应于摄像 机的视角，对象的形状不改变的场合。主要的技术手段有两种：图像差法和相关法。图 像差法技术中，模板的位置是通过最小化模板与图像中不同位置的距离函数来确定的， 图像差法所需的计算量比相关法要小，但只有成像条件相同时才能得到好的效果。相关 法技术中，利用了一个模板和定位最好匹配的图像间归一化互相关峰值所在的位置。这 种方法对图像中的噪声和照明的影响有很好的鲁棒性，但需在整个模板上进行求和运 国防科学技术大学研究生院硕士学位论文 第 11 页 算，计算量较大13。基于可变形模板的匹配方法适合于对象由于刚体和非刚体变形等情 况。这些变形可能是

8、由对象自己的形变或对象相对于摄像机的姿态变化引起。由于在许 多情况下，对象的可变形属性和方法在跟踪中用的较多。在这类方法中，模板被表示为 一个描述对象形状的特征轮廓或边缘的位图， 一个在原型轮廓上的概率变换方法能被用 于使模板变形来拟合输入图像中的显著的边， 一个具有改变模板形状的变换参数的目标 函数用公式反映了这些变换的代价， 目标函数通过迭代地更新变换参数使代价最小化以 更好地匹配对象29。 2.2.4 基于学习的方法 基于学习的方法的基本思想是， 通过对训练样本的学习， 获得目标有关的经验知识， 将目标的几何形状特征表示成几何或统计模型， 把目标提取转化为匹配或有监督的分类 问题2。统计

9、模型采取传统的统计分类思想，对训练样本集进行特征提取后构成目标的 特征模型，分割时对输入图像进行像素级或区域级的有监督分类，检测并提取特征模型 对应的目标2。 文献30选用七个不变矩形模型描述目标特征，这些模型具有旋转、平移和缩放不 变性；Poortere等人31采用Harr小波系数作为特征矢量检测行人，使用支持向量机作为 分类器；Gavrila等人32直接对图像进行边缘检测，使用Chamfer距离度量其边缘与训 练样本之间的匹配程度；Dalal等人33提出了使用有向梯度直方图的方法描述行人特征， 与其它边缘朝向直方图的描述相比，线性SVM分类器表现出了更好的性能2。 在待检测目标具有特定形状

10、的情况下， 使用基于学习的方法检测图像序列中的目标 可以获得良好的效果。但是，在实际情况下，由于成像条件的变化，目标与模型之间存 在一定的差别， 同类目标内部存在的差异与不同类目标之间的差异会导致目标检测时的 误检与漏检2。 2.2.5 背景差分法 前面分析的四种方法，各有特点：帧间差分法算法简单，实时性好，但难以提取出 完整的目标；光流法既可以用于摄像机静止的情况也能用于摄像机运动的情况，但算法 复杂，实时性差；模板匹配法需要先期获取目标模板，虽能在目标静止的情况下检测目 标，但在实验场景下，运动目标模板难以获取；基于学习的方法需要大量正负样本进行 分类器的训练，工作量较大，难以实施。针对视

11、频监控系统背景固定这一特点，本课题 研究采用背景差分法进行运动目标检测。 背景差分法利用当前图像与背景图像作差分运算以提取出运动区域， 是目前使用较 为普遍的一种基于运动信息的目标检测方法， 主要适用于摄像机静止条件下的运动目标 国防科学技术大学研究生院硕士学位论文 第 12 页 检测，该方法一般能够获得运动目标的完整轮廓，且算法速度快、便于实现，有利于其 在实时系统中的应用。背景差分的关键在于背景模型的建立，背景模型是背景差分法检 测运动目标的基础。背景模型可分为单模态和多模态两种。在单模态背景中，每个背景 点上的颜色分布比较集中，可以用单个概率分布模型来描述，而对于多模态背景点，颜 色分布

12、则比较分散，需要多个分布模型来共同描述。背景差分法的基本流程分为背景模 型建立、背景模型更新、背景差分及后处理等四个步骤。关于背景差分法进行运动目标 检测的具体算法，本文将在后面章节进行详细讨论。 2.3 运动目标跟踪 运动目标跟踪 运动目标跟踪所要解决的是前后帧目标的匹配问题，在提取出运动目标的特征之 后，根据这些特征对图像序列中的目标进行匹配、关联，从而得到各个不同运动目标的 完整运动轨迹。 运动目标跟踪是运动行为分析的关键步骤， 通过运动目标跟踪可以获得目标在各个 时刻的位置变化信息，因而可以为场景中运动目标的运动行为分析提供可靠的数据来 源，同时也为运动目标的分类、识别、融合等后续处理

13、工作提供了依据。 根据人体检测与识别部分获得的对象，人体跟踪可分为跟踪手、脸、头、腿等部分 的人体局部跟踪和跟踪全部人体的人体整体跟踪；根据跟踪时所采用的视角，人体跟踪 可分为采用单摄像机的单视角跟踪和采用多摄像机的多视角跟踪； 而根据所采用的不同 跟踪方法，人体跟踪可分为基于模型的跟踪、基于区域的跟踪、基于轮廓的跟踪以及基 于特征的跟踪18。 2.3.1 基于模型的跟踪方法 常用于人体跟踪的人体模型主要有三种，即线图(Stick Figure)、二维轮廓(2-D Contour)和立体模型(Volumetric Model)。 1) 线图线图(Stick Figure) 线图法的实质就是将人

14、体的运动简化为点线的运动。 最常用的就是根据人体的骨骼 来建立人体的运动模型，通过骨骼的运动来逼近人体的运动。如文献34利用建立的人 体运动学的分层模型，在单目视频序列中的进行人体跟踪。文献35则采用“星状骨骼 法”检测情景图像的外部边界点进而产生一个星形的骨架，通过骨架进行跟踪，可以简 单、实时地进行人体目标跟踪。 2) 二维轮廓二维轮廓(2-D Contour) 二维轮廓模型的实质就是人体三维模型在二维空间的投影36，文献37将人的肢体 国防科学技术大学研究生院硕士学位论文 第 13 页 用一组连接的平面区域块来表达，该区域块的参数化运动受关节运动的约束，该模型被 用于关节运动图像的分析；

15、Niyogi等38利用时空切片方法进行人的跟踪，首先观察由人 的下肢轨迹所产生的时空交织模式，然后在时空域中定位头的运动投影，接下来识别其 它关节的轨迹，最后利用这些关节轨迹勾画出一个行人的轮廓42。 3) 立体模型立体模型(Volumetric Model) 立体模型利用圆柱体、 球体等三维模型来描述人体的结构细节18， 如文献39利用椭 圆锥台建立三维人体模型， 通过在连续的图像帧间匹配三维人体模型的投影来获得人运 动的定量描述进而实现单目图像序列中人的跟踪，由于立体模型的构成通常较为复杂， 因此要求更多的计算参数，匹配过程中需要更大的计算量2。 2.3.2 基于区域的跟踪方法 首先应获取目标模板，然后利用相邻两帧的区域匹配来确定目标对应关系，对目标 进行定位跟踪。两幅图像之间的区域匹配，就是要找到对应特征量相关性最大时的位置 点，这个位置点就是目标在本帧中出现的位置40。 通常来说区域特征包括目标的质心、外界矩形框、区域面积、颜色及纹理等，传统 的区域匹配跟踪算法在图像上进行全局搜索，运算量较大，实时性较差。一种改进的方 法是使用预测算法缩小搜索范围。 由于基于区域特征的运动目标跟踪使用了运动目标整 个区域内的信息，因此更具鲁棒