《视频目标检测与跟踪算法综述》由会员分享，可在线阅读，更多相关《视频目标检测与跟踪算法综述（13页珍藏版）》请在金锄头文库上搜索。
1、视频目标检测与跟踪算法综述1、引言运动目标的检测与跟踪是机器视觉领域的核心课题之一， 目前被广泛应用在 视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的 运动 目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。2、视频监控图像的运动目标检测方法运动目标检测的目的是把运动目标从背景图像中分割出来。 运动目标的有效 分割对于目标分类、跟踪和行为理解等后期处理非常重要。 目前运动目标检测算 法的难点主要体现在背景的复杂性和目标的复杂性两方面。 背景的复杂性主要体 现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、 突 变性以及所提取目标的非单一性等
2、等。所有这些特点使得运动目标的检测成为一 项相 当困难的事情。目前常用的运动目标检测算法主要有光流法、 帧差法、背景 相减法，其中背景减除法是目前最常用的方法。2.1 帧差法帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动 目标，假设fk （x, y）和f（ k人（x, y）分别为图像序列中的第k帧和第k+1帧中象素点（x, y）2-1 ）的象素值,则这两帧图像的差值图像就如公式 2-1 所示：Diffk卅=|fk （x, y） 一 f（k卑）（x,y）2-1 式中差值不为 0的图像区域代表了由运动目标的运动所经过的区域（背景象 素值不 变）,又因为相邻视频帧间时间间隔很小,目
3、标位置变化也很小,所以运 动目标的运 动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程： 1、首先利用 2-1 式得到第k帧和第k+1帧的差值图像Diffk卅；2、对所得到的差值图像Diffk出二值化（如 式子 2-2 示）得到 Qk+1 ；3、为消除微小噪声的干扰,使得到的运动目标更准 确,对Qk 1进行必要的滤波和去噪处理,后处理结果为 Mk1。（T 为阈 值）(2-2)255,if,Diffk,x,y) TO,if ,Diffk1(x,y) T帧差流程图从结果看在简单背景下帧差法基本可检测到运动目标所在的位置， 而且计算 简单，复
4、杂度低。当图像采样间隔较小时， 帧差法对图像场景变化不敏感，这是 帧差法的优点，但同时目标部分漏检的可能性增大了，容易使检测到的目标出现 空洞 在实际应用中，由于帧差法的简易性，帧差法经常作为某些改进算法的基 础。2.2光流法光流的概念30,31是由Gibson在1950年首先提出的，光流理论在计算机 视 觉，三维运动分析中有着非常广泛的作用。外界物体由于运动在人的视网膜上 产生一 系列连续变化的信息，这些信息就如同是光的流一样不断从眼中流过，故此称之为光流。1981年Horn和Schunek创造性的将二维速度场和我们通常所说的图 像的灰度联系在一起，提出了光流约束方程，从而使得光流的计算有了
5、最 基本的方法。 随后光流法不断发展，按照理论基础分为：微分法，快匹配法，基 于能量的方法，基 于相位的方法，其中尤以微分法最为常用，该方法主要是基于 下面两种假设：1、强度不变假设，即在一组连续的二维图像序列中，某个 目标的运动轨迹 在各帧中对应的像素点具有相同的灰度值。2、全局平滑假设，即物体的运动矢量是局部平滑的或只有缓慢变化。特别 是刚 体运动，各相邻像素点具有相同的运动速度，即速度平滑。这时，光流矢量 梯度的模 值的平方应该最小，用x和y分量的拉普拉斯算子的平方和来表征光流场的平滑程度。假如给定一个图像上m点坐标为（x，y）,且它在t时刻的象素值为i（x, y,t）在t dt 时刻该
6、点运动到（x dy* dy），象素值为：l（x dx,y dy,t dt）则在强度xyxyt不变的假设下：公式2-3即为光流约束方程，将式2-3泰勒展开，并令dt趋于0,我们可以得到：（2-4）I xU I yVI t = 0xyt = 0其中 I x =I ；即为X，I y =I j ，It =I;， u =dx；dt，v =dy：dt，（u,v）ytxtyt像素点在图像平面运动产生的瞬时速度场也即光流场。 光流法的主要任务就是通过求解光流约束方程求出u、V,但是由于只有一个方程，并不能唯一确定u和V，这就用到了第二个假设，在该假设下就是要使得：E 二（I u l v h）2 a2（T2 0
7、）2（=）2 （B）2）d d 二 min（2-5）x y x y尸、r rCxCyCxCy其中a是个权重系数，一般取0.5，这样联合（2-4）式和（2-5）式即可得到：2 =nu1-n=u-IxIxun IyvntI . a22IxIyx x yxy1-nnnt222（ 3-6 ）1-nnnt222v 二 v-lylxuIyvI a Ix Iyy xy x y从推导的过程看，光流法的计算非常复杂，难于满足实时性的要求，且在目 标提取时对噪声很敏感，所以此算法还难以直接在实际中推广使用。 2.3背景减除法背景减除法是将视频帧与背景模型进行比较，通过判定灰度等特征的变化， 或用 直方图等统计信息
8、的变化来判断异常情况的发生和分割出运动目标。基于背景差的方法，概念非常清晰。该方法与帧差法相比，可以检测出短时 间静 止的目标，如短时间静止的车辆（长时间静止的车辆可以归为背景），且不受 车速快 慢的限制；与光流法相比，背景差法可以通过简化算法，降低计算量，满 足视频检测 的实时性要求。但随着研究的不断深人，算法的复杂性也在不断提高， 特别是对较复 杂场景下的前景（运动目标）检测，如针对光照变化场景下的目标 检测（室外的环境 光、室内的灯光等），针对含有高噪声场景区域的目标检测（场景 中含有树木、水面、 旗帜等物体的反复运动），针对场景频繁发生改变（车辆停止、 背景中物体搬动等） 情况下的目标
9、检测等问题，使得算法的复杂性大大提高。用背景减除法进行运动目标检测的主要过程 包括预处理、背景建模、前景检 测和 运动区域后处理 等。背景建模是背景减除法的核心环节，目前主要方法有： 基于背景 的时间差分法、中值滤波法、 W4 方法、线性预测法、非参数模型法（又 称内核密度 估计法）、混合Gauss法、隐马尔科夫模型法（HMM）、本征法、基于均值替换的 背景估计法、码本方法等。目前用无参的核密度估计方法对复杂场景的背景建模正成为背景差方法研 究的热 点，该方法特别针对具有微小重复运动的场合， 如含有摇动的树叶、晃动 的灌木丛、 旋转的风扇、海面波涛、雨雪天气、光线反射等运动的场合。由于基 于无
10、参的核密度 估计的背景建模是对一段视频的统计分析，在对视频图像中的背景进行建模时，计算量很大，这势必会影响算法的实时性，因此需要在提高背景 建模 的速度与准确率上做大量的研究工作，同时改进模型的适应性。另外，背景 更新策略 方面，如何判断是否需要更新背景模型，如何及时的更新背景模型都是 现阶段困扰研 究人员的问题。基于无参方法的背景差法主要分为四个步骤：1、利用无参法对背景进行建模，2、核函数带宽选择，3.对背景模型进行更新，4、 运动 目标的提取。对于以上三种运动目标的检测方法，帧差法实现最为简单，但目标提取效果 较差， 该方法通常可以作为某种改进算法的基础。 光流法相对准确，但计算复杂，
11、实时性很 差，且对多目标提取困难。背景差法可以较好的提取目标轮廓， 但该方 法涉及对背景 的建模，建模过程比较复杂。这些早期提出的移动目标检测方法大都单独地处理各个像素的灰度值或颜 色而没 有考虑较大尺度上的特征， 故可称它们为基于像素的方法。典型的方法包 括均值-阈 限方法、高斯混合模型、非参数模型等。由于这些方法没有充分利用 局部像素之间的 关系信息，很多有效的图像特征无法得到表示，从而导致移动目 标检测精度及效度都 受到影响。后期大量的检测方法都不同程度地利用了局部区 域层次的信息，称为基于 区域的方法。典型的基于区域的方法包括纹理方法直方 图方法等。针对移动目标检测的各种像素级、区域级
12、特征不断被提出，它们各有各的优缺点。 如何能够设计一种特征将这些特征统一地结合在一起，从而充分利用各自的优势显得非常有意义。 一种简单的思路是用几种特征组成特征向量，并利用 该向量作为各个像素的特征：fk=x, y, LBP（x,力儿区 y）|,|ly（x, y）|,3、视频目标跟踪算法运动目标跟踪是在目标检测的基础上，对检测到的目标进行有效跟踪。目前, 在视 频监控、 人机交互及某些高级的视频系统中， 对感兴趣目标的跟踪是其中必 不可少 的重要环节，它为后面更高级的视觉应用提供有价值的信息。通常影响跟踪的因素主要有四个： 目标模板的表示， 候选目标的表示， 相似 度 的衡量和搜索的策略。衡量
13、跟踪算法优劣的条件有两个， 即实时性和鲁棒性， 所以一个好的跟踪算 法 应满足：1. 实时性好：算法要费时少，至少要比视频采集系统的采集速率快，否则 将无法 实现对目标的正常跟踪。 如果跟踪系统还涉及到其他的图像处理环节， 那 么就要预 留较多的时间给图像处理部分，所以实时性至关重要。2. 鲁棒性强：实际的观测环境，图像的背景可能很复杂。光照、图像噪音 及随时 可能出现的目标遮挡， 均使目标的跟踪变得非常困难。 因此算法的鲁棒性 对跟踪效 果的好坏起着重要的作用。以上提到的两条很难在系统中同时得以满足， 往往需要某种折中， 以期得到 较 好的综合性能。 通常运动目标的跟踪可以分为运动目标检测、
14、 运动目标的特征 选取 和目标的后续跟踪三个阶段。 由此可见跟踪算法远比单纯的目标检测算法复 杂的多。根据被跟踪目标信息使用情况的不同， 可将视觉跟踪算法分为： 基于对比度 分 析的目标跟踪、 基于匹配的目标跟踪和基于运动检测的目标跟踪。 基于对比度 分析 的跟踪算法主要利用目标和背景的对比度差异， 实现目标的检测和跟踪。 基 于匹配 的跟踪主要通过前后帧之间的特征匹配实现目标的定位。 基于运动检测的 跟踪主要根 据目标运动和背景运动之间的差异实现目标的检测和跟踪。 前两类方 法都是对单帧图 像进行处理。 基于匹配的跟踪方法需要在帧与帧之间传递目标信 息。对比度跟踪不需 要在帧与帧之间传递目标
15、信息。 基于运动检测的跟踪需要对 多帧图像进行处理。 除 此之外，还有一些算法不易归类到以上 3类，如多目标跟 踪算法或其他一些综合算法。 3.1 基于对比度分析的目标跟踪算法 基于对比度分析的目标跟踪算法利用目 标与背景在对比度上的差异来提取、 识别和跟踪目标。 这类算法按照跟踪参考点的不 同可以分为边缘跟踪、 形心跟踪 和质心跟踪等。 这类算法不适合复杂背景中的目标 跟踪， 但在空中背景下的目标 跟踪中非常有效。边缘跟踪的优点是脱靶量计算简单、响应快，在某些场合 （如 要求跟踪目标的左上角或右下角等 ）有其独到之处。缺点是跟踪点易受干扰，跟 踪随 机误差大。 重心跟踪算法计算简便， 精度较高， 但容易受到目标的剧烈运动 或目标 被遮挡的影响。 重心的计算不需要清楚的轮廓 在均匀背景下可以对整个 跟踪窗口 进行计算， 不影响测量精度。 重心跟踪特别适合背景均匀、 对比度小的 弱小目标跟 踪等一些特殊场合。 图像二值化后， 按重心公式计算出的是目标图像 的形心。一般 来说形心与重心略有差别。3.2 基于匹配的目标跟踪算法3.2.1特征匹配特征是目标可区别与其他事物的属性， 具有可区分性、 可靠性、 独立性和稀 疏 性。基于匹配的目标跟踪算法需要提取目标的特征， 并在每一帧中寻找该特征。 寻找 的过
