目标跟踪算法综述

《目标跟踪算法综述》由会员分享，可在线阅读，更多相关《目标跟踪算法综述（5页珍藏版）》请在金锄头文库上搜索。

1、目标跟踪算法综述大连理工大学卢湖川、引言屈关迎液粒子滤锻和更件统特押_小一运动模型一特征提収一外观模型模型更新一目标定位图1目标跟踪算法流程图目标跟踪是计算机视觉领域的一个重 要问题，在运动分析、视频压缩、行为识 别、视频监控、智能交通和机器人导航等 很多研究方向上都有着广泛的应用。目标 跟踪的主要任务是给定目标物体在第一帧 视频图像中的位置，通过外观模型和运动 模型估计目标在接下来的视频图像中的状 态。如图1所示。目标跟踪主要可以分为5 部分，分别是运动模型、特征提取、夕卜观 模型、目标定位和模型更新。运动模型可 以依据上一帧目标的位置来预测在当前帧 目标可能出现的区域，现在大部分算法采 用

2、的是粒子滤波或相关滤波的方法来建模 目标运动。随后，提取粒子图像块特征， 利用夕卜观模型来验证运动模型预测的区域 是被跟踪目标的可能性，进行目标定位。 由于跟踪物体先验信息的缺乏，需要在跟 踪过程中实时进行模型更新，使得跟踪器 能够适应目标外观和环境的变化。尽管在 线目标跟踪的研究在过去几十年里有很大 进展，但是由被跟踪目标外观及周围环境 变化带来的困难使得设计一个鲁棒的在线 跟踪算法仍然是一个富有挑战性的课题。 本文将对最近几年本领域相关算法进行综 述。二、目标跟踪研究现状1. 基于相关滤波的目标跟踪算法在相关滤波目标跟踪算法出现之前， 大部分目标跟踪算法采用粒子滤波框架来 进行目标跟踪，粒

3、子数量往往成为限制算法速度的一个重要原因。相关滤波提出了 一种新颖的循环采样方法，并利用循环样 本构建循环矩阵。利用循环矩阵时域频域 转换的特殊性质，将运算转换到频域内进 行计算，大大加快的分类器的训练。同时， 在目标检测阶段，分类器可以同时得到所 有循环样本得分组成的响应图像，根据最 大值位置进行目标定位。相关滤波用于目 标跟踪最早是在MOSSE算法1中提出的。 发展至今，很多基于相关滤波的改进工作 在目标跟踪领域已经取得很多可喜的成 果。1.1. 特征部分改进MOSSE1算法及在此基础上引入循 环矩阵快速计算的CSK2算法均采用简单 灰度特征，这种特征很容易受到外界环境 的干扰，导致跟踪不

4、准确。为了提升算法 性能，CN算法对特征部分进行了优化， 提出CN ( Color Name )空间，该空间通道 数为11 (包括黑、蓝、棕、灰、绿、橙、 粉、紫、红、白和黄)，颜色空间的引入大 大提升了算法的精度。与此类似，KCF算法采用方向梯度 直方图(HOG )特征与相关滤波算法结合， 同时提出一种将多通道特征融入相关滤波 的方法。这种特征对于可以提取物体的边 缘信息，对于光照和颜色变化等比较鲁棒。方向梯度直方图(HOG )特征对于运 动模糊、光照变化及颜色变化等鲁棒性良 好，但对于形变的鲁棒性较差；颜色特征 对于形变鲁棒性较好，但对于光照变化不 够鲁棒。STAPLE算法5将两种特征进行

5、 有效地结合，使用方向直方图特征得到相 关滤波的响应图，使用颜色直方图得到的 统计得分，两者融合得到最后的响应图像 并估计目标位置，提高了跟踪算法的准确 度，但也使得计算稍微复杂了一些。深度特征能够有效地建模物体语义信 息，对于物体外观及周围环境变化具有很 好的适应能力。Ma等人提出HCFT算法， 将深度特征与相关滤波算法相结合，取得 了很好的效果。算法指出深度神经网络不 同层的特征具有不同的特点，浅层特征包 含更多的位置信息，但语义信息不明显； 深层特征包含更多的语义信息，抗干扰能 力较强，但位置信息弱化。如图2,算法利 用VGG网络的三层输出特征分别训练三 个相关滤波器，将得到的响应图按权

6、重相 加进行最终定位。1.2. 引入尺度估计尺度变化是目标跟踪中一个比较常见 的问题。SAMF和DSST8算法在KCF4 的基础上引入了尺度估计。前者使用7个 比较粗的尺度，使用平移滤波器在多尺度 图像块上进行检测，选取响应值最大处所 对应的平移位置和目标尺度；后者分别训 练平移滤波器和尺度滤波器，使用33个比 较精细的尺度，先用平移滤波器进行位置 估计，然后在该位置处使用尺度滤波器进 行尺度估计。这两种尺度估计的算法也是 后来算法中经常使用的两种方法。1.3. 基于分块算法此外，跟踪过程中的物体通常用一个 矩形框选取，由于跟踪的物体一般不为矩 形，目标图像块不可避免地弓I入背景信息， 导致跟

7、踪不准确。为解决这一问题，可以 采用分割算法或关键点算法来表示目标。 基于分割的物体表示虽然可以很好地表示 目标形状，但计算量过大，会影响跟踪算 法的速度；而基于关键点的目标表示难以 获取跟踪目标的整体特征，也不是一个很 好的方法。为解决这一问题，Li9等人提 出选取有效局部图像块来表示物体结构， 利用每个局部图像块的响应图像来计算其 置信度，这些响应图像按一定方法组合之 后可以大致表示出图中物体的形状。算法图2 HCFT算法流程图采用霍夫投票的方法融合多个响应图像， 估计目标位置和尺度。1.4. 边界效应改进边界效应也是影响滤波器性能提升的 一个主要问题。在训练阶段，由于密集样 本是经过中心

8、图像块循环移位得到的，只 有中心样本是准确的，其他的样本都会存 在位移边界，导致训练的分类器在物体快 速移动时不能准确地跟踪。大部分算法的 解决方案是在图像上加上余弦窗，弱化图 像边界对于结果的影响，这样只要保证移 位后图像中心部分是合理的就可以。虽然 增加了合理样本的数量，但仍不能保证所 有训练样本的有效性；另外，加入余弦窗 也会使得跟踪器屏蔽了背景信息，只接受 部分有效信息，降低了分类器的判别能力。为了克服边界效应，SRDCF10采用 大的检测区域，并且在滤波器系数上加入 权重约束，越靠近边缘权重越大，越靠近 中心权重越小，这样可以使得滤波器系数 主要集中在中心区域。由于滤波器在整个 搜索

9、区域内移动来检测图像块的相关性， 因此在克服边界效应的同时不会忽略边缘 物体的检测。2. 基于深度学习的目标跟踪算法2.1. 基于判别模型的算法基于判别模型的深度学习算法的出发 点是训练分类器用来区分前景和背景。分 类器性能的好坏决定了跟踪器的性能。深 度学习最早应用于目标跟踪领域的DLT12 算法就是基于判别模型实现的。先使用4 个堆叠的栈式降噪自编码器在大规模自然 图像数据集上进行无监督训练获得物体表 征能力，然后在解码器后面加入分类层用 于目标和背景图像块。由于训练数据不足， 网络并没有获得很好的表征能力，算法精 度不高，但是它提出的离线预训练+在线 微调的方法为深度学习在目标跟踪中的

10、应用提供了一个可行的方向，之后很多算 法都采用这种方法来进行目标跟踪。近几年来，随着大规模图像分类比赛 的流行，很多典型卷积网络被应用到图像 处理领域，也出现了很多基于这些网络的 目标跟踪算法。2015年，王立君等人提出 的FCNT13算法就利用了 VGG-16网络。 算法提出深度神经网络不同层的特征具有 不同的特点，浅层特征含有较多位置信息， 深层特征含有更多语义信息，而且深度特 征存在大量冗余。因此，算法针对Conv4-3 和Conv5-3两层输出的特征图谱，训练特 征选择网络分别提取有效的特征，然后将 选好的特征输送到各自的定位网络中得到 热力图，综合两个热力图得到最终的热力 图用于目标

11、定位。算法利用不同层特征相 互补充，达到有效抑制跟踪器漂移，同时 对目标本身形变更加鲁棒的效果。为了扩展CNN在目标跟踪领域的能 力，需要大量的训练数据，但这在目标跟踪中是很难做到的。MDNet14算法提出了种解决该问题的思路。算法采用VGG-M 快。作为网络初始化模型，后接多个全连接层 用作分类器。训练时，每一个跟踪视频对 应一个全连接层，学习普遍的特征表示用 来跟踪。跟踪时，去掉训练时的全连接层使用第一帧样本初始化一个全连接层，新 的全连接层在跟踪的过程中继续微调，来 适应新的目标变化。这种方法使得特征更 适合于目标跟踪，效果大大提升。由此可 以看出，通过视频训练的网络更适合目标 跟踪这一

12、任务。2.1. 基于生成模型的算法基于生成模型的深度目标跟踪算法主 要通过神经网络来学习模板与候选样本之 间的相似程度。除了与传统的相关滤波算 法结合之外，大部分算法都采用粒子滤波 框架。基于粒子滤波框架的深度学习算法， 由于需要提取多个图像块的深度特征，算 法速度难以达到实时性要求。为提升算法速度，David Held等人提 出G0TURN15算法，如图3所示，将上 一帧的目标和当前帧的搜索区域同时经过 CNN的卷积层，级联特征输出通过全连接 层，回归当前帧目标的位置，由于没有模 板更新，算法速度可达每秒100多帧。与 此类似，YCNN16算法构建孪生网络输出 目标概率图，得到目标状态。这种

13、基于模 板匹配的目标跟踪算法，用一条支路保存 模板信息，为目标跟踪提供先验信息，取代了全连接层在线更新，算法速度一般较三、目标跟踪的最新研究进展1）强化学习成功应用近几年，强化学习方法受到广泛关注作为一种介于半监督与无监督之间的训练方法，非常适用于目标跟踪这个缺乏训练 样本的领域。ADNet17算法是强化学习在 目标跟踪领域的一个成功应用。算法通过 强化学习得到一个智能体来预测目标框的 移动方位及尺度变化，在当前帧中，以前 一帧的目标位置为初始点，经过多次方位 估计、位移和尺度变化，得到最后的目标 位置。与此不同，算法18利用策略学习得 到智能体用于模板选择。无监督或弱监督 学习是目标跟踪领域

14、的一个新兴方向，具 有巨大的潜力。2）速度方面有效改进虽然深度特征具有传统特征无法比拟 的抗干扰能力，但是一般提取速度较慢， 而且特征中存在大量冗余。当算法精度达 到一定标准之后，很多方法开始着力解决 算法速度问题。孪生网络19 是其中的一个 典型例子，采用两路神经网络分别输入目 标模板和搜索图像块，用来进行模板匹配 或候选样本分类。其中一路神经网络对于 模板信息的保存可以提供跟踪物体先验信 息，取代网络在线更新，大大节省了速度。 另外，对深度特征进行降维或自适应选择 也是加速算法的有效途径。3）传统跟踪算法的网络化深度学习方法具有优秀的特征建模能 力，相关滤波算法利用循环矩阵的性质进 行计算

15、，速度很快。很多算法着眼于将相 关滤波的思路应用到网络中去。CFNet20 算法将滤波器系数转换为神经网络的一 层，推导出前向与后向传播的公式，实现 了网络的端到端训练，算法速度可达每秒 几十帧，满足了实时性的要求。传统算法发 展至今，有很多可以借鉴的巧妙方法，如 果能将其应用到神经网络中去，将对算法 效果有较大的提升。四、未来发展方向目标跟踪的未来发展方向可总结为下 面三个方面：1）无监督或弱监督方向。限制深度目 标跟踪算法发展的一个主要原因是训练样 本的缺乏，没有像图像分类任务那样的大 规模训练样本，而且在线跟踪时只能给定 第一帧的信息，难以训练一个适合当前跟 踪物体的网络模型。近几年来，

16、无监督或 弱监督方法受到人们的广泛关注。也有一 些算法开始尝试将强化学习应用到目标跟 踪领域。对抗网络可以生成迷惑机器的负 样本增强分类器判别能力。这些无监督和 弱监督的方法可以有效地解决目标跟踪领 域样本不足的问题。2）速度改进方向。速度是评价在线目 标跟踪算法的一个重要指标。由于深度神 经网络复杂的计算及模型更新时繁琐的系 数，现存大部分深度目标跟踪算法速度都 比较慢。很多深度目标跟踪算法采用小型 神经网络（如VGG-M ）来提特征。另外， 跟踪中只给定第一帧目标位置，缺少跟踪 物体先验信息，这就要求模型实时更新来 确保跟踪精度，而这在深度目标跟踪算法 中往往非常耗时。一些算法采用孪生网络 结构来保存先验信息，代替模型在线更新， 使得算法速度得以提咼。深度特征的咼维 度也会影响跟踪算