《目标跟踪综述》由会员分享，可在线阅读，更多相关《目标跟踪综述（48页珍藏版）》请在金锄头文库上搜索。
1、目标跟踪综述Alper Yilmaz俄亥俄州立大学Omar Javed目标视频公司和Mubarak Shah中央佛罗里达大学 这篇文章的目的是回顾最先进的跟踪方法，对这些方法分类并探索新的发展趋势。一般来说，目标跟踪是一个颇具挑战性的问题。目标的不定向运动使跟踪目标变得困难，因为它改变了目标和场景的外观模式、非刚性目标的结构、目标之间及目标与场景间的遮照、照相机的运动。跟踪常应用于那些需要了解目标每帧的位置及形状的高级应用环境中。常用假设来约束特定应用环境中的跟踪问题。在此调查中，我们根据常用到的目标和运动表示法对跟踪方法分类，并提供每类中代表方法的详细描述，分析各类别的优缺点。此外，我们将讨
2、论与跟踪相关的重要问题，包括合适图像特征的使用,运动模型的选择和目标的检测。范畴和学科性质：I.4.8图像处理和计算机视觉：场景分析跟踪基本术语：算法另外的关键词句：外观模型，轮廓演变，特征选择，目标检测，目标表示法，点跟踪、形状跟踪ACM（Association for Computing Machinery美国计算机协会） 参考格式：Yilmaz, A., Javed, O., and Shah, M. 2006.目标跟踪调查。ACM 计算机研究38，4，文章13（2006.12）45页。数字目标标识(Digital Object Identifier)=10.1145/1177352.1
3、177355http:/doi.acm.org/10.1145/1177352.1177355此材料基于工作的部分基金来着美国政府。但材料中的任何意见、研究成果、结论或建议是作者自己的观点,并不代表美国政府的看法。作者地址：A. Yilmaz, CEEGS部门，俄亥俄州立大学；邮箱：yilmaz.15osu.edu；O. Javed, 目标视频公司，里斯顿，VA 20191;邮箱：; M. Shah, 电气工程与计算机科学学校，中央佛罗里达大学；邮箱：shahcs.ucf.edu允许免费电子或硬盘复制部分或全部此材料，将其为个人或教学所用，不能用于盈利或者直接的商业竞争。复印件须在第一页或屏幕
4、显示的初始显示此通知，并附上完整出处。由其他人拥有的此篇文章的版权必须得到尊重。有信誉的摘要是被允许的。在其他方面的复制、翻版、在服务器上的张贴、列表的重新分配、在其他作品中使用这篇文章的任何内容需要先经过特定允许或交付酬金。由美国纽约710套房宾夕法利亚大学2号广场ACM公司出版部授权，传真+1 (212) 869-0481，邮箱permissionsacm.org。_c 2006 ACM 0360-0300/2006/12-ART13 $5.00 DOI: 10.1145/1177352.1177355 http:/doi.acm.org/10.1145/1177352.1177355.1
5、.引言 在计算机视觉领域目标跟踪是一项重要的工作。随着高性能计算机的增多，物美价廉的摄影机的普及，对自动视频分析与日俱增的需求引起人们对目标跟踪算法的浓厚兴趣。视频分析有三个关键步骤：对特征运动目标的检测、跟踪每帧中的目标、分析目标的轨迹来识别它们的行为。因此，目标跟踪应用于以下相关工作中：基于运动的识别，即基于步法的人类识别，自动物体检测等；自动化监测，即监视一个场景以检测可疑行为或不太可能的事件；视频索引，即在自动注释或检索多媒体数据库视频；人机交互，即将姿势识别和眼睛注视的数据输入到计算机中等；交通监视，即实时收集交通数据用来指挥交通流动；车辆导航,即视频路径规划和避障能力。 跟踪可以简
6、单地定义为评估物体围绕一个场景运动时在图像平面中轨迹。换句话说，一个跟踪系统给同一个视频的不同帧中的跟踪目标分配相一致的标签。此外，根据跟踪的范围，跟踪系统也可以提供中心目标的信息，比如目标的方向、面积或形状。跟踪的目标可能很复杂，这是因为：根据二维图片预测三维世界引起信息丢失图片的噪音复杂的物体运动物体的非刚性和精密的性质部分或完整的物体遮挡复杂的物体形状场景照度的改变实时处理的需要 可以通过大大的约束物体的运动或外观来简化跟踪。例如，几乎所有的跟踪算法都假设物体的运动是平滑的，不会突变。还可以根据推理的信息将物体约束为匀速或等加速运动。利用先前物体的数量和大小或外观和形状的知识也可以简化问
7、题。 已有大量目标跟踪方法被提出。这些方法解决以下问题的方式有所不同：跟踪物体的哪些表现？应用哪些图片特征？怎样构造物体的运动、外观、形状模型？人们正在根据跟踪环境和跟踪信息的最后使用寻找这些问题的答案。为了回答不同情形下的这些问题，已有大量的跟踪方法被提出。这次调查的目标是将跟踪方法分成几大类，并且提供每类中代表方法的综合描述。我们力求让那些想学习跟踪器的某个特定应用的读者能根据他们自身需要找到最合适的跟踪算法。此外，我们的目标是探索跟踪领域的新趋势和思想，希望让读者能洞悉新跟踪方法的发展。 我们的调查重点是跟踪一般目标的方法，而不是跟踪特定的目标，例如，人体追踪是使用人类运动学作为实现基础
8、。利用清晰的物理模型对人进行跟踪的工作已经展开。这些模型在Aggarwal and Cai 1999, Gavrilla 1999, and Moeslund and Granum2001的调查中已被讨论和分类。然而，我们，包括一些目标跟踪的工作也适用于除精密的目标外的领域。我们采取自下而上的方法来描述问题，这些问题在建立目标跟踪时需要处理。第一个问题是定义一个合适的目标表示法。在第二部分，我们将描述常见的物体形状表示法，例如，点、简单的几何形状和物体轮廓、外观表示法。下一个问题是用以对跟踪器输入的图像特征选取。在第三部分，我们将讨论多种图像特征，如颜色、运动、边等，这些特征在目标跟踪中经常用
9、到。几乎所有的跟踪算法需要在第一帧或所有帧对目标经行检测。第四部分概括了检测场景中目标的一般策略。一个特定跟踪算法的合适性取决于目标的外观、形状、数量、目标和照相机的运动和光照条件。在第五部分，我们对现有的跟踪方法经行分类和描述，在每类结尾的总结部分介绍它们的优缺点。第六部分，讨论关于目标跟踪的重要问题。 第七部分跟踪研究的未来方向。最后，第八部分补充评论。2.目标的表示法 在一个跟踪情节中，目标可以被定义成任何便于进一步分析的东西。例如，海洋上的船只，玻璃缸里的鱼，公路上的车辆，空中的飞机，路上的行人，或者水中的气泡在特定的领域可能是一系列重要的跟踪目标。目标可以用它们的形状和外观表示。在这
10、部分，我们将首先描述跟踪常用到的目标形状表示法，然后描述节点形状和外观表示法。点。目标用一个点来表示，即形心(图 1(a) Veenman et al. 2001或者用一系列的点表示(图 1(b) Serby et al. 2004。一般情况下，点表示法适合于在图像中占据很小区域的跟踪目标。（见5.1部分）简单的几何形状。目标的形状用矩形、椭圆表示。（图1（c），（d）Comaniciu et al. 2003,等。通常用转化、仿射或投影（单应性）转换来构造这些表现形式的物体的运动模型（详见5.2部分）。尽管简单的几何形状更适合表示简单的刚性物体，他们也可以用来跟踪非刚性物体。物体的剪影和轮廓
11、。轮廓表示法定义了物体的边界（图1（g），（h）。轮廓的中间区域被称作物体的剪影（见图1（i）。骨架和轮廓表示法适合跟踪复杂的非刚性形状Yilmaz et al. 2004。 图.1物体表示法。（a）形心，（b）多点，（c）矩形块，（d）椭圆块，（e）有部分构成的多块，（f）物体骨架，（g）完整的物体轮廓，（h）物体轮廓的控制点，（i）物体剪影链状模型。链接目标由主体的各部分组成，这些部分通过节点连接在一起。例如，人体是一个有躯干的链接物体，腿、手、头、脚由节点链接在一起。各部分间的关系由运动学模型支配，例如，节点处的角度等。为了表示一个链状物体，可以用圆柱体或椭圆构造组成部分的模型，如图1（
12、e）。骨骼模型。目标的骨骼可以通过对物体剪影进行中间轴转换提取出来Ballard and Brown 1982, 第八章。这种模型通常作为识别目标的一种形状表示法Ali and Aggarwal 2001。骨骼表示法可以用来构造链状和刚性物体的模型（见图1（f）。有很多表示物体外观特征的方式。请注意在跟踪中形状表示法也可以与外观表示法相结合Cootes et al. 2001。在目标跟踪环境中一些常见的外观表示法有：物体外观的概率密度。物体外观的概率密度评估要不是参数形式的，如高斯分布Zhu and Yuille 1996和高斯分布的混合形式Paragios and Deriche 2002，
13、要不是非参数形式的，如密度评估窗体Elgammal et al. 2002或直方图Comaniciu et al. 2003。物体外观特征（颜色，纹理）的概率密度可以通过形状模型（椭圆或轮廓的内部区域）指定的图像区域计算出来。模板。模板由简单的几何形状或轮廓构成Fieguth and Terzopoulos 1997。模板的优势在于它可以同时包含空间和外观信息。但是模板只能编码从单一视角产生的目标目标的外观。因此模板只适合跟踪在跟踪过程中形态变化不是很大的目标。主动外观模型。主动外观模型对物体的形状和外观同时建模。物体的形状通常由一系列的标记定义。与轮廓表示法相似，标记可以附在物体的边界上或物
14、体内部。对每个标记而言，外观矢量是以颜色、纹理或者梯度大小的形式存储的。主动外观模型要求一个能从一系列样本中识别形状和相应外观的瞄准位，如主成分分析。多视角外观模型。这些模型可以对物体的不同视角编码。表示物体不同视角的一个方法是从给定的视角中产生一个子空间。子空间方法，如主成分分析（PCA）和无约束成分分析（ICA），已用于形状和外观表示法中。Mughadam and Pentland 1997; Black and Jepson 1998。 另一种获知物体的不同视角的方法是通过瞄准一系列的分级器，如支持矢量的机械Avidan 2001和贝叶斯网络Park and Aggarwal 2004。
15、多视角的外观模型局限性在于需要提前形成所有视口中的外观。通常目标表示法与跟踪算法有密切联系。一般根据应用领域选择目标表示法。对于在图像中显示非常小的跟踪目标适合用点表示法。例如，Veenman et al. 2001用点表示法跟踪移动的盘子序列中的种子。类似的，Shafique and Shah 2003用点表示法跟踪遥远的鸟群。形状近似矩形或椭圆的目标，简单几何形状表示法更合适。Comaniciu et al. 2003用椭圆形状表示法，并使用从椭圆区域计算出的颜色直方图来对外观建模。在1988年，Black和Jepson用特征向量表示外观。特征详细由矩形目标模板产生。有复杂形状的跟踪目标如人体，用轮廓或剪影表示法合适。Haritaoglu et al. 2000用在监视应用中用剪影进行目标跟踪。3.跟踪的特征选择 在跟踪中选择正确的特征非常重要。一个视觉特征最突出的属性是它的独特性，这样目标在特征空间才能容易被区分开来。特征的选择与目标表示法有密切联系。例如，在柱状图外观表示法中，颜色是一个特征。在基于轮廓的表示法中，目标边缘通常被当作特征。一般情况下，许多跟踪算法将这些特征结合起来使用。一般视觉特征的详细说明如下：颜色。一个物体的表面颜色主要受两个物理
