《在线学习中在不稳定跟踪时的健壮对象探测器》由会员分享，可在线阅读，更多相关《在线学习中在不稳定跟踪时的健壮对象探测器（8页珍藏版）》请在金锄头文库上搜索。
1、在线学习中在不稳定跟踪时的健壮对象探测器摘要：本文调查了在不受约束环境中未知物体的鲁棒性和长时间可视跟踪的问题。它必须处理断帧（frame-cuts）, 摄影机快速运动和对象部分/整体遮挡/消失。我们提出跟踪建模检测系统（TMD） ，密切集成了在线学习的自适应跟踪特定对象的探测器。从简单点击开始第一帧开始，TMD由一个自适应跟踪跟踪选定对象。轨迹由两个进程（增长和修剪事件）观察，两个进程在跟踪过程中对物体外观鲁棒建模和并建立对象的探测器,这两个事件都会制造错误，但通过删除可实现系统的稳定性。每当观察以前观察到的外观重新出现，学习器能重新初始化跟踪器。本文使用随机森林实现实时学习和归类。本文阐述
2、了TMD系统的演示和长时间稳定性，在具有挑战性的视频序列用不同的对象，如车、人与动物等对系统进行评估。1。简介在本文中，我们提出了一个方法，用最小的先验信息解决一个长期在线跟踪问题。 “长期”是指无限序列中可能包含断帧、摄影机快速运动和对象可能会暂时从现场消失。 “在线”的意思，是不利用未发生信息来跟踪且只处理过程镜头一次。 “最小先验信息”指示的对象没有提前知道，关于它的信息只是来自用户选择第一帧。标准跟踪方法11通常是认为帧到帧的跟踪假设没有完全遮挡和消失。这类方法侧重于速度、精度上或研发更可靠的方法来延长“终身”跟踪器5, 但不直接处理失败后的行为，因此不能直接用于在长期的跟踪问题。我们
3、把这些算法称为的短期跟踪。显然，长期跟踪问题的解决方式之一是需要一定的检测能力，经过一段时期后目标物体不在视域中或跟踪失败后，要能重新检测目标物体。跟踪检测的方法 9或集成一个跟踪和一个探测器1，17 能解决这个问题，但是检测器需要在跟踪开始前就设计或训练，所以不能用于物体不能提前知道的情况。这些监测器的训练需要大量的标记的训练集20，通过绘制图块生成训练集9 ，通过使用一些复杂的方法16，18 ，19 提取训练数据，但所有这些方法都严格分开的培训和测试阶段，这意味着外观变形作为模型的一部分，并没有在训练集中体现。外观变化问题能被自适应跟踪方法解决。这些方法根据基于模型的更新策略大致可以分成两
4、类：每帧更新策略是最常见的自适应跟踪器2，4，7，6，跟踪器被假设认为是能够正确执行，基于这假设，每次观测都更新对象模型，这种方法可以迅速适应的外观变化，但也可能导致跟踪加速失败；选择性更新策略认为跟踪器并不总是正确的，因此，仅仅如果跟踪器不远离模型13或新的未被标记的数据在半监督框架8中能被整合到模型中。在本文中，我们为长期的跟踪问题提出一种新的解决方法，此方法使用三个组成部分：跟踪、建模和检测系统（TMD） 。我们用基于 LK 方法11 的一种自适应短期跟踪器跟踪物体，在跟踪过程中，新外形是在基于两个事件窗口的无人监督方式建模。模型在所谓“增长事件”反复迭代中延伸，在修剪事件中精简。这两事
5、件被设计为互为纠正对方错误，这使得在跟踪器的短期建模必然失败。建模的结果是获得具有选择性修剪系统内存的模板，基于这种方式，系统在线建立物体探测器。检测器与短期跟踪器并行运行，当短期跟踪器失效了，能重新初始化短期跟踪器。检测器是随机森林方式，使用增量更新决策边界，能在运行时实时连续评估。 本文有以下贡献：1）制定一种新的方法系统（TMD） ，解决了长期的跟踪问题；2）引进一种基于两个错误删除事件的学习方法，它冲一个简单的采样来引导建模。3）设计了一个高效监测器结构，能实时学习/分类。4）新的局部有效的特征。5）介绍长期跟踪新的次序。在实验中，我们观察到 TMD 执行长期稳健的跟踪，不需要离线训练
6、，就能自动自适应的跟踪检测。此外，我们经验表明，随着时间的推移系统能单调的改善系统性能。本文的其余部分组织如下：小节 2 引入的 TMD的框架和事件；小节 3 讨论 TMD 的实施; 小节 4 首先比较了几种日益增长的事件，然后对标准和新的序列进行 TMD 的估价；TMD; 本文的意见包含在结论中。图 1 在线模型是在第一帧由选定的样本 X0 初始化。它是由“增长事件”扩张，而由“修剪事件”精简，慢慢地朝向未知对象的流形。2. TMD 系统框架在本节，我们提出我们的跟踪系统及其组成部分（见图 1 所示） ，设 Ft 和 Bt 为在 t 时刻的一图像和一物体包围盒。一个特征向量 xt 表示包围盒
7、 Bt 内的像素区，它编码了物体外观特征。连续的包围盒集合定义了在时间长度为 t+1 的轨迹 Tt=B0,B1,Bt，表示图像空间目标( 包围盒) 的轨迹。 表示相应的特征空间 U 的轨迹，ftT特征空间 U 存在于一个子空间 L*，L*表示所有可能的物体外观（流形） ，除了为跟踪而选择的一个图像片，这第一个采样的图像片代表在线模型在时间 t=0 为 . *0xL 0LxTMD 的组件交互方式如下：被选择物体被一个短期跟踪器跟踪，特征空间轨迹的分析是由两个进程执行，这两进程试图拓展或限制在线模型覆盖的特征空间。如果采样很可能包含感兴趣物体，则 Lt 就扩展，这些样本就定义为增长事件；如果采样认
8、为是错误的，则 Lt 定义为修剪事件。这两事件并行工作，目的是使*tL收敛（图 1 中，对应白色块状匹配灰色块状）建立 Lt 的主要目的是表示系统“记忆”和建立能连续更新和评估的物体探测器。它扫描每一个输入帧 Ft，输出一个包含在 Lt 中的外观包围盒集合，这些包围盒集表示由跟踪器返回可供选择假设的位置，该假设融合的执行方式是取得这样的位置，即最大限度地减少到 Lt 的距离。随之而来的是，如果跟踪器给定的图像块更接近Lt，检测器的错误反应不会影响到跟踪器，除非它们与在线模型的距离非常接近。到 Lt 的最小距离变为 TMD系统的负信心指数。基于这些信心指数，跟踪器决定物体是否可见或不可见。到目前
9、为止，我们介绍了观察不稳定跟踪器的事件，目的是学习对象外观。下面，我们特别详细说明他们如何工作的。对这个目的，我们区分 Lt 的两部分，正确部分*ctL，错误部分*etL，cetttL，cett，收敛表示部分对象外观已被非监督学习进程发现，即：收敛*()|/|cttconvergL；杂质表示 Lt 的小部分是不正确的，即：()|/|ctttimpuryL；操作符|.| 表示集合的大小。成长事件在 t 时刻，短期跟踪器生成一条轨迹 一个增长事件 P 首先选择轨迹上认为是正确的部分，01,.ft tTx. 在线模型 Lt 马上被更新，即 ，经过更新，如果 P 包含至少 L*中的一个样本，则在线模型
10、ftPTttLP的收敛得到增进。本文我们提出一新的增长事件，它是利用漂移的自适应跟踪器。这个策略在 3.2 部分讨论。修剪事件不可能制定一个只允许正确样板的样本选择策略。因此，Lt 的杂质会增加，既然我们的目的是使收敛 ，*tL能导致减少在线模型 Lt 杂质的事件就很重要了。如果以一定层次的杂质为特征赋予给线模型 Lt，那么一个裁剪事件 N 被定义为：裁剪事件认为在线模型的一个子集 N 是不正确的，并将其删除，即： 。1ttLN单独的增长事件会导致高杂质，产生低精度探测器；修剪事件以“负反馈”形式运行：模型的杂质越高，越多的负样本就被确定和移出模型。增长和修剪事件之间的动态交互在使 TMD 系
11、统稳定运行是非常重要的，我们在实验小节表明实证。3实施短期跟踪.我们的短期跟踪是基于（LK）方法11的基础上。首先，特征点的是从对象包围盒的矩形网格内采样。下一步，LK 跟踪点从一帧到另一帧，导致一个稀疏的运动域。 基于运动域，包围盒位移和尺寸变化，被有力估计参数分布的中介。在每一帧跟踪一个全新的特征点集，这使得跟踪器是非常的适应性。在线模型。在线模型表示为 15x15 的光强矢量化图像片，两图像片间的距离用矢量化互相关定义，即(矢量化互相关（解释) ：tan(,)1,ij ijdiscexNCx相关度越大，则 NCC 值就越大，而 1-NCC 就越小，距离就越近)；样本 到在线模型 Lt 的
12、距离定义为：i，基于图像片tan(,)mn(ta(,)itxLtidiscexdscex的模型提供互补性提高效率，但较不具歧视性的检测器特征在下面小节探讨。3.1。对象检测器建立快速可靠的检测器，能够把包含于在线模型的图像片本地化，并通过增长和修剪有效调整其决策边界。实时状态的对象探测器是基于经典的AdaBoost20的算法，需要大量的训练集和大计算量来训练。AdaBoost 方法不应用于在线跟踪设置中。已有的在线检测器7 能够有充分的训练，但其目的是适应新采样来而逐渐失去旧对象。在我们例子中，探测器不仅吸收新样本对象并在模型中保持，只要它们不被修剪事件删除。特征：我们的目标检测器基于新特征，
13、我们称之为 2BitBP。这些特征在某一范围内测量梯度方向，并对其量化，输出 4 个可能代码（见图 2 所示） 。2bitBP 由 LBP(Local Binary Patterns 14)启发，但不同于标准 LBP 编码的 3 x 3 像素区域， 它是代表一定区域内的编码分布，在这种意义上，2bitBP 类似于 harr-like 特征20, 多尺度测量采用积分图像，此外，2bitBP 输出是 4 个码，而标准 LBP 是 256 个码，256 个码增加阻力来过拟合了。顺序随机森林。每个图像的图像片都被一些本地 2bitBP 描述，这些本地 2bitBP 特征的位置、尺寸、长宽比是随机生成的
14、。这些特征随机分割成几个大小相同的组。每一组表示图像片外观的不同视图。各组反应代表一个离散矢量，将被称为一个“分支” 。在检测中使用的归类器有随机森林3的形式，它支持在线更新和连续评价。森林由树木组成， 树木是由特征小组构建，组中的每一个特征表示树的某层的一个测量（最后一句不懂） 。森林的增长和修剪是渐进式的，同一时间处理一个例子。在开始，每一个树包含一个被所选图像块定义的图2 本地2bit Binary Patterns，用于在我们的目标探测器。在对象边包围盒内，特征编码局部梯度方向。分支。随着增长事件选择的每个正样本，新的分支集合就加入森林；树的修剪对应着清除修剪事件选择的分支。通过一棵树
15、的对未知图像块进行评估是非常有效的。位于每棵树内的特征将被顺序测量。如果图像块到达树的最末端则认为是正样本，否则如果不同于定义的分支，则终止比较，并且图像块被认为是负样本。随机森林的自然顺序性能在大数据量位置进行评估。它不同于文献9,15, 文献9,15 执行固定数量的测量。它的输入数据被一个滑动窗口扫描，在每一个位置，每棵树输出一个决定：这潜在的图像块是否在模型中。最终的决定为大多数投票决定。一个主要的和随机树其它实现不同的是：训练只用正样本执行，而本文使用的负样本会直接影响训练。如果裁剪事件发现一个在检测为正样本是错误的，相应的分支就被去除掉。为了增加检测精度，我们进一步筛选出与在线模型不
16、相似的检测（交叉相关（cross-correlation）的测量，即 NCC） ，这个只为最有前途的图像片执行，因为它们中的大部分已经被随机森林拒绝了。随机森林的结构被一组序列以经验方式估计，目的是伴着在线执行的约束实现高召回。我们使用 8 颗树，每颗 10 特征，每个特征有 4 种可能，则对应着 410 个可能的叶子。3.2。事件本文提出的 TMD 框架没有特别说明增长/修剪事件，因为它们可以根据具体制定的任务来设计。本项工作中，我们使用能适应大范围自适应跟踪器和基于扫描窗口的检测器的事件。这些事件是基于相似度阈值 :在跟踪器轨迹上的两个图像块如果他们的距离小于 则被认为是相似的。增长事件。增长事件包括：从跟踪器的轨迹中选择适当的采样和模型更新。有三种策略被执行，并在文本系统框架内测试；它们均同步执行模型更新（如节“在线模式”和“顺序随机森林”的讨论） 。1. 对第一个图像块的绝对(ABS)距离。批准所有
