《视频跟踪技术》由会员分享，可在线阅读，更多相关《视频跟踪技术（28页珍藏版）》请在金锄头文库上搜索。
1、1.1视频跟踪概述 视频跟踪是近年来新兴的一个研究方向，它融合了计算机视觉，模式识 别， 人工智能等学科的技术，是一种应用前景非常广泛的技术。目前 主要存在有三大 应用课题。车辆跟踪【1】【21：车辆跟踪系统 能够报告交通堵塞、事故、危险或者驾驶者 的非法行为。交通堵塞报 告对驾驶者（可以相应调整驾驶计划）和决策者（能 够安排疏通被堵 塞道路）是非常有用的；事故报告用于紧急情况报警；如 果跟踪系统 能够识别车牌，能够使用危险和非法行为报告向车辆的使用者 发送传票。监视【311 41151 :监视系统报告人们正在做的事情，通常用 于针对那些做着本 不该做的事情的人。例如，警察可能希望知道哪些 观
2、众向球场中投掷瓶子， 或者几个银行被抢劫前是否有相同的人光顾 它们，海关系统准确地知道谁 在来往于国内和国外的机场。 人机交 互：人机交互系统利用人们的动作操作各种设备。例如，通过观察 人们的行为，起居室自己决定行为是否温柔的灯光和轻音乐是合适 的。当你挥手时，电视机自己改变频道。计算机观察你在白板上写下的 内容，并且在需要时将内容记录下来。 一个普通的视频跟踪系统常常包括以下几个环节：图像采集、视频图像 处理、 数据通信、传感器控制与伺服系统等。如图1.1所示 厂一一一一一1图1.1视频跟踪系统结构图像采集通过摄像机捕获监视场景的光学图像，采用视频卡和视频检测 技术，并经过A/D转换将视频信
3、号转换成数字图像序列，为视频图 像处理提供数据。新2两安电子科技大学硕士学位论文：视频跟踪技术研究型的固体摄像器件CCD、CMOS等逐渐成熟，由于其集成度高，空 间分辨率高， 而且结构简单，信噪比高，易于与计算机连接，价格便 宜等因素，在视频摄像机 中得到广泛应用。摄像头要能够灵活简便地 安装在全方位云台上，云台又安装在 云台支架上，所以应采用可自动 调节镜头参数的摄像镜头，自主调节镜头变焦和聚焦。传感器控制系统与伺服系统对传感器进行反馈控制，在主动视觉系统 中，驱 动云台使摄像机跟随被跟踪目标运动。数据通信则是完成视频 图像数据的传输和控制以及反馈信号的通信。 目前，国外的视频跟踪技术相对成
4、熟，已经有了一些雏形系统，比如卡内基梅隆大学领导的视频安全与控制（VSAM）1611 71研究 计划。根据这个计划，研究人员研 制了一个端到端的测试系统，集成 了很多高级视频安全监控技术，比如静止背景 和运动背景下的实时目 标探测与跟踪，普通目标（EL如人、轿车、卡车）的分类识另I，特 殊物体（比如校车等具有特殊标记的物体）的分类识别，目标姿势估计， 像机的自主控制，多摄像机协同跟踪，人体步法分析等等。 此外，马 里兰大学的实时监控系统】sJW，可以利用单摄像头对人体以及人体 的各 个部分进行实时地跟踪。所谓矿，是指who,When,Wh ere,Wha t,也就是说这个系统可以确定目标是谁，
5、什么时间、 什么地点，他在干什么。而IBM等大公司也在 资助这个领域内的相 关研究,期望能将研究成果应用到商业领域中。 视频跟踪算法主要可 以分为两个部分：目标检测算法和运动估计算法。 在目标检测算法方 面，最常用的方法是帧闻差分法，背景差分法，光流法等 等。帧间差 分法是基于视频中连续帧间运动目标的相关性，逐个象素地相减，背 景 象素被减掉，而保留目标象素。这种方法原理简单，易于实现，而且由 于相邻 帧的时间间隔比较小，所以光线变化对算法的影响不大。这种 方法的缺点是背景 不能有明显的变化，不然，差分之后，目标将会被 淹没在噪声之中；此外检测到 的目标的轮廓也不是非常精确。 背景差分法与帧间
6、差分法类似，只不过是用当前帧的图像与背景图像相 减。 这种方法与帧间差分法相比，在原理与编程复杂性相似的情况下， 提取的目标的 轮廓更加精确。但是在实际应用中，一幅完美的背景总 是很难得到的，因此在实 际使用时还要有更多的策略。在本文当中使 用了一种背景估计算法，在一段时间 内，分析多帧图像，建立一个对 背景图像的估计，实验证明，这种方法是非常有 效的。由于目标与背景通常有相对运动，因此也可以通过分析目标的运动特征 来检 测背景中的运动目标。其中最常用的算法是先估计运动场，然后 在运动场估计的 基础上进行目标检测。运动场是三维物体的运动在图 像平面的投影，但是我们可 以得到的是图像亮度随时间的
7、变化，也就 是所谓的光流场。光流场并不等同于运第一章绪论3动场，但是在很多情况下，可以用光流场近似运动场。但是这种方法的 个致命 缺点就是计算非常复杂，除非有特定的硬件支持，否则很难得 到实时的结果，因 此本文并没有过多地讨论这种方法。 视频跟踪算法 中另外一个重要的部分是运动估计算法，主要包括卡尔曼滤波， 粒子 滤波，以及各种改进的卡尔曼滤波和粒子滤波。 卡尔曼滤波是信号处 理领域常用的一种预测器，它是一个线性递归的滤波器， 是以最小均 方误差为准则的最优线性估计器。卡尔曼滤波根据前一个时刻的估计 值和当前时刻的观测数据来估计当前值，用状态方程和递推的方法进行 估计。卡 尔曼滤波的计算量小，
8、可以满足实时性的要求，而且估计的 结果是最优的。 但是卡尔曼滤波也有很大的局限性，它要求状态方程 必须是线性的，噪声必 须是高斯的。然而在实际应用中，严格来说， 所有的系统都是非线性的，因此对 于非线性滤波的研究是很有意义的。在非线性滤波领域内比较经典的一种算法是 扩展卡尔曼滤波(E1 (F),其基本思想是围绕状态估计值对非线性模型进行一阶Tay1 or展开，然后再应用卡尔曼滤波。除了EKF，牛律大学的科学 家Julier等人在1995年还提出了一种新的算法 uK lCUnscen ted Kalman FilteO,其核心 思想是通过一种非线性变换一一Unseen ted变 换来进行非线性模
9、型的状态与误差协方差的递推和更新。EKF和U KF都是递推滤波算法，其核心思想都是通过采用参数化的解析形式 对系统的非线性进行近似,而且都是基于高斯假设。而粒子滤波则在本 质上与这 两种算法完全不同，它以贝叶斯估计为基础，利用非参数化 的形式解决菲线性、非高斯问题。1 9 9 3年，英国科学家Gord on等人提出一种名为bootst rap滤波器101的数学方 法，该方法的核心是用一组随机样本来表示系统的状态向量在状态空间 内的分布，每个样本都会被赋予一个权值，这个权值用来表示状态向量 的后验概 率密度，权值越大则这个样本被证实的可能性越大。 粒子滤 波也存在一些亟待解决的问题，其中最普遍的
10、就是退化问题。所谓退 化(degeneracy)，是指经过若干次迭代之后，除了极少数粒 子之外，大多数粒子都 只有很小的权值。这种现象意味着大量的计算 工作都被用来更新那些后验概率极 低的粒子了。目前，解决这个问题 主要有两种方法：合理选择重要性概率密度函 数和重采样策略。早期的粒子滤波算法主要应用在方位目标跟踪(bearing.on ly t racking )中，1998年，英国牛滓大学的学者Mi chael Isard 和Andrew Blake 首先提出了将粒 子滤波应 用在视频目标跟踪中，他们提出一种名为Condensati on“I(cond iti onal propaga ti
11、 on) 的算法，可以有效地实现视频目标的半实时跟踪。 由于视频跟踪具有 广阔的发展前景，因此对视频跟踪的研究正在计算机视觉 等相关领域 内如火如荼地进行，各种算法如雨后春笋一般不断涌现。大家各有所 densi ty4西安电子科技大学硕士学位论文：视频跟踪技术研究 长，但是还没有一种算法可以在任意条件下都保持稳定的表现，还有很 多问题没 有得到完美地解决。1.2视频跟踪中的技术难点遮挡问题：光线亮度变化对跟踪的影响； 变化的背景，如摄像机的平移、旋 转、俯仰运动以及焦距的调整： 多目标跟踪的问题； 目标快速运 动时跟踪的稳定性问题； 图像数据融合的问题，主要在多摄像头跟 踪中； 强背景噪声问题
12、，比如背景中大片树叶的晃动，目标阴影的 存在； 跟踪的实时性问题。 以上就是视频跟踪中存在的主要问题， 现有的算法基本上都是在解决某几个 问题的时候还会引入其它的一些 问题。想要真正解决所有这些问题，还要靠广大 学者更多的研究与探 讨。1.3本文的工作与安捧 本文所做的主要工作有以下几个方面，在目标检测中，仔细研究了帧问 差分 法和背景差分法，并在基本算法上做出了一定的改进，最后给出实验结果。在运 动估计算法方面，主要讨论了卡尔曼滤波，扩展卡尔 曼滤波，基于贝叶斯推理和 蒙特卡罗方法的Sis粒予滤波以及各种 改进的粒子滤波。结合以上讨论，提出了 一种改进的视频目标跟踪方 法，以SIR粒子滤波为
13、跟踪框架，在计算粒子权值时，综合考虑了 目标的颜色信息和目标的运动信息，这样得到的离散粒子集合更加真 实地模拟了状态向量的后验概率分布，因而可以获得更加稳定、更加准 确的跟踪 效果。此外，还分析了阴影对于视频跟踪的影响，介绍了一 种基于HSI彩色空间 的阴影检测与消除算法。全文章节安排如下： 第一章绪论，介绍视频跟踪的研究现状与存在的 问题 第二章目标检测算法研究，介绍了常用的目标检测算法，并做出 改进，给出 了实验结果。第三章滤波理论综述，介绍了贝叶斯最优估计理论，蒙特卡罗方法，重 点讨 论了基于以上两种理论的粒子滤波及其改进算法。 第四章视频目 标跟踪，提出了一种改进的视频目标跟踪方法，以
14、粒子滤波为 第一章绪论5 框架，融合观测信息中的目标颜色信息与目标运动信息，使预测值更加 逼近真实 值。此外，本章还讨论了阴影检测与消除技术 第五章总结 与展望，对全文进行总结，展望未来的研究方向。硼安电子科技大学硕士学位论文：视频跟踪技术研究 第二章目标检测算法研究2.1引言目标检测是指将图像中有一定意义的目标从背景中分离出来。目标检测 是视频 跟踪中最基础的部分，如果目标能在每一帧图像中都被正确检 测出来，那么目标 跟踪就几乎已经完成了。但是目标检测要受到很多 未知因素的影响，要抑制这些 外部于扰，往往要付出牺牲实时性的代 价。因此设计一个性能良好的目标检测算 法是实现视频目标跟踪的关 键
15、。 从时间域和空间域来分，传统的目标检测算法大致可以分两类， 一类以空间特 性为准则，先用形态学滤波器或其它滤波器对图像做预 处理；然后对该图像的亮 度、色度或其它信息作空间上的分割以对区 域做边缘检测，之后做运动估计，并 合并相似的运动区域以得到最 终的提取结果。另一类算法主要以时间变化检测作 为准则，这类算法 主要通过帧间差分检测图像上的变化区域和不变区域，将运动 物体与 静止背景进行分割。 从利用信息的角度来分，大概可以分为利用运动 信息方法、利用密度信息方法、 利用时空亮度梯度信息方法以及综合 利用不同信息方法等几大类。利用运动信息 主要是通过首先计算运动 场，然后对场景分割，提取运动
16、目标，如光流算法。Neff等人【”1提出利用高阶统计方法将运动目标从静止背景分离出来的算法，该算 法主 要利用了密度信息，同时还考虑了运动背景的情况。Hotte f和Thoma等人【141提出了基于分层结构的自顶向下的运动法，其主要利用时空亮度梯度信息，通过对不 同的运动物体计算出不 同的运动参数来将不同的运动对象分割出来。通常情况下， 由于利用 单一信息不能得到满意的分割效果，因此，现在越来越多的研究开始利 用信息融合技术来将根据不同信息分割得到的结果进行融合，以得到较 好的分割效果。Pedersin等人1 151提出了同时利用运动 场和亮度信息的分割方法，由对象在三 维场景中的运动来产生相应二 维图像序列的一致性运动场。因为图像序列的某些 区域在时间轴上的 运动具有一致性，所以可将图像分割成具有一致运动的区域，由 此来 提取运动目标。 从自动程度上目标提取可分为自动提取和半自动提取 两
