《第十章 目标跟踪》由会员分享，可在线阅读，更多相关《第十章 目标跟踪（75页珍藏版）》请在金锄头文库上搜索。
1、第十章 成像目标检测与跟踪,C10 targets detection and tracking in Imaging system,电子科技大学 光电信息学院 二一三年04月27日,彭真明 E-mail:zmpeng pengzm_ioe,主要内容,光电跟踪系统概述 运动目标检测方法 成像目标跟踪方法 光电跟踪技术应用及发展,主要内容,光电跟踪系统概述 运动目标检测方法 成像目标跟踪方法 光电跟踪技术应用及发展,光电跟踪系统,一、光电跟踪系统概述,红外监控系统,一、光电跟踪系统概述,什么是成像（视频）目标跟踪？,成像目标跟踪是指对光电传感器摄取到的视频（序列）图像进行处理与分析，充分利用传感
2、器采集得到的信息来对目标进行跟踪、定位的过程。一旦目标被确定，就可获得目标的位置、速度、加速度、姿态等运动参数。,一、光电跟踪系统概述,技术现状(国际),一、光电跟踪系统概述,一、光电跟踪系统概述,技术现状(国际),一、光电跟踪系统概述,技术现状（国内）,研究所：中科院长春光机所、成都光电所、上海光机所，安徽光机所、上海技物所、中国工程物理研究院、兵器209所、中科院自动化所，沈阳自动化所等。,高 校：国防科大、西工大、哈工大、北理工、北航、华中科大、空军工程大、上交、西交、浙大、川大等。,自上世纪70年代，随着激光、红外与电视技术的成熟，CCD成像、图像识别、AO及各种跟踪算法发展等。靶场的
3、光学测量设备不仅在数量和质量上均有所增加和提高，而且出现了智能实时电视跟踪系统和各种型号的激光跟踪雷达。,一、光电跟踪系统概述,光电跟踪系统结构,一、光电跟踪系统概述,视频监控技术发展的三个阶段,当今社会信息的高度密集化、复杂化。人们所面临的突发、异常事件越来越多，传统的人力视频监控已经达不到实时处理突发事件的目的。,智能视频监视系统,目标检测和跟踪也是智能视频监控系统中的关键技术，分别处于整个系统的前期和中期处理阶段，为后期的高层视觉处理提供分析依据。,低层视觉处理,中层视觉处理,高层视觉处理,智能视频监视系统, 先检测后跟踪(DBT),目标检测与跟踪的关系,先检测出每帧中的运动目标，然后匹
4、配前后帧中的目标以实现轨迹关联。,t 时刻,t+1 时刻,首先建立描述目标的特征模型，在起始帧初始化后，不断在后续帧进行匹配搜索。,将目标的检测与跟踪相结合，利用跟踪结果来确定检测所要处理的区域范围；跟踪时，则利用检测来获得目标状态的观测。,(c),(b),(a),目标检测与跟踪的关系, 先跟踪后检测(TBD),主要内容,光电跟踪系统概述 运动目标检测方法 成像目标跟踪方法 光电跟踪技术应用及发展,静止背景下的运动目标检测 帧间差分法； 背景减除法（如背景建模）； 运动能量累积法（如动态规划）。 动态背景下的运动目标检测 光流法； 参数估计法：块匹配、贝叶斯估计、像素递归等； 带全局运动补偿的
5、算法。,二、运动目标检测方法,1、静止背景下的目标检测,二、运动目标检测方法,帧差分法：,实例：,二、运动目标检测方法,帧差分检测,2、运动背景下的运动检测：,光流法（Optic flow）,块匹配算法（Block matching）,二、运动目标检测方法,光流简介,光流（Optical Flow，OF）的概念是Gibson于1950年首先提出的。光流是空间运动物体在观测成像面上的像素运动的瞬时速度；光流场是指图像灰度模式的表面运动。,二、运动目标检测方法,Translation,Rotation,Scaling,二、运动目标检测方法,反映了在时间间隔dt内由于运动引起的图像变化，时间间隔足够
6、小，使得这种变化很小。 光流的直接目的就是确定一个速度场。3D运动的2D表示称为运动场(或速度场),即图像上的运动点将分配一个速度矢量(运动方向、速度大小)。,Optical Flow,光流简介,亮度恒定(Brightness Constancy),即同一物体点在不同时刻具有相同的亮度值。 运动光滑约束(velocity smoothness constraint) ，即图像平面上的邻近像素点都以相同的方式运动。,Optical Flow,光流2个基本假设,运动场(Motion Field)是图像平面上3D物体实际运动的投影(Projection)。 光流场是运动场的一个近似(Approxim
7、ation)。它描述了图像亮度随时间的变化。是相对观察者而言的，因此是一种相对变化，描述的也是一种相对运动。,Optical Flow,对光流的理解,A smooth sphere is rotating under constant illumination. Thus the optical flow field is zero, but the motion field is not.,A fixed sphere is illuminated by a moving sourcethe shading of the image changes. Thus the motion fiel
8、d is zero, but the optical flow field is not.,Optical Flow,亮度恒定假设:,Optical Flow: 1D Case,from 1D to 2D tracking,1D:,2D:,光流的求解,卢卡斯-卡拉德算法（Lukas-Kanade, Regularization）,霍恩-申克算法（Horn-Schunck, Least squares）,1Lucas and Kanade, “An iterative image registration technique with an application to stereo visio
9、n,” Proc. DARPA Image Understanding Workshop, pp. 121-130, 1981. 2Horn and Schunck, “Determining Optical Flow,” Artificial Intelligence, vol. 17, pp. 185-204, 1981.,二、运动目标检测方法,二、运动目标检测方法,Horn-Schunck方法 Lucas-Kanade方法,二、运动目标检测方法,光流的求解,（a）人体运动,（b）交通流,二、运动目标检测方法,光流的求解,Motion and Flow,Motion estimation
10、Patch-based motion (optic flow) Regularization and line processes Parametric (global) motion Layered motion models,块匹配算法简介,块运动估计与光流计算不同，它无需计算每一个像素的运动，而只是计算由若干像素组成的像素块的运动，对于许多图像分析和估计应用来说，块运动分析是一种很好的近似。如数字视频压缩国际标准MPEG1-2 采用了基于块的运动分析和补偿算法。,二、运动目标检测方法,匹配过程,目标帧,锁定帧,二、运动目标检测方法,块匹配算法的关键技术,匹配准则(Matching Cri
11、teria),搜索策略(Searching Strategy,匹配特征,二、运动目标检测方法,匹配准则,.均方差(Mean Square Error, MSE),.平均绝对差(Mean absolute discrepancy, MAD),二、运动目标检测方法,匹配准则,3.归一化互相关(Normalized Cross-correlation, NCC),4.最大像素匹配统计(Maximum Pixels counting，MPC),二、运动目标检测方法,搜索策略,全视场搜索(FS),对数搜索法,三步法搜索,菱形搜索法(Diamond Search ，DS),其他改进的搜索策略,二、运动目标
12、检测方法,2D 对数法搜索 Jain and Jain Examine central point & its four surroundings Distance from center: r/2 Find best match If best match is in center or on boundaries, half distance from center Examine five new points centering previous best When distance is 1, use all 9 matches, find best. Stop,1,1,1,1,1,
13、2,2,2,3,3,4,4,4,4,4,4,4,4,搜索策略,Three-Step Search (3SS) Koga et al 9 Points: Central point & its 8 surroundings Distance: r/2 Find the best match Use previous best as center Half distance, select 8 new Repeat algorithm 3 times Examines 25 points Assumes a uniform distribution of MVs,1,1,1,1,1,1,1,1,1
14、,2,3,2,2,2,2,2,2,2,3,3,3,3,3,3,3,搜索策略,匹配特征,图像灰度、颜色等信息,图像特征，如 角点、边缘、轮廓、区域等; 几何、纹理等; 方差、均值、信息熵等； 变换（谱）域特征等。,二、运动目标检测方法,主要内容,光电跟踪系统概述 运动目标检测方法 成像目标跟踪方法 光电跟踪技术应用及发展,四、成像目标跟踪技术,(a)质心表示，(b)特征点集表示，(c)矩形框表示，(d)椭圆框表示，(e)关节模型表示，(f) 轮廓表示，(g) 侧影表示，(h) 骨架模型表示,目标跟踪的表示,颜色直方图 忽略了目标的空间结构信息。 Snake轮廓模型 仅考虑目标的边界，在目标与背景
15、容易混淆 的情况下，目标模型通常容易退化。 局部特征模型 一组局部特征来表示，缺乏目标的全局 结构 信息，稳定性较弱，易受噪声、目标姿态以及光 照条件的影响。 2D/3D空间模型 模型参数估计的运算量很大，并且难以保证 模型的精度。,常见目标表示,波门跟踪； 边缘跟踪、峰值（对比度）跟踪等； 质心跟踪； 相关跟踪（模板匹配）； 多目标跟踪及编号维持； 轨迹预测和记忆跟踪算法（Kalman、粒子滤波等）； 基于模式识别及特征分类的目标跟踪 在线、离线学习的跟踪方法。,常见的目标跟踪方法,四、成像目标跟踪技术,矩心也叫质心或重心，是物体对某轴的静力矩作用中心。如果把目标图像看成是一块质量密度不均匀
16、的薄板，以图像上各像素点的灰度作为各点的质量密度。这样就可以借用矩心的定义式来计算目标图像的矩心。,x,y,a,b,c,d,xc,yc,三、目标跟踪方法,形 心,1质心跟踪,Template,Search image,由于目标运动、姿态发生改变、光照条件改变以及杂波背景的干扰，使得目标图像的分割提取十分困难，计算目标的矩心或形心不准确。在某种情况下，可以采用以图像匹配为基础的跟踪方法，习惯上称之为相关跟踪。,三、成像目标跟踪方法,2相关跟踪,状态空间模型：,系统方程：,观测方程：,状态向量,状态转移函数,过程噪声,观测向量,观测函数,观测函数,滤波,平滑,预测,三、成像目标跟踪方法,问题提出：,线性、高斯系统,卡尔曼滤波(KF),非线性、高斯系统,扩展卡尔曼滤波(EKF),无极卡尔曼滤波(UKF),非线性、非高斯系统,粒子滤波(PF),?,三、成像目标跟踪方法,粒
