《运动表述-RobotVisionGroup》由会员分享，可在线阅读，更多相关《运动表述-RobotVisionGroup（81页珍藏版）》请在金锄头文库上搜索。
1、运动表述 董秋雷 中国科学院自动化研究所 运动表述 运动分析框图 运动检测运动检测 目标分类目标分类 跟踪跟踪 识别与理解识别与理解 运动表述运动表述 运动表述 什么是运动表述(Motion representation)？ 刻画运动前景的运动模式。 运动检测的重要性，为什么要进行运动表述： 是运动分析中的中间步骤，是行为理解等高层部 分的基础。 运动表述 常规的运动表述方法： 运动轨迹； 时空图表述； 光流。 运动轨迹 运动轨迹：通过物体跟踪，可以得到物体特征 点的轨迹。 能否正确表述物体运动状态的关键： 特征点的选取； 轨迹的描述。 人的运动 车辆的运动 运动轨迹 特征点： 前景的质心、
2、最高点、最低点等； 最小包围框的中心等； 其它图象关键点。 最小包围框 手的质心 头和脚的特征点 运动前景 运动轨迹 怎样通过特征点集合描述运动轨迹？ 1. 直接按照时间顺序连接相邻帧之间的特征 点。 2. 将特征点集合拟合成不同的多项式曲线。 3. 其它方法（如主曲线）。 运动轨迹 1. 直接按照时间顺序连接相邻帧之间的特征点。 运动轨迹 将视频序列中双手和头的质心分别拟合得到的二次曲线 运动轨迹 3. 主曲线1,2： 一条空间曲线，从数据的中部光滑地通过，且不 限制于对数据的光滑线性平均，甚至不限制于数据的 中部是直线，只使得数据点集合到该曲线的正交距离 最小 。 第一主成分线 主曲线 将
3、视频序列中双手和头的质心 分别拟合得到的二次曲线 一段视频序列中特征点集的主曲线 运动轨迹 运动轨迹的应用场合： 交通监控，表述车辆、行人行动路线； 动作、手势识别，表述运动物体或肢体局部的简单 运动。 人机接口。 运动轨迹的不足： 只能粗略地表述物体全局的运动信息； 无法描述运动细节； 没有有效地体现时间信息。 运动检测 常规的运动表述方法： 运动轨迹； 时空图表述； 光流表述。 时空图表述 原理：将图像序列的前景运动信息和时间 信息用一张图表述出来。 运动能量图（Motion Energy ImageMEI）3 运动历史图（Motion History ImageMHI）3 其它“运动图”
4、。 运动能量图 时间方向 四个对应不同动作的MEI 运动历史图 三个对应不同动作的MHI 可见，在运动历 史图上，越接近 当前帧的运动像 素越明亮。 视频demo MHI 时空图表述 主要应用场合： 行为、动作、手势识别； 人机接口。 优点： 较好地包含了全局运动、形状、时间信息。 不足之处： 缺少局部运动信息，不动有效地区分局部变化的动 作； 不动有效地区分速度的变化。 运动检测 常规的运动表述方法： 运动轨迹； 时空图表述； 光流表述。 光流表述 前提：计算出运动前景的光流。 光流表述： 直接将光流信息作为运动表述。 对光流矢量作进一步处理得到很具区分能力的表述4。 视频帧 光流表述 光流
5、表述的优点： 同时包含了前景局部运动信息和形状信息，不易受 运动物体外表的干扰。 可以应用在较复杂的行为识别等方面。 光流表述的不足： 缺少时间信息； 计算量比较大； 存在较大噪声。 小节 1. 本小节介绍了几种常规的运动表述方法： 运动轨迹：应用在交通监控、简单的动作和手势 识别、人机接口等方面； 时空图表述：应用在人机接口、简单的行为、动 作和手势识别等方面； 光流表述：较复杂的行为识别等方面。 2. 相关的其它大量方法可以登陆下面网站： http:/ 小节 3. 选择运动表述的原则：具体场景具体分析。 4. 通常情况下，有效的运动表述应具备的特征 是：尽可能多的包含有区分能力的信息，包
6、括 局部运动信息； 全局运动信息； 时间信息； 形状信息等。 参考文献 1.1.A. F. Bobick and A. D. Wilson, A. F. Bobick and A. D. Wilson, “A stateA state- -based technique to based technique to the representation and recognition of gesture,the representation and recognition of gesture,” PAMI, vol. PAMI, vol. 19, pp. 132519, pp. 1325-
7、-1337, 1997.1337, 1997. 2.2.T. Hastie and W. Stuetzle, “Principal curves“, Journal of T. Hastie and W. Stuetzle, “Principal curves“, Journal of the American Statistical Association, vol. 84, no. 406, pp. the American Statistical Association, vol. 84, no. 406, pp. 502502- -516, 1989. 516, 1989. 3.3.A
8、. Bobick and J. Davis, The Representation and Recognition A. Bobick and J. Davis, The Representation and Recognition of Action Using Temporal Templates, PAMI, Vol. 23, No. 3, of Action Using Temporal Templates, PAMI, Vol. 23, No. 3, pp.257pp.257- -267, 2001.267, 2001. 4.4.A. Efros, A. Berg, G. Mori,
9、 J. Malik, “Recognizing Action at A. Efros, A. Berg, G. Mori, J. Malik, “Recognizing Action at a Distance,“,a Distance,“, ICCV , vol. 2, pp. 726ICCV , vol. 2, pp. 726- -733, 2003. 733, 2003. 行为识别 运动跟踪 行为识别 运动分析的一般流程 运动检测 目标分类 跟踪 识别与理解 运动表述 人的行为分析 (Human Action Analysis) 人的行为分析主要任务是利用计算机视觉技术对视频序 列中出现
10、的运动中的人进行检测、跟踪，识别其行为并 对其行为进行理解与描述。 人的行为分析有很多应用领域，比如：智能视觉监控、 人机交互、增强现实等。 人的行为分析难点 人的行为的多样性： 个体行为 人与人之间的交互行为 人和物体之间的交互行为 遮挡（人-人；人-物体）情况复杂； 人由于穿着的宽松衣物，阴影以及光照变化等因素的影响 人运动的特殊性 运动的类型： 刚体运动 vs 非刚体运动 人的运动属于非刚体运动中的一个子类： Articulated motion:人体各个部位的运动是刚体 运动；而人整体的运动是非刚体运动； 行为识别 匹配时变数据 行为识别可以看作是时变特征数据的分类问题， 即将待识别的
11、行为序列（测试序列）与预先标 记好的代表典型行为的参考序列进行匹配。 由于人动作执行的差异，匹配行为序列时必须 能够处理相似运动模式在空间和时间尺度上轻 微的特征变化。 行为识别的两大类方法 基于模板匹配的方法 基于状态转移图模型的方法 基于模板匹配的方法 基于模板匹配的方法是用输入图像序列提取的特基于模板匹配的方法是用输入图像序列提取的特 征与在训练阶段预先保存好的模板进行相似性度征与在训练阶段预先保存好的模板进行相似性度 量，选择与测试序列距离最小的已知模板的所属量，选择与测试序列距离最小的已知模板的所属 类别作为被测试序列的识别结果。类别作为被测试序列的识别结果。 Temporal Te
12、mplates (Bobick and Davis PAMI 2001)Temporal Templates (Bobick and Davis PAMI 2001) 动态时间归整动态时间归整 (DTW)(DTW) Temporal Templates 将图像序列目标的运动信息转化为运动能量图像(MEI)和运 动历史图像(MHI)； 在图像上提取基于不变矩的运动特征(具有平移、旋转和尺 度不变性)，并采用马氏距离度量测试序列和模板之间的相 似性。 Motion Energy Image (MEI) : where Motion History Image (MHI) : how Bobick
13、A and Davis J. Real-time recognition of activity using temporal templates. In: Proc IEEE Workshop on Applications of Computer Vision, Sarasota, Florida, 1996, 39-42. 动态时间归整 动态时间归整 Dynamic Time Warping (DTW) 是一种时变数据序列匹配方法，常用于微生物 学中的DNA匹配、字符串和符号的比较以及语音 分析等。 动态时间归整 当测试序列模式与参考序列模式的时间尺度不完全一致时： 动态时间归整 动态时
14、间归整 动态时间归整(DTW) * Chu, S., Keogh, E., Hart, D., Pazzani, M. (2002). Iterative Deepening Dynamic Time Warping for Time Series. The Second SIAM International Conference on Data Mining (SDM-02), 2002. 动态时间归整 示例 动态时间归整 既使测试序列模式与参考序列模式的时间尺度 不完全一致，只要时间次序约束存在，DTW就能 较好地完成测试序列和参考序列之间的模式匹 配。 基于动态规划（dynamic pr
15、ogramming）思想 基于状态转移图模型的方法 基于状态转移图模型的方法定义每个静态姿势作为一个状 态，这些状态之间通过某种概率联系起来。任何运动序列 可以看作为这些静态姿势的不同状态之间的一次遍历过程， 在这些遍历期间计算联合概率，其最大值被选择作为分类 行为的标准。 常用于行为识别与理解的图模型方法有： 隐马尔可夫及其改进模型 动态贝叶斯网络 人工神经网络 有限状态机 置信网络 Markov，Andrei Andreevich 马尔可夫过程： 在已知目前状态 (现在)的条件下， 它未来的演变(将来)不依赖于它 以往的演变(过去) 。 X(t+1) = f( X(t) ) 马尔可夫链 时间和状态都离散的马尔科夫过程称为马尔科夫链 记作Xn = X(n), n = 0,1,2, 在时间集T1 = 0,1,2,上对离散状态的过程相继 观察的结果 X = q1,.qN为马尔可夫链的状态空间。 条件概率aij =p(Xt+1 = qj |Xt = qi)为马尔可夫链 的转移概率 阴天阴天 晴天晴天 下雨下
