《基于kinect手势识别的研究与应用》由会员分享，可在线阅读，更多相关《基于kinect手势识别的研究与应用（8页珍藏版）》请在金锄头文库上搜索。
1、基于 Kinect 手势识别的研究与应用 黄文静 马力 西安邮电大学数字艺术学院 摘 要： 针对动态手势识别的问题, 首先利用 Kinect 传感器获取手势的深度图像, 结合彩色图像和深度图像对手势进行分割。然后将提取的手势特征作为隐马尔科夫模型的输入, 在实验过程中提出对隐马尔科夫模型参数进行调优, 进而提高动态手势识别率。最后将优化后的手势识别的方法运用于三维地球仿真系统中, 利用传感器获取的人体骨骼信息, 实现了手势对平台进行实时控制, 并具有较高的准确率和识别率, 大大提高了人们的交互体验。关键词： 动态手势识别; Kinect; 隐马尔科夫模型; 图像分割; 作者简介：黄文静 (19
2、92) , 女, 河南驻马店人, 硕士研究生。研究方向:人工智能与深度学习。收稿日期：2016-10-21A gesture recognition research and application based on KinectHUANG Wen-jing MA Li School of Digital Art , Xian University of Posts and Telecommunications; Abstract： For the problem of dynamic gestures recognition, first acquiring the depth images
3、 of gestures by Kinect sensors, and combining the color image with the depth image to segmenting the gestures. Then extracting the gesture feature as input of hidden markov model, tuning the parameters on the hidden markov model in the experimental process to improve the recognition rate of dynamic
4、gesture. Finally using the gesture recognition method in the 3 D earth simulation system, you can collect informations of human bones by the sensor and control the platform real-time and accurately by gestures. And it has high accuracy and the recognition rate, and improving the peoples interaction
5、experience greatly.Keyword： dynamic gesture recognition; Kinect; hidden Markov model; image segmentation; Received： 2016-10-21科学技术以其强大的生产力和创造力, 迅速改变着人们的生活方式, 也促使人们对人机交互自然化的不断追求。从最原始的命令行界面到如今的以鼠标、键盘为媒介的图形界面, 人机交互正是在不断的友好化, 人性化, 简单化和自然化1。手势作为最直接、自然的交互方式, 成为当下研究的热点, 现已广泛应用于体感互动、娱乐游戏等领域。目前, 手势识别2-3主要使用的
6、是基于计算机视觉4的方法, 直接利用摄像机等图像采集设备输入手势, 通过对图像的处理获得手势并对其进行识别。由于彩色图像5易受色度大小、阴影环境以及光照强度等因素的影响, 且采集图像的环境一般较复杂, 因此手势的分割6及特征提取7是识别静态手势的难点。Kinect8-9传感器是由微软公司研发的一款体感外接设备, 它能同时获取彩色图像和深度图像10, 利用深度图像包含物体在空间的三维信息, 并且不易受到其他因素的影响的特点, 很好的解决了彩色图像在计算机视觉研究中的一些问题。现如今, 已经有很多学者将其运用到手势分割、手势识别中, 如文献11基于 Kinect 获取的深度信息进行手势分割, 然后
7、利用动态时间规整算法 (DTW) 12-13并结合静态手势的识别, 提出来一种动态手势识别方法。文献14基于手势深度图, 提出一种新的手势识别方法“扫描线法”。文献15针对复杂环境中的手势识别问题, 提出来一种融合深度信息和红外信息的手势识别方法。本文针对动态手势识别进行研究, 通过将深度图像与彩色图像相结合的方法获得手部信息, 然后训练获得隐马尔可夫模型16并对其进行性能测试并优化。最后, 将优化的手势识别算法应用到实际交互中, 实现了手势对三维地球仿真系统及网页的实时操作。1 手势识别流程本文利用 Kinect 传感器, 使用隐马尔科夫模型 (HMM) 实现动态手势的识别。通过 Kinec
8、t 获取的深度信息获得人体手部的数据, 然后对数据进行特征提取, 计算得到有效的特征集, 最后使用 BaumWelch 算法训练并优化 HMM 模型, 最后实现对动态手势的识别。其识别流程如图 1 所示。图 1 手势识别流程图 下载原图1.1 手势数据采集及预处理本文定义了 6 种动态手势, 分别为向上、向下、向左、向右以及分离和聚拢。每种手势分别由 5 个人进行录制, 每个人对同一种手势录制 30 个样本, 总计900 个样本, 其中每个样本均包含彩色图像和深度图像。获取样本的序列帧后, 由于图片包含大量信息, 且文中主要针对手部进行研究, 因此需要对手部图像进行分割提取。在分割过程中采用深
9、度图像与彩色图像相结合的方法, 获取有效的手部图像以利于对手势识别的研究。1.2 特征提取采集到的手部图像信息包含大量的数据, 我们需要从中选取合适的特征来描述采集到的手势样本。选取的特征数据直接影响系统的性能及识别率。目前, 动态手势的特征一般选择以下 3 种:位置、速度和方向角。大量的实验结果表明方向角特征是最能体现手势轨迹运动的特征, 它对动态手势识别的贡献率是最高的。手势的方向角特征即手势轨迹中相邻时间内手掌的方向角特征, 本文将动态手势轨迹方向角矢量化编码为 8 个等级, 具体的划分情况由如图 2 所示。图 2 手势方向角特征及矢量化划分示意图 下载原图1.3 手势识别算法隐马尔可夫
10、模型 (Hidden Markov Model, HMM) 是一个随机过程, 它是一种常用的统计分析模型。它是在马尔科夫链的基础上提出的, 但状态转移随机过程不可见, 只能通过观察序列表现出来。一个隐马尔可夫模型是由初始状态分布产生的状态, 按照状态转移概率矩阵 A 产生一个隐藏状态, 然后经由观察概率矩阵 B 产生观察值序列, 其状态转移过程如图 3 所示。图 3 隐马尔科夫模型状态转移示意图 下载原图隐马尔科夫模型可以用一个五元组来表示:=M, N, A, B, , 其中各参数具体说明如下:1) M 表示 HMM 的观察状态个数。观察序列为 O=O1, O2, , OT, T 为观察序列的
11、长度。用 Ot表示 t 时刻的观察值, O t的取值范围为V 1, V2, , VM。2) N 表示 HMM 的隐含状态个数。隐含状态序列为 Q=q1, q2, , qT, 用 qt表示 t 时刻所处的状态, q t的取值范围为S 1, S2, , SN。3) A 代表 HMM 中状态转移的概率矩阵, 某个时刻所处的状态 qt只与其对应前一时刻所处的状态 qt-1有关。其中 aij=P (qt=Sj|qt-1=Si) 表示状态从 Si转移到 Sj的概率大小。4) B 代表 HMM 观察概率矩阵, 即隐藏状态到输出状态的概率矩阵。B=b j (k) |j=1, 2, , N;k=1, 2, ,
12、M, 其元素 bj (k) =P (Ok|qt=Sj) 表示隐藏状态Sj生成观察状态 Ok的概率, 且5) 代表 HMM 初始状态的概率矩阵, 即 t=1 时, 状态序列 Q 所处的状态为 Si的概率。一般情况下, 可以将 HMM 的完整参数集合 =M, N, A, B, 简化为 =A, B, , 本文中隐马尔科夫模型中的观察值序列是指对手势进行编码的符号序列, 由于对手势重心运动轨迹的角度变化进行了编码, 均匀量化为 8 个方向, 因此观察值的个数为 8。在训练过程中, 本文采用多观察值序列的 Baum-Welch 算法对训练样本进行训练, 通过迭代运算, 得到最佳的模型参数, 该算法步骤如
13、下:1) 首先, 定义后验概率函数 t (i) 代表在已知观察序列 O 和 时, t 时刻的状态为 Si的概率。可用前向变量 t (i) 和后向变量 t (i) 表示:2) 其次定义概率函数: t (i, j) 代表在已知观察序列 O 和 的条件下, t 时刻的状态为 Si, 且 t+1时刻的状态为 Sj的概率。可用前向变量 t (i) 和后向变量 t (i) 表示:则参数重估公式为:Baulm-Welch 算法求取最优参数的方法如下:1.4 手势识别手势识别的过程主要是对所建立的手势模型进行评估。通过训练得到的模型参数, 在给定观察序列作为输入的条件下, 也就是给定输入手势特征向量, 然后计
14、算每个 HMM 的输出概率, 找寻出输出概率值最大的模型, 也就是已知观察序列的最优匹配模型, 即为最终的识别结果。通常系统中有多个 HMM, 每一种手势类别都对应着一个 HMM, 因此, 需要利用已知的观察序列对每一个模型进行评估。也就是求解已知观察序列和每个 HMM 模型相匹配的概率。其中, 所求解的概率值最大的 HMM 就是和已知观察序列的最优匹配模型, 该过程采用Forward-Backward 算法进行求解的。2 实验结果及分析文中共定义了 6 种动态手势, 分别由 5 个人在不同环境下录制, 每种手势包含150 个样本, 选取其中的 100 个样本进行训练, 剩余的 50 个样本作
15、为测试集来对识别率进行评估。本文选取的特征为手势的方向角特征, 并将动态手势轨迹矢量化编码为 8 个等级, 因此在初始化 HMM 模型参数时, 令 M 取值为 8。为防止过拟合, 隐藏状态数目 N 的值取 5。初始隐藏状态的概率分布 , 转移概率矩阵A 和观察概率矩阵 B 分别为:其中 aNN=1。其中 1iN, 1kM。通过 Baulm-Welch 算法对参数进行重估后, 将测试样本进行识别, 匹配度高的模型类别即为动态手势的类别。在识别后, 将误识样本作为观察序列重新送入训练好的模型中对参数进行重估, 进而获得优化后的 HMM 模型, 结果表明提高了识别率, 其识别率如表 1 所示。3 基
16、于手势识别技术的应用利用提出的动态手势识别算法, 在计算机上模拟开发了基于手势的三维地球仿真体感操作系统。实现了利用手势控制三维地球的旋转、放大、缩小, 并将百度地图与之相结合, 实现了手势对网页地图的控制。其中部分实验结果如图 4所示, 图 (a) 、 (b) 展示了利用手势对三维地球实现旋转操作, 图 (b) 、 (c) 是利用手势对三维地球实现了缩放操作, 图 (d) 展示了利用手势对网页地图进行操作。表 1 动态手势识别率 下载原表 图 4 三维地球仿真系统部分实验示意图 下载原图本系统是基于 Kinect 利用手势识别算法进行体感操作的部分实验结果如图所示。表 2 动态手势对应指令 下载原表 4 结论文中主要研究了基于 Kinect 设备的动态手势识别方法, 在预处理阶段, 利用kinect 获取的深度图像, 将深度图像与彩色图像相
