《基于cnn的手势识别技术研究》由会员分享，可在线阅读，更多相关《基于cnn的手势识别技术研究（4页珍藏版）》请在金锄头文库上搜索。
1、基于 CNN 的手势识别技术研究 叶茂华 淮安信息职业技术学院 摘 要： 手势操作作为一种全新的操作方式, 在智能设备中得到了广泛应用。传统的手势识别方法需要复杂的预处理过程, 识别速度与准确度比较差。文章提出一种基于 CNN 的手势识别技术, 取得了较好的识别效果, 识别速度也有明显的提升。关键词： 卷积神经网络; 手势识别; 特征提取; 作者简介：叶茂华 (1981) , 男, 江苏淮安人, 工程师, 学士;研究方向:软件工程。Research on gesture recognition based on CNNYe Maohua Huaian College of Informatio
2、n Technology; Abstract： Gesture manipulation, as a new way of operation, has been widely applied in intelligent devices. Traditional gesture recognition methods generally need complex preprocessing with poor recognition speed and accuracy compared with the new. In this paper, a gesture recognition m
3、ethod based on convolutional neural network is proposed, good recognition results are achieved with recognition speed improved obviously.Keyword： convolutional neural network; gesture recognition; feature extraction; 随着人工智能技术的快速发展, 人机交互得到了极大的丰富, 从打字、触屏到语音, 交互方式的发展给人们的操作带来了便利和极佳的使用体验。近年来, 手势操作得到了人们广泛
4、的重视, 通过对用户不同手势的识别, 系统能够理解用户的意图并完成相应的操作。本文主要利用卷积神经网络 (Convolutional Neural Network, CNN) 较强的容错性与鲁棒性, 提出了一种新的手势识别技术, 实现了较好的手势识别性能。1 CNN神经网络是一种利用仿生学原理, 模仿大脑神经突触的信息处理过程而建立的网络模型。CNN 是一种局部激活的前馈型神经网络, 具有局部感受野、权值共享与降采样三大基本特征。典型的 CNN 主要由输入层、输出层、卷积层、池化层以及全连接层组成, 其典型网络结果如图 1 所示。图 1 CNN 结果 下载原图通过图 1 可以看出, 当待处理图
5、像传入输入层后, 需要经过若干个卷积层与池化层的处理, 通过若干个全连接层得到最终的输出结果。在卷积层通过滤波掩膜对图像进行卷积操作, 能够实现图像局部特征的提取, CNN 局部感受野的特征得到了体现。同时在同一卷积层中掩膜的参数保持一致, 体现了 CNN 权值共享的特征。经过卷积层的处理, 图像提取的特征进入池化层进行降采样以减少后续数据的处理量, 最大值池化是最常用的池化方式。通过上述处理, 将提取的图像特征拉伸为特征向量, 再经过若干全连接层后, 即可实现图像特征的较好分类识别。CN N 主要包括各卷积层的掩膜参数、层与层间的传递权值等。这些参数需要利用大量的训练数据进行优化调节, 一般
6、采用误差反向传递传播的方法, 将误差反向进行传递, 并根据误差逐层调节模型参数, 最终达到较好的分类识别性能。CN N 的复杂网络结果、大规模的可设置参数赋予其较强的容错能力与鲁棒性。一方面对图像特征的提取具备平移、旋转及尺度不变性, 使得训练好的 CNN 模型能够较好地适应不同场景的识别问题。另一方面 CNN 模型在训练中的调参过程耗时较长, 一旦训练完成, 其识别过程十分迅速, 极大增强了 CNN 的实用价值。2 基于 CNN 的手势识别方法传统的手势识别方法首先通过边缘检测, 提取手势区域, 之后利用边缘特征、Hog 特征、SIFT 特征等实现手势特征的提取, 最后利用特征向量完成手势的
7、识别。这种方法学习能力较差, 对场景的适应性不足。因此基于 CNN 的手势识别方法, 具有较强的容错能力与适应性。2.1 手势图像的预处理在实际应用中, 手势图像通常只占全部图像的一小部分, 为了排除无关图像对手势识别可能造成的影响, 需要对图像进行简单的预处理, 主要包括手势区域的检测、分割与二值化操作。首先在较大尺度下, 通过对人体躯干等结构的识别并在彩色图像中检测手势所在区域;其次利用图像分割, 将手势区域分割出来;然后将得到的手势区域利用自适应阈值对图像进行二值化操作, 并将背景区域置0, 手势区域置 1;最后再将手势区域平移至图像中心, 并将图像规范为统一大小, 作为神经网络的输入。
8、2.2 CNN 的建立与训练考虑到手势区域的图像不大, 特征丰富度不高, 因此本文采用了一种 6 层处理模型, 具体如图 2 所示。图 2 CNN 结果 下载原图第一层为卷积层 C1, 利用 55 的卷积掩膜对图像进行滑动卷积, 得到局部图像的初级特征;第二层为池化层 S2, 对 C1 层得到的局部特征图像进行降采样, 利用 22 最大值池化掩膜实现特征数据的 1/4 降采样;第三层为卷积层 C3, 利用 55 的卷积掩膜对池化得到的特征图进行进一步特征提取, 得到图像的高级特征;第四层为池化层 S4, 进一步利用 22 最大值池化掩膜并对 C3 层得到的图像高级特征进行降采样;第五层为卷积层
9、 C5, 与前两卷积层不同, 该层采用全连接方式, 对 S4 层的全部特征进行卷积操作, 得到图像的特征向量;第六层为全连接层 F6, 通过 C5 特征向量上的全连接权重和, 最终得到长度为 10 的识别结果向量。CNN 模型建立后, 需要对其进行训练, 以实现模型参数的优化调节。本文采用了 Thomas Moeslund 手势识别数据库作为训练样本, 选择 5 类手势作为训练对象, 每类收拾选择 1 000 张手势图片, 其中每次迭代训练随机选择 900 张作为训练样本, 另外 100 张作为测试样本, 共计迭代 10 次, 得到最终的 CNN 模型。2.3 基于 CNN 的手势识别仿真实验
10、CN N 模型训练完成后, 利用数据集中已选取的测试样本对模型的识别性能进行测试, 得到 5 种手势的识别结果, 结果如图 3 和表 1 所示。图 3 手势示意 下载原图表 1 手势识别结果 下载原表 通过仿真实验结果可以看出, 模型对手势 1、手势 2 以及手势 5 的识别效果较好, 均达到了 100%的准确识别率, 而手势 3 与手势 4 出现了部分误识别情况, 这主要由于手势 3 与手势 4 中拇指的间距较小, 同时相互区分度不大, 才导致在不同拍摄角度产生误识别情况。总体来看, 本文提出的基于 CNN 的手势识别方法取得了较好的识别效果。3 结语针对传统手势识别方法所存在的弊端, 本文设计了针对手势识别方法的 CNN 结构, 并利用手势数据集实现了网络模型的训练与参数的调节, 最后通过仿真实验的结果可以证明该方法在实际生活中具有较强的应用价值。参考文献1蔡娟, 蔡坚勇, 廖晓东, 等.基于卷积神经网络的手势识别初探J.计算机系统应用, 2015 (4) :113-117. 2贾维闯, 宫进, 吴雄华.基于加速度的 BP 神经网络手势识别设计J.电子技术与软件工程, 2016 (21) :94. 3陈祖雪.基于深度卷积神经网络的手势识别研究D.西安:陕西师范大学, 2016.
