《cnn与决策树结合的新型人体行为识别方法研究》由会员分享，可在线阅读，更多相关《cnn与决策树结合的新型人体行为识别方法研究（10页珍藏版）》请在金锄头文库上搜索。
1、CNN 与决策树结合的新型人体行为识别方法研究 王忠民 张琮 衡霞 西安邮电大学计算机学院 摘 要： 基于智能手机内置加速度传感器的人体行为识别是近年来人工智能领域的一个研究热点, 传统的贝叶斯、极速学习机、决策树等识别方法都必须先针对加速度传感器采集数据提取时频域特征, 并从大量的时频特征中进行特征优选。采用深度学习中卷积神经网络算法 (convolutional neural network, CNN) 在大数据量与小数据量两种情况下分别进行特征学习, 直接读取智能手机内置三轴加速度数据, 自动提取加速度信号的特征, 利用自动提取出来的加速度数据特征, 结合决策树算法实现人体行为的分类识别
2、。实验表明, 该识别方法准确率较传统机器学习方法提高了 1.1%5.2%, 尤其在大数据量下准确率提高更为明显。关键词： 行为识别; 深度学习; 卷积神经网络; 决策树; 特征提取; 作者简介：王忠民 (1967-) , 男, 教授, 硕导, 博士, 主要研究方向为嵌入式系统、智能信息处理 () ;作者简介：张琮 (1989-) , 男, 硕士研究生, 主要研究方向为深度学习、人体行为识别;作者简介：衡霞 (1978-) , 女, 副教授, 硕士, 主要研究方向为多媒体通信、智能信息处理、模式识别.收稿日期：2016-12-05基金：国家自然科学基金资助项目 (61373116) Resear
3、ch on new human behavior recognition method based on CNN and decision treeWang Zhongmin Zhang Cong Heng Xia College of Computing, Xian University of Posts Abstract： The utilization of smart phoneacceleration sensors to identify human behavior is a big topic in intelligence field.Traditional identifi
4、cation methods, such as Bayes, speed learning and decision tree, must first collected acquisition frequency domain features of acceleration sensor data and extracted preferred features. This paper utilized convolutional neural network algorithm to extract smart phoneaccelerate data in three dimensio
5、ns, and then automatically found out patterns from the data.Finally it used decision tree to identify human behavior from the pattern. Experimental results show that recognition accuracy improves 1. 1% to 5. 2% in comparison with traditional machine learning methods, especially data set on the large
6、-scale.Keyword： behavior recognition; deep learning; convolutional neural network (CNN) ; decision tree; feature extraction; Received： 2016-12-05伴随着智能手机的普及和传感器的发展, 人们对手机等可穿戴设备的智能性提出了更高的要求, 各种新技术不断出现, 其中行为识别已经成为一个有吸引力的研究课题。目前主要的两个方向是基于视频图像的和基于传感器的行为识别, 而利用传感器的行为识别有很多优点, 如可以自由获取运动数据、更加符合人性等。众多的分类算法已经应
7、用到行为识别中, 常用的有隐马尔可夫模型、决策树、K-means、贝叶斯、SVM、BP 神经网络、极速学习机等1。文献1使用多个独立极速学习机分类器进行平均输出来提高准确率;文献2使用贝叶斯分类器通过 Dirichlet 过程分层离散化来识别人类行为;文献3采用多特征融合的方法来提高识别准确率。本文主要探讨利用深度学习卷积神经网络算法来进行行为的特征提取, 同时结合决策树分类器分类, 使之可以无须将原始数据转换为图片, 直接运用手机加速度传感器采集的原始数据, 快速有效地识别行走、跑步、站立、上楼和下楼五种日常人类动作。1 卷积神经网络卷积神经网络 (CNN) 是近年成长起来并引起普遍重视的一
8、种高效识别方法4。相比于传统的神经网络, CNN 引入了卷积和采样两个过程, 简化了复杂的预处理过程, 使其在图像处理、语言检测等模式分类范畴取得了重大突破。1.1 CNN 结构CNN 是 BP 神经网络的扩展, 均采用向前传播计算输出值, 反向传播调整权重和偏移的方式。以图片处理为例, 其结构如图 1 所示。图中神经网络由三层组成:a) 输入层, 1 个 2828 的平面 (map) , 图中绿色部分;b) 输出层, 12 个11 的平面, 图中紫色部分;c) 中间层, 由卷积层 (红色) 和采样层 (蓝色) 相间组成。参见电子版。每一层由多个平面组成, 而每个平面由多个独立神经元组成。1.
9、2 向前传播阶段a) 样本由输入层进入。b) 在一个卷积层, 上一层的特征 maps 被一个可学习的卷积核进行卷积, 然后通过一个激活函数得到输出特征 map5,6。每一个输出 map 可能是组合卷积多个输入 maps 的值, 如式 (1) 所示。其中:M j表示选择的输入 maps 的集合, 每一个输出 map 会给一个额外的偏置b。但是对于一个特定的输出 map3, 卷积每个输入 maps 的卷积核大小相同, 权重不同4, 也就是说, 如果输出特征 map j 和输出特征 map k 都是从输入map i 中卷积求和得到, 那么对应的卷积核是不一样的。c) 采样层的采样方式是对上一层 ma
10、p 的相邻最小区域进行聚合统计。对于采样层来说, 有 N 个输入 maps, 就有 N 个输出 maps, 只是每个输出 map 都变小5。其中:down () 表示一个下采样函数。文中的操作是对输入数据的不同 nn块的所有每个合成加速度求和7。这样输出数据在两个维度上都缩小 n 倍, 图中区域大小选择 22, 因此该层 map 的大小为上一层的 。每个输出 map 都对应一个属于自己的乘性偏置 和一个加性偏置 b。d) 输出层是由卷积采样交替若干次后, 卷积操作对特征进行放大8, 而采样操作使通过卷积得到的特征具有空间不变性, 得到样本的特征值。1.3 反向传播权重调整CNN 的反向传输过程
11、的基本思想与 BP 类似, 都是通过最小化残差来调整权重和偏置, 但由于 CNN 结构复杂、权值共享等原因, 其调整过程也较 BP 更为复杂。a) 输出层残差与中间层的残差计算方式不同, 输出层的残差是输出值与类标值的误差值, 而中间层的残差来源于下一层残差的加权和。b) 卷积层残差是根据其下一层的采样层的残差来计算的9。由上面的网络结构图得出, 采样层的 map 个数和卷积层是相同的, 因此可以用采样层的残差与一个 scalescale 的全 1 矩阵进行科罗内克积扩充, 使得采样层的残差纬度与上一层的输出 map 一致。c) 采样层的残差同样是根据卷积层的残差来计算的。但由于采样层到卷积层
12、的直接连接是带有权重和偏置参数的10,11, 所以在计算残差前先将矩阵进行180旋转12,13。通过这次旋转, 卷积向前传输计算上层 map 单元与卷积及当前层 map 的关联关系得以保留14。2 行为识别系统模型本文介绍一种通过 CNN 提取特征再由决策树模型判别行为标签的方法。通过对用户 x、y、z 三轴加速度的数据挖掘, 得知用户的行为 (站立、走路、跑步、上楼和下楼) 。其模型架构如图 2 所示。训练数据样本首先通过初始的 CNN 系统得到行为结果, 通过与样本标签的对比来调整 CNN 的各项参数 (CNN 具体训练方法将在下文详细叙述) 。当 CNN 训练完成后, 将测试样本输入到
13、CNN 中, 得到特征 1k, 再由决策树系统对特征进行分析得到行为标签。2.1 训练数据集训练数据的每一个样本由 5050 条数据组成, 每条数据为三轴加速度值, 并且都对应一个日常行为的标签。由于数据的采集频率是 50 Hz, 所以一个样本数据表示一个用户在 50 s 内的 x、y、z 三轴加速度的变化。其中 x、y、z 对应图片中的 R、G、B 三个通道。更确切地说, 每一个样本是一个 50503 的三维数组。2.2 训练过程本实验所采用的卷积神经网络结构包含六层, 如图 3 所示。a) 输入层, 50503 的一个样本。b) C1 层, 由输入层通过一个 553 的卷积核加上不同的偏置
14、得到六个46463 的 map。c) S2 层, 由 C1 层通过区域大小 22 进行求平均值得到六个 23233 的map。为简化模型, 采取了如 MATLAB Deep learning toolbox 的方法, 省略了该步骤的乘性偏置 和加性偏置 b。d) C3 层, 由 S2 层通过一个 443 的卷积核加上不同的偏置得到 12 个20203 的 map。e) S4 层, 由 C3 层通过区域大小 22 进行求最大值得到 12 个 10103 的map。同 S2, 省略了 和 b。f) 输出层, 由 S4 层通过一个全链接层最后形成一个具有 12 个特征的行为描述。在一次向前传播计算出
15、输出结果后, 根据上一节中提到的反向传播调整权重算法, 依据样本标签调整 CNN 的参数。重复训练过程直到 CNN 满足误差可容忍度。输出层残差的计算公式如式 (3) 所示。注:式 (3) 的详细推导过程参见文献11。卷积层残差计算公式如式 (4) 所示。其中:j 表示第 j 个特征平面, l 表示第 l 层 (卷积层) , l+1 为采样层, 为偏置。 的导数如式 (5) 所示。采样层残差计算公式如式 (6) 所示。其中:rot180 表示对矩阵进行 180旋转 (可通过行对称交换和列对称交换完成) 。训练时, 信号经过卷积神经网络的数据处理过程得到一个分类结果与相应标签数据进行比较并算出相
16、应的绝对误差。通过训练一次的残差不断修正卷积神经网络中的卷积窗口上的权值使得相对误差不断缩小, 最后趋于收敛, 然后将测试集输入到该网络中进行测试分类。本文中训练次数是 2 000 次, 得到的分类误差曲线如图 4 所示。2.3 决策树模型CNN 训练完成后, 使用决策树模型对测试样本的输出特征进行分析。设 S 是 n个特征数据的集合, 类标号属性具有 m 个不同值, 本次实验中 m=12。定义 m 个不同类 Ci (i=1, , m) , ni是类 Ci中的样本数, 对一个给定的样本分类的期望信息可表示为其中:P i是任意样本属于 Ci的概率, 并用 Si/S 估计。设属性 A 具有 v 个不同值a 1, a2, , av。可以用属性 A 将 S 划分为 V 个子集S1, S2, , SV, 其中 Sj包含 S 中这样的一些样本
