《基于光流方向信息熵统计的微表情捕捉》由会员分享，可在线阅读，更多相关《基于光流方向信息熵统计的微表情捕捉（14页珍藏版）》请在金锄头文库上搜索。
1、基于光流方向信息熵统计的微表情捕捉 李丹 解仑 卢婷 韩晶 胡波 王志良 任福继 北京科技大学计算机与通信工程学院 合肥工业大学计算机与信息学院 摘 要： 以光流法为依据, 提出了一种基于光流方向信息熵 (entropy of oriented optical flow, EOF) 统计的方法捕捉微表情关键帧.首先, 采用改进的 Horn-Schunck 光流法提取视频流中相邻两帧图像的微表情运动特征;其次, 采用阈值分析法筛选出投影速度模值较大的光流向量;之后, 采用图像信息熵统计光流变化角度, 进而得到视频序列的方向信息熵向量, 通过对熵向量的分析, 实现微表情关键帧捕捉;最后, 本实验采
2、用芬兰奥卢大学的 SMIC 微表情数据库和中国科学院心理研究所傅小兰的 CASME 微表情数据库作为实验样本, 通过与传统的帧差法比较, 证明了本文提出的算法优于帧差法, 能够较好地表现出微表情变化趋势, 为微表情识别提供基础.关键词： 微表情; H-S 光流; 方向信息熵; 帧差法; 关键帧捕捉; 作者简介：解仑, E-mail:收稿日期：2016-12-15基金：国家自然科学基金资助项目 (61672093, 61432004) Capture of microexpressions based on the entropy of oriented optical flowLI Dan X
3、IE Lun LU Ting HAN Jing HU Bo WANG Zhi-liang REN Fu-ji School of Computer and Communication Engineering, University of Science and Technology Beijing; School of Computer and Information, Hefei University of Technology; Abstract： This paper proposes an algorithm that is effective in detecting the key
4、 frame of microexpression based on the entropy of oriented optical flow. Initially, this paper used an improved Horn-Schunck optical flow to extract the motion features of adjacent frames. Then, the threshold algorithm was used to filter the optical flow vectors with high-projective modulus. To capt
5、ure the key frame of microexpression, the paper used information entropy to count the direction of optical flow vectors and analyzed the changing of microexpressions using an entropy vector of video sequences. Finally, the algorithm in this paper was verified with microexpression database SMIC ( Oul
6、u University) and CASME ( the Director of the Institute of Psychology at the Chinese Academy of Sciences, Fu Xiaolan) . Compared with traditional frame differences, experiments show that the algorithm is good not only in expressing the trend of the microexpression but also in providing the basis for
7、 microexpression recognition.Keyword： microexpression; Horn-Schunck optical flow; oriented optical flow; frame difference; key-frame capture; Received： 2016-12-15表情作为一种表达自身情感状态的面部行为, 在生物特征识别领域得到了广泛的关注.随着研究的不断深入, 人们发现了一种被普遍忽略的面部行为微表情.微表情作为一种不易被察觉的表情, 常常在个体试图压制自我时表达出真实的情感状态, 它的出现是无意识的、不能自控的, 持续时间仅仅为 1
8、/25 s到 1/5 s1.早在 1969 年, Ekman 和 Friesen 在抑郁症患者的访谈中发现了微表情的存在, 奠定了微表情研究的基础2.之后, Porter 和 ten Brinke 首次公开发表了对微表情表达的实证研究报告, 报告中指出, 通过测试被试者对图片库做出的真实或者虚假的表情反应, 从而质疑微表情的有效性3.近年来, 微表情研究受到了国内外研究人员的广泛关注, 例如芬兰奥卢大学的赵国英团队利用光流向量的时空一体化检测微表情特征4;日本筑波大学的 Polikovsky团队采用 3D 梯度直方图直观的描述人脸面部运动, 检测微表情特征, 并论证了相邻帧之间的变化趋势及其对
9、微表情研究的影响5;日本早稻田大学的 Yao 等基于 FACS 和面部特征点追踪学习检测 (tracking learning detection) 获得微表情特征6, 均取得了较好的结果.国内对微表情研究起步较晚, 中国科学院傅小兰教授团队于 2010 年开始研究微表情, 之后自主研发了基于静态特征的微表情识别系统7.除此之外, 张量子空间判别法8、基于局部二值模式的正交平面算子9等均被相关团队用来提取微表情特征, 效果显著.微表情的分析主要分为三个步骤:捕捉、特征提取以及分类.因此, 准确的微表情捕捉是提取表情特征、实现表情分类并进一步探究人类真实情感状态的基础.本文首先采用光流法提取视频
10、中相邻两帧图像之间的微表情运动特征;其次结合阈值分析法过滤光流在二维坐标系中投影模值较小的运动向量;之后, 依据分析结果, 采用方向信息熵统计的方法分析光流向量的角度变化信息;最后, 通过与帧间差法的对比, 表明了本实验算法能够更好的捕捉微表情发生过程, 具有较好的实用性.1 基于帧差法的微表情捕捉对于高速视频流中相邻的两帧图像, 可假设相邻位置的像素灰度值保持不变, 当运动区域发生变化, 相应位置的灰度也会随之变化, 因此, 可采用相邻两帧图像之间像素灰度值的差分检测运动目标.设 F 为包含有 W 帧的微表情视频序列 F=f1, f2, , fW, fk为视频序列中第k 帧图像, 其中 k=
11、1, 2, , W.通过第 k 帧图像与第 k-1 帧图像的灰度差, 计算相邻两帧图像之间的欧氏距离 dk-1, 公式如下:式中, MN 为图像分辨率.设定一个阈值 T, 如果 fk与 fk-1的欧氏距离超过阈值 T, 则认为有目标运动, fk即为关键帧;若小于阈值 T, 则认为目标静止, f k为非关键帧, 即:采用帧间差分法捕捉微表情, 首先对每一帧图像做灰度处理, 得到帧集合 F=f1, f2, , fW.之后, 将相邻两帧图像之间所有像素点逐一做差, 从而得到视频流中两两图像帧之间的欧氏距离集合 D=d1, d2, , dW-1.设集合 D 中所有元素的均值为阈值 T, 对 D 中的数
12、值进行正向排序, 最终得到表情变化关键帧.2 光流法及图像信息熵统计法2.1 改进的光流法光流表征了三维空间中运动物体表面的点在成像平面上投影的瞬时速度, 它依据相邻两帧之间像素点在时间域上的变化, 找到上一帧与当前帧的对应关系, 进而得到相邻两帧之间像素点的运动信息10.光流的计算方法可以分为三类:基于特征匹配的方法、基于频域的方法和基于梯度的方法11.对于较大目标的运动, 基于特征匹配的方法具有较高的鲁棒性, 但是该方法计算的光流稀疏, 难以进行特征提取.基于频域的方法虽然能够得到较高精度的初始光流, 但是计算较为复杂并且难以评价其可靠性.基于梯度的方法依据时空梯度函数计算每一个像素点的光
13、流矢量, 此方法计算较为简单且效果显著.因此, 本文采用基于梯度的方法获取连续视频帧中微表情的光流特征.光流法的计算过程中有三个假设条件12:.假设相邻两帧图像之间灰度恒定;.假设相邻两帧图像的时间间隔趋于零, 运动物体改变量微小;.假设在相同区域内, 像素点运动相同.因此, 在光照变化较为恒定, 且无较大噪声干扰的情况下, 视频图像序列中 t时刻的灰度图像 I (x, y, t) 在 t+t 时间内的变化量可由式 (3) 表示:式中, x、y、t 为 x、y、t 上的改变量.将式 (3) 左边采用泰勒展开式展开得:将式 (4) 代入式 (3) 中并忽略高阶项可得:当 x、y、t 趋近于零时可
14、近似为 dx、dy、dt, 因此, 将它们代入上式可得到式 (6) :设光流矢量 q= (u, v) , 其中 u 表示像素点光流矢量在 x 方向上的分量的模值, v 表示像素点光流矢量在 y 方向上的分量的模值, 另, 代入上式 (6) 可得化简结果如下:式中, I x、I y、I t可通过图像中相邻像素点的灰度值进行估算, 如下式 (8) 所示:以上分析可知, 每个光流矢量均包含横向和纵向分量, 然而仅由公式 (7) 无法确定解集, 这就造成了孔径问题13-14.因此, 本小结引入 H-S 全局平滑约束方程计算光流失量.假设图像中像素点的光流分量的梯度变化非常微小, 即等式 (9) :式中
15、, 分别表示光流矢量分量的梯度变化量.通过求解式 (9) 的最小值估计图像在 x、y 方向上的速度 u、v, 从而提高了算法的收敛性.当处理多帧图像序列时, 采用高斯迭代法计算光流矢量, 如下式 (10) :式中, 初始光流向量为零向量, j 为迭代次数, 为权重系数, 噪声越强, 权重系数越大.本小结选用 j=20, =25 作为计算参数估计光流矢量.2.2 图像信息熵统计信息熵是表征信息量大小的量度, 一个事件不确定性越大, 信息量越多, 其熵就越大.设离散型随机变量 xi的集合 X=x1, x2, , xi, , 那离散型随机变量 X 的信息熵定义为:其中, b 为常量.对于一个连续的视
16、频, 在计算机中的存储方式是在时间上被离散化的, 那么图像所传递的信息量可以用图像的信息熵来表示.对于一个有 l 级灰度的图像来说, 假设第 i 级灰度出现的概率为 pi, 那么当 pi接近于 1 时, 信息的不确定度就很小, 相反当 pi接近于 0 时, 图像传送的不确定度就越大.根据信息论原理, 设定某个像素级所带的信息量为:那么, 这幅图像所带的平均信息熵 (信息熵) 为:特殊的 pi=0 时, p ilog (1/pi) =0.由文献15可知, 信息熵可被认为是反应图像信息量大小的量度, 熵值越大说明图像中含有的信息越多, 更能够反映出图像的主要特征.相应的, 熵值越小, 包含的信息内容越少, 越难反映出图像特征.3 基于光流方向信息熵统计的微表情关键帧捕捉由以上分析可知, 光流可以表征相邻两帧视频序列之间各个像素点的速度方向及大小.在微表情发生过程中, 一般经历面部肌
