一种融合视线检测的注意力检测方法 熊碧辉 周后盘 黄经州 阮益权 周里程Summary：当前利用计算机视觉技术检测学生注意力的方法主要是基于人眼闭合特征和头部偏转特征当学生处于头部正视、眼睛睁开而视线在看电脑屏幕以外区域时，用以上两种特征无法检测出该类分心情况针对该问题，提出了一种融合视线检测的注意力检测方法通过摄像头抓取图像，分析每帧图像中学生的眼睛闭合特征、头部偏转特征以及视线特征，用以判别学生的注意力专注度实验结果表明，融合视线的注意力检测方法准确性较高，具有一定的实用价值Key：教育；注意力检测；头部偏转检测；眼睛闭合检测；视线检测DOI：10.11907/rjdk.173125：TP301：A：1672-7800（2018）007-0031-06Abstract：Incurrentonlineeducation，theresearchmethodsofdetectingstudent′sattentionbasedoncomputervisionaremainlybasedonthecharacteristicsofhumaneyeclosureandheaddeflection，however，whenstudentsfacetothecomputerscreenbutlookatotherplaces，thisdistractioncanbedetectedbyapplyingneitherofthecharacteristicsmentionedabove.Tosolvethisproblem，anattentiondetectionmethodintegratedwitheyegazedetectionisproposed.Bycapturingpictureswiththecameraandanalyzingthecharacteristicsoftheeyeclosure，headdeflectionandlineofsightineachframe，thedegreeofastudent′sattractioncanbedetermined.Theexperimentalresultsshowthattheattentiondetectionmethodintegratedwitheyegazedetectionhashigheraccuracyindetectingstudentsattentionbehavior，andthushascertainpracticalvalue.KeyWords：onlineeducation；attentiondetection；headdeflectiondetection；eyeclosuredetection；eyemovementdetection0引言近年來基于网络的教育日趋普及，学生能在任何时间、任何地点学习，但该类无监督的学习环境下师生无交流，难以确定学生是否认真学习，此外，长时间面对单调的电脑屏幕，学习效果受到影响，同时使得学生集体意识淡薄。
因此，检测学生注意力分散情况并给予提示尤为重要注意力检测研究最广的是驾驶员疲劳检测，而教育领域注意力检测研究则相对较少，其中通过计算机视觉技术检测学习者注意力状态的方法大多类似于驾驶员疲劳检测方法，或在此基础上融合生理特征检测或行为检测，如脑电波检测、眼电图检测、心电图检测，或者通过监测学习者的姿态、鼠标键盘点击行为等分析学习者的学习状态[1-2]余绕东[1]设计了一套智能注意力检测系统，通过采集人脸、人眼信息并结合脑波检测，分析学习者情感状态，分别从显式分心和隐式分心两个层面实时检测学习者是否分心，从而改善远程教育系统中情感缺失问题；卢希[2]利用Kinect传感器采集学生的头部姿态、面部表情等数据，分析学习者的学习状态；吴沧海等[3]通过分析学习者面部表情、头部姿态和眨眼频率判别学习者注意力状态该领域大多数方法对设备有一定要求，如文献[2]中需要视线Kinect传感器，还有要求使用高分辨率摄像头或红外光源，至于生理检测方法则要求更高，需要在学习者身上放置传感器，使学习者产生心理负担本文在研究相关方法后发现，在学生处于头部正视、眼睛睁开但视线在电脑屏幕以外区域的情况下，仅依靠人脸特征和人眼特征无法检测分心情况。
借鉴驾驶员疲劳检测中视线区域检测方法，并考虑低分率摄像头应用条件，本文提出了一种融合视线检测的多特征注意力检测方法，对眼睛闭合检测方法进行改进，从而整体上提高注意力检测的准确性通过低分辨率摄像头或笔记本电脑自带摄像头实时采集图像，利用机器视觉技术分析学生学习过程中的注意力状态，建立一个实施简单、实用性强的注意力检测方法1注意力检测算法1.1算法概述本文的注意力检测场景为学生坐在电脑屏幕前，采用普通的低分辨率摄像头抓取图像，像素值约为30万首先通过摄像头抓取图像，然后进行人脸检测，当连续超过一定时间阈值检测不到人脸时，判定学习者已离开坐席，反之进入后续的头部偏离检测，头部偏离不大（正视状态）时检测眼睛闭合特征和视线特征每隔一段时间计算眼睛闭合帧数、头部偏离帧数、视线偏离帧数占该时段内总帧数的比值，并综合分析3个特征的比值结果判定学生是否分心注意力检测流程见图11.2人脸检测考虑到实时性要求，人脸检测采用Adaboost算法实现该算法使用harr-like特征表示人脸，并使用“积分图”加快计算，再级联多个弱分类器构造成一个强分类器提高检测准确率[4]本文的人脸检测分类器利用OpenCV计算机视觉库中基于该算法的haar分类器训练得到。
1.3眼睛闭合检测采集到的眼睛截取图片如图2所示，上面两幅为普通光照环境（光线明亮均匀，能够清晰辨认人脸），第三幅为弱光环境由二值化后的图可知，使用低分辨率摄像头时，检测眼睛的虹膜（眼球中的黑色区域）大小比较困难，光照不佳时更明显对于低分辨率摄像头下的眼睛闭合检测，一种可行方法是检测眼睛区域二值化后的积分投影图并计算虹膜大小[5]然而实际检测中在闭合时眼角点明显会有很大干扰，导致垂直投影所得到的眼高有误故本文利用眼睛轮廓计算眼睛宽高比值，再进行眼睛闭合判别眼睛闭合检测流程如图3所示，为了缩小搜索范围、加快计算速度，检测到人脸后根据五官分布直接截取眼部图片进行检测；预处理包括直方均衡化和二值化处理，轮廓检测使用OpenCV的轮廓检测函数findContour，椭圆拟合处理主要通过拟合得到的椭圆获取眼睛轮廓宽高比值，由最小二乘法拟合算法[6]实现由图4可知，椭圆拟合有多个结果，且眼睛闭合时拟合得到的眼高与实际不符，因此需设定规则获取正确的眼睛轮廓宽高值：①剔除长轴大小接近图片宽度的椭圆；②剔除较小以及过大的椭圆；③剔除中心点过于靠近边界区域的椭圆；④计算最终结果的椭圆区域面积与实际眼睛轮廓区域面积的比值。
当比值过大时，由轮廓区域面积和拟合椭圆得到的宽度值计算实际的高度值典型的过滤结果如图5所示最后一幅图中椭圆拟合的高度与实际明显不符，且椭圆拟合的椭圆面积与实际轮廓面积比值超过一定阈值，需使用规则4计算实际轮廓大小计算得到眼睛轮廓宽高比值，当比值低于某一阈值（本文根据实验分析，阈值取0.2）时，判定该帧图片中眼睛为闭合状态当上述规则过滤后没有结果时（检测不到眼睛），同样判定眼睛为闭合状态判定结果为眼睛闭合时，将程序中的眼睛闭合帧数统计值加11.4视线检测已有的视线检测方法通常采用灰度直方图、LBP特征或傅里叶算子，提取人眼特征分析视线，这些方法主要基于人眼外观特征，容易受到光线、肤色的影响[7-9]本文的视线检测方法通过分析虹膜中心相对于眼睛轮廓的位置关系判别视线1.4.1眼睛轮廓检测人眼轮廓检测使用SDM检测算法[10-12]，它是当前检测人脸特征点最流行的算法之一，速度快且稳定该方法使用无参数的形状模型和SIFT特征，从而在复雜环境下也能有很好的检测效果图6中的点为手工标记的人脸特征点，也是人脸特征点检测中的最优解x，图7中的点是初始化时的特征点x01.4.2虹膜中心定位为避免光照影响，本文利用图像梯度信息获取虹膜中心位置，原理为圆形物体的中心点可通过分析图像上的梯度向量获取中心点[13]。
图8是一个眼球模拟图形图8中，c代表可能的瞳孔位置，黑色圆以外区域为巩膜区域（眼睛白色区域），该模型表示要求的圆心点与图像梯度方向的关系，其中di为归一化的位移矢量，gi为梯度向量，当c为真正的圆心时，di和gi有相同的位移矢量，反之两者将存在一个夹角在强光条件下瞳孔会产生亮瞳反应，即在虹膜中心形成一个亮白点，计算出来的结果可能是一个最黑点或最白点，因此需要导入先验知识：瞳孔通常比皮肤和巩膜的颜色要深，给每一个可能的中心点c赋予一个权值wc，其中颜色深的权值高于较亮区域的权值，通过以下公式求取实际圆心：实际的虹膜中心检测结果如图9所示，对于头部偏转不大时检测效果良好1.4.3视线分析当头部处于正视、眼睛睁开的情况下，观看不同区域时，主要变化为眼睛的睁开程度以及虹膜相对于眼睛轮廓的位置变化，如图10所示简化后的人眼如图11所示图12为提取出来的人眼轮廓宽高以及虹膜中心相对于人眼轮廓的位置关系由图12提取以下特征参数：利用这3个特征参数构成视线检测的特征向量X（FeatureX，FeatureY，FeatureXY）视线检测由SVM训练的分类器进行判别，SVM中传入的特征向量为X，使用的样本如图13所示。
将类别分为两类：视线在电脑屏幕区域内的为正样本，标记为A；视线在电脑屏幕区域外的为负样本，标记为B注意力检测程序对每一帧图像进行视线偏离检测当检测到视线偏离时，将视线偏离帧统计值加1图14为视线偏离检测1.5头部偏离检测头部偏转检测通过预先建立三维模型，人工标定三维模型的脸部特征点，再随机旋转平移这些特征点之后，通过相机成像模型投影得到二维点，从而获得二维脸部特征点到头部姿态的映射根据SDM检测出来的人脸特征点通过线性回归，可得到头部偏转角度[14-15]设定头部偏转角度超过左右35°时判定为头部偏离对每一帧图像进行头部偏转检测，当检测到头部偏离时，将程序中的头部偏离帧统计值加1头部检测效果如图15所示1.6注意力检测分析根据上述检测算法中闭眼帧数、头部偏离帧数、视线偏离帧数统计值，每隔一段时间计算闭眼帧数、头部偏转帧数、视线偏离帧数占总帧数的比值当比值超过一定阈值时即判定学生出现了分心情况该统计原理主要依据驾驶员疲劳检测中常用的PERCLOS检测算法[16]，其定义为单位时间（一般取1min或者30s）内眼睛闭合一定比例（70%或80%）所占的时间，计算公式如下：注意力检测程序中，利用以上3个统计值，设计定时函数每隔3s，分别独立计算该时段内的闭眼帧数、头部偏离帧数、视线偏离帧数占该时段内总的帧数比值，并取3个比值中的最大值作为分心比值。
当比值大于某一阈值时（实验分析后设定为0.7）判别学生在该时段内出现分心情况2实验设计与分析2.1实验设计本文算法在VS2013+OpenCV环境下实现，运行于Inteli72.59GHz笔记本上，摄像头为笔记本电脑自带摄像头，像素值24万，操作系统为Win10通过分析一段样本视频来实时检测分析学生的注意力状态，该视频长度约为10分钟，环境为普通光照环境该采样视频要求学生在视频前15秒保持学习状态为了获得更好的检测对比效果，学生无规律做出左顾右盼、眼睛闭合或视线偏离的分心动作，并在其中穿插认真学习的状态随后使用单一的眨眼频率特征和单一的头部偏转特征分析学习行为结合眼睛闭合特征和头部偏转特征算法进行检测，使用融合视线检测的本文算法检测该样本视频并进行对比分析2.2实验结果及分析根。