《浅析人脸识别技术之活体检测技》由会员分享，可在线阅读，更多相关《浅析人脸识别技术之活体检测技（52页珍藏版）》请在金锄头文库上搜索。
1、浅析人脸识别技术之活体检测技术人脸识别技术的攻击破解与安全防护措施之间的关系就像是长矛与盾牌，双方一直在相互博弈。一、背景概述随着人脸识别、人脸解锁、人脸支付等技术在金融、门禁、移动设备等领域中的广泛应用，人脸防伪/活体检测(Face Anti-Spoofing)技术在近年来得到了越来越多的关注。在大多数人的印象中，人脸识别技术就是让机器把人认出来。没错，用机器来认人，这正是人脸识别系统的最核心功能。然而，很多人不知道的是，一个可以正常工作的人脸识别系统，不仅能“认人”，还包括许多其他重要的技术，如活体检测技术。说起活体检测，就不得不先提一下人脸识别。人脸识别(Face Recognition
2、)是一种依据人的面部特征(如统计或几何特征等)，进行身份识别的一种生物识别技术，又称为面像识别、人像识别、面部识别等。我们通常所说的人脸识别是基于光学人脸图像的身份识别与验证的简称。人脸识别利用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸图像进行一系列计算和判断的相关应用操作。其技术上包括图像采集、特征提取、特征比对、身份的匹配和识别、特征模型训练等。简单来说，就是从图像中提取人脸中的特征，再通过特征的对比输出结果。二、欺诈之“矛”与指纹识别和虹膜识别相比，人脸识别因具有非侵扰、非接触、快速直观等特点而在生物识别技术中脱颖而出。但在实际使用场景中仍
3、面临许多欺诈攻击手段，极易受到欺骗者使用照片、视频、模型面具等方式复制人脸进行欺诈攻击。1.照片攻击早期的人脸识别系统，基于当前拍摄的人脸照片与预先存储的人脸照片之间的比对，来进行身份验证。欺骗者可以使用被仿冒者的照片来进行恶意攻击(即照片攻击)，通过将照片放在图像采集设备前去欺骗人脸识别系统。2.视频回放攻击在对上述照片攻击进行研究的基础上，研究人员开始考虑通过检测面部动作运动预防照片攻击，比如眨眼、张嘴、摆头等。但是针对这些防范措施，欺骗者通过非法获取合法用户的脸部视频来欺骗人脸识别系统，采用非法录制的包含上述动作的视频或者使用合成视频来攻击系统，视频攻击包含真实人脸的许多特征，比如头部运
4、动、表情变化、眼部运动和嘴部运动，相比照片攻击更具欺骗性。3.实体攻击实体攻击又称“模型攻击”，是通过抠图、合成等方式复制人脸，配合活体验证指令活动，模仿真人的眨眼、张嘴、头部运动等欺骗人脸识别系统。例如，通过将打印的高清照片按照一定弧度弯折，配合完成转头指令活动，或者将照片的眼部、嘴部图像抠掉，非本人的真人在后方配合眨眼、张嘴等。更高级的方式则是通过伪造合法人员的三维立体模型，如合成3D建模图像或者制作3D仿真头套、面具进行欺骗。除了和视频攻击一样具有头部运动、表情变化、眼部运动和嘴部运动外，三维模型攻击还具备和真实人脸一样的深度信息，因此可突破某些基于二维平面运动模式的动作检测算法。三、活
5、体检测之“盾”考虑到一旦虚假人脸攻击成功，极有可能对用户造成重大损失，因此势必需要开发可靠、高效的活体检测技术，来守护现有人脸识别系统的信息安全。在生物识别系统中，为防止恶意者伪造和窃取他人的生物特征用于身份认证，生物识别系统需具有活体检测功能，即判断提交的生物特征是否来自有生命的个体。一般生物特征的活体检测技术利用的是人们的生理特征，例如活体指纹检测可以基于手指的温度、排汗、导电性能等信息，活体人脸检测可以基于头部的移动、呼吸、红眼效应等信息，活体虹膜检测可以基于虹膜振颤特性、睫毛和眼皮的运动信息、瞳孔对可见光源强度的收缩扩张反应特性等。随着人脸识别技术日趋成熟，商业化应用愈加广泛，然而人脸
6、极易用照片、视频等方式进行复制,因此对合法用户人脸的假冒是人脸识别与认证系统安全的重要威胁。目前基于动态视频人脸检测、人脸眨眼、热红外与可见光人脸关联等领先业界的活体检测方法，已经取得了一定的进步。1. 动作活体检测动作活体检测又称“交互式活体检测”，是针对基于运动信息的活体检测方法，主要是通过检测人脸特定区域的运动来实现的。常见做法是在给定的人脸检测结果框内，依据运动区域中心坐标和人脸眼睛、嘴唇的坐标关键点、特征平均差异值、阈值比较结果等，确定人脸生理性运动是否符合指定动作集(包括眨眼、扬眉、闭眼、瞪眼、微笑等)。通常，用户在进行活体检测时，系统每次都从动作集中选择一种或若干种动作，随机指定
7、完成动作的次数，要求用户在规定的时间内完成。目前，人脸识别技术通行的活体检测技术一般采用指令动作配合的方式，如人脸左转、右转、张嘴、眨眼等，指令配合错误则认为是伪造欺骗。人脸识别技术对于活体检测的研究仍然需要“时空”（时间和空间，是天诚盛业公司独创的概念）的突破。无论是通过摄像头拍摄真人还是照片，最终得到的都是一张二维图片，因此对于摄像头前是真人还是一张照片，目前的人脸识别技术难以判断。另外，人脸识别对于双胞胎、整容这类群体的识别也有待深入研究。人脸识别归根结底是按照人的判断标准，利用深度神经网络和计算机技术，从人脸图像中提取有效的识别特征进行身份判断。人通过肉眼都难以判断的情况下，以目前的技
8、术和理论，还难以做出正确的识别。2.唇语活体检测在唇语识别的应用场景中，随机给定一组数字，要求用户在进行人脸识别时读出该组数字，系统会根据获取到的用户视频进行人脸提取，利用唇语定位技术定位出嘴唇位置后对影像进行剪辑，然后从嘴部帧序列中提取嘴部时空间特征，完成唇语识别的结果比对，若结果与随机产生的数字组相同，则认为用户通过活体检测。3.静默活体检测相对于动态活体检测方法，静默活体检测是指识别用户不需要做任何动作，自然面对摄像头三四秒钟，就可以完成整个检测过程。由于真实人脸并不是绝对静止的，存在如眼皮眼球的律动、眨眼、嘴唇及周边面颊的伸缩等面部微表情，因此可通过此类特征反欺骗。相比前面两种检测技术
9、，静默活体不需要客户配合，适用于某些不方便做张嘴、点头、摇头等动作的特定场合。4.近红外活体检测不管是可见光还是红外光，其本质都是电磁波，我们最终看到的图像，与材质表面的反射特性有关。近红外活体检测是通过配置特殊的近红外摄像头，利用近红外成像原理进行活体检测。近红外摄像头对于手机屏幕等反光材质难以成像，因此可以防止重放类攻击(如视频或者照片攻击)。由于不同材质表面的反射差异，真实人脸肤质与非人脸材料也存在成像差异，因此可以杜绝面具、头套类型攻击。近红外人脸活体检测主要是基于光流法而实现。近红外人脸活体检测无需指令配合，检测成功率较高。根据光流法，利用图像序列中的像素强度数据的时域变化和相关性来
10、确定各自像素位置的“运动”，从图像序列中得到各个像素点的运行信息，采用高斯差分滤波器、LBP特征和支持向量机进行数据统计分析。同时，光流场对物体运动比较敏感，利用光流场可以统一检测眼球移动和眨眼。这种活体检测方式可以在用户无配合的情况下实现盲测。由以上两张对比图可以看出，活体的光流特征，显示为不规则的向量特征，而照片的光流特征，则是规则有序的向量特征，以此即可区分活体和照片5.3D结构光活体检测3D结构光活体检测通过拍摄人脸得到相应的人脸区域的3D数据,并基于这些数据做进一步的分析, 最终判断出这个人脸是否来自活体利用3D摄像头拍摄人脸,得到相应的人脸区域的3D数据,并基于这些数据做进一步的分
11、析, 最终判断出这个人脸是来自活体还是非活体。这里非活体的来源是比较广泛的,包括手机和Pad等介质的照片和视频、各种打印的不同材质的照片（这里包含各种情形的弯曲、折叠、剪裁、挖洞等情形）等。基于活体和非活体的3D人脸数据，选择最具有区分度的特征来训练分类器，利用训练好的分类器来区分活体和非活体。特征的选择是至关重要的，这里我们选择的特征既包含了全局的信息，也包含了局部的信息，这样的特征有利于算法的稳定性和鲁棒性。下面是3D人脸检活原理的几个步骤：首先，我们提取了活体和非活体人脸区域的256个特征点的三维信息，并对这些点之间的几何结构关系进行了初部的分析处理；其次，我们提取了整个人脸区域的三维信
12、息，并对相应的特征点做进一步的处理，再采用协调训练Co-training的方法训练了正负样本数据，之后利用得到的分类器进行了初分类；最后，利用以上两个步骤所提取的特征点进行曲面的拟合来描述三维模型特征，然后根据曲面的曲率从深度图像中提取凸起区域，再对每个区域提取EGI特征，最后利用其球形相关度进行再分类识别。6.光线活体检测光线活体检测通过屏幕来发射不同颜色和强度的光线，投射到面部并由摄像头接收后，再用一系列算法处理，从包含光线信号的视频帧中分析并推导活体判断所需要的人脸深度信息和光验证码信息。深度信息用于活体分类判别，光验证码检查用于提升仿真头套、高精面具等模态攻击。检测过程中，用户无需交互
13、参与，只需要短暂保持姿态。7.其他检测技术除上述几种外，活体检测技术还包括纹理检测、背景分析等技术，主要采取提取图像、颜色等纹理信息反映人脸的基本特征,通过纹理特征信息的差异变化辨别真实人脸与伪装人脸，通常与其他活体检测算法配合使用：人脸识别技术的攻击破解与安全防护措施之间的关系就像是长矛与盾牌，双方一直在相互博弈。未来，随着仿真头套、全息投影、人脸跟踪等技术的发展，人脸识别攻击成本将大大降低，不法分子将更容易通过伪造人脸信息来攻击系统，这将促使活体检测技术在不断的防御战中提升技术水平和防护能力。人脸静默活体检测活体检测在人脸识别中的重要环节。以前的大多数方法都将面部防欺骗人脸活体检测作为监督
14、学习问题来检测各种预定义的演示攻击，这种方法需要大规模的训练数据才能涵盖尽可能多的攻击。但是，训练好的模型很容易过度拟合几种常见的攻击，仍然容易受到看不见的攻击。为了克服这些问题，活体检测算法应该：1） 学习 discriminative features，可以从预定义的攻击样本中泛化出没有见到的攻击样本；2） 快速适应新的攻击类型。本文总结了在静默活体检测领域中提出的最新方法，并将它们分为六大类。如下，并对每一类中经典的算法进行了介绍1.Auxiliary supervision1.1. rPPG1.2. Depth1.3. Temporal1.4. fft2.De-spoofing3.Do
15、main Generalization4.Meta learning5.NASAuxiliary supervision仅仅使用 binary classification 监督不够合理，因为也不能说明模型是否学习到真正的活体与攻击之间差异。因此，出现了 rPPG、Depth、Temporal、fft 等等监督。论文标题：Learning Deep Models for Face Anti-Spoofing Binary or Auxiliary Supervision论文来源：CVPR 2018论文链接：https:/arxiv.org/abs/1803.11097本文探讨了辅助监督（auxiliary supervision）的重要性。这些辅助信息是基于我们关于真实人脸和欺诈面部之间关键差异的知识获得的，其中包括两个视角：空间和时间。其中空间就是图像的深度（face-depth），而时间就是使用时序 rPPG 信号作为辅助监督。本文的三个主要贡献：1. 建议利用新颖的辅助信息（即深度图和 rPPG）来监督 CNN 学习以改进泛化。2. 提出了一种新颖的 CNN-RNN 架构，用于端到端学习深度图和 rPPG 信号3. 发布了一个新的数据库：Spoof in the Wild Database（SiW）。What is rPPG?
