接口与通讯实验指导书

《接口与通讯实验指导书》由会员分享，可在线阅读，更多相关《接口与通讯实验指导书（43页珍藏版）》请在金锄头文库上搜索。

1、 接口与通讯技术 实 验 指 导 书 接口与通讯技术 实 验 指 导 书 东北大学软件学院 东北大学软件学院 2008 年2008 年 实验一实验一 面部识别面部识别 【实验目的】【实验目的】 掌握面部识别工作机理 【实验人数】【实验人数】 每组 1 人 【系统环境】【系统环境】 Windows 【网络环境】【网络环境】 交换网络结构 【实验工具】【实验工具】 identify 摄像头 【实验原理】【实验原理】 面部识别包括人脸的检测和识别。 简单来说， 所谓人脸的检测， 就是在照片 （静态图像）或视频（动态图像）中标出人脸所在的位置，把人脸选取出来。而人脸的识别就是把选取出来的人脸与数据库中

2、已有的人脸进行比较， 找出匹配的档案来。 有的文献把人面的定位和识别统称为人脸识别， 定位和识别则是个主要的步骤。 完整的人脸识别系统涉及到视频中有无人脸，并计数，定位，定出大小，然后根据库识别出个人，可能的话还要识别表情，以及根据脸的图像做出描述（瓜子脸，丹凤眼等等就是日常生活中“描述”的例子），或者反过来根据挑选匹配的人脸图像。 人脸检测的目的是为了在一副图像上将人脸准确的分割出来。 人脸检测的基本思想是用统计或知识的方法对人脸进行建模， 比较所有可能的待检测区域和人脸模型的匹配度， 得到可能存在的人脸。 其方法大致可以分为基于统计的方法和基于知识的方法两类， 前者将人脸图像作为一个高维矢

3、量， 使人脸检测转化为高维空间中分布信号的检测问题； 后者人脸子图的空间分布知识建立若干规则，将人脸检测问题转化为假设、验证问题。 1人脸检测的方法 （1）神经网络方法 神经网络具有记忆功能， 当训练样本比较全面时， 神经网络可以处理比较复杂的检测问题，所以许多检测算法采用神经网络方法。人脸模式、眼睛模式和嘴巴模式等都有比较明显的特点，因此可以采用神经网络的识别方法。 神经网络方法能够适应较为复杂的人脸检测， 准确性也比较高， 所以使用神经网络进行人脸检测的算法比较多。但是，由于人脸属于高维矢量，导致网络中训练节点众多，算法往往需要大量的训练样本，因此，神经网络方法的研究着重于系统的优化训练。

4、 （2）相关性模板法 相关性模板方法计算人脸模板与局部图像的相关程度， 如果超过设定的门限， 就认为检测到了人脸。其中，椭圆型模板是最常见的人脸检测模板，它适用于检测人脸的轮廓。Kwon和 Lobo 首先使用“snakelets”模板来寻找候选边缘， 然后用最优方法从这些模板中选出与人脸最为相似的椭圆，而人脸的定位中心就是椭圆中心。 （3）子空间法 子空间法假设所有人脸模式集都在一个小的带参子空间上， 这个子空间可以用数据集及其主分量求得。 如果某个图像模式与该某个类的距离小于给定的门限， 则可以判断该模式是人脸模式，否则不是人脸模式。 （4）基于知识的人脸检测 基于知识的人脸检测涉及图像空间

5、分布规律、 人脸器官分步规律、 运动规律和对称性规律。 图像空间分布规律 利用人脸模式的图像不变性， 即共有的独特空间图像分布的相互关系， 人脸上的亮度分布有一定的顺序结构，图像中灰度分布最符合这种不变性的部分就是人脸部分。Akamatsu等人用彩色图像的色彩信息定位眼睛和嘴巴。这种分割是在变换后的色彩坐标系如 HSV 和YIQ 中进行的。根据人脸模式灰度分布的特点，嘴唇比周围皮肤有更高的 Q 分量值，皮肤区域在 I 和 H 分量图像的直方图上有清晰的峰。 将过些信息与眼睛和嘴巴在人脸上分布的相对位置关系结合，就能够检测到眼睛和嘴巴。YingDai 等人用 SGLD 矩阵（灰度级相关矩阵）实现

6、了在复杂背景中的人脸定位。 同族人的肤色在颜色空间中的分布相对比较集中， 颜色信息在一定程度上可以将人脸同大部分背景区分开来。Lee 等设计了肤色模型表征人脸颜色，利用感光模型进行复杂背景下人脸及器官的检测与分割。 人脸器官分布规律 人脸器官分布比较规律， 适用于证件照上头部位置比较固定的情况， 最常见的是眼睛定位， 常用的方法是对于边缘图像作垂直和水平方向的“积分投影”并结合五官分布的先验知识。Stringa 利用眼睛部位水平边缘线丰富的特点定位出眼睛在垂直文献上的大致位置。Brunelli 等人用垂直方向边缘图像的积分投影检测脸的两侧和鼻子，水平方向边缘积分投影用于定位眼睛、嘴巴和鼻子。Y

7、ang 和 Huang 提出了一种分层的基于知识的系统，用同一张图在不同分辨率下构成相应分辨率下的马赛克图， 从中实现从复杂背景中定位一眼睛、 口和鼻子的位置。 运动规律 人相对背景就是在运行的， 可以利用运行信息简单有效地从任意复杂的背景中分割出人脸。 对称性规律 人脸具有一定的轴对称性，器官也具有一定的对称性，比如人的左右眼睛是对称的等。Intrator 利用广义对称变换理论和边缘图像确定人脸对称轴，然后根据人脸五官分布的约束条件及在对称轴上对称值最大的地方定位眼睛和嘴巴。Zabrodsbhy 提出连续对称性检测方法，检测一个圆形区域的对称性，利用人脸的五特性，从而确定是否为人脸。 2人脸

8、识别的方法几何特征法 几何特性方法采用的特征包括人脸五官如眼睛、 鼻子和嘴巴等的局部形状特征， 脸型特征及五官在脸上分布的几何结构特征。提取特征时往往要用到脸部图谱结构的一些先验知识， 早期采用从侧面轮廓线提取特征的方法比较多； 以后的工作则较多的采用人脸下面的特征，因为证件照大多是正面照，而且正面的特征信息比侧面的更丰富，特征的抗干扰能力也比较强。 几何特征法用几何特征矢量表示人脸， 用层次聚类的思想设计分类器达到识别目的。 几何特征矢量是以人脸器官的形状和几何关系为基础的特征矢量， 分量通常包括人脸指定两点间的欧氏距离、曲率和角度等。几何特征矢量必须具有一定独特性，能够反映不同人脸之间的差

9、别，同时必须具有一定的弹性，消除时间跨度、光照等因素的影响。 图像上边缘点的积分投影曲线常被用于对眼睛、 鼻子和嘴巴等进行定位。 一维的“积分投影”曲线包含图像在某一方向的结构信息， 它是提取人脸特征的基本手段。 用于提取嘴角和眼角等特征需要原灰度图像光照均匀，层次分明，能提取到准确的边缘。Ham 等人使用Sobel 算子提取图像边缘，并使用形态学滤波中的“膨胀”运算将断续的边缘连接起来。然后结合人脸五官分布的先验知识提取到眼睛、鼻子和嘴巴的外切矩形。 3相关性匹配方法 （1）模板匹配法 模板匹配法通常采用“归一化互相关”， 直接计算两幅灰度图像之间的匹配程度， 模板匹配法要求两幅图像上的目标

10、具有相同的尺度、取向和光照，所以必须进行尺度归一、灰度归一的图像预处理。Buhr 的方法使用眼睛模板定位眼睛，然后用双眼之间的距离进行尺度归一。 匹配首先在低分辨率的图像中进行， 对相关性大的图像进行五官的局部模板相关匹配，当四分之三的局部模板具有很大的相似度，认为待识别图像与库中图像属于同一人。Brunelli 等首先提取特征点，然后根据特征点分出归一化后的眼睛、嘴巴、鼻子和脸的模板，进行相关性匹配识别。 （2）等强度线法 等强度线利用灰度图像的多级灰度值的等强度线作为特征进行两幅人脸图像的匹配识别。等强度曲线反映了人脸的凸凹信息。这些等强度线法必须在背景与头发均为黑色，表面光照均匀的前提下

11、才能求出符合人脸真实的等强度线。 等强度线只有在所有的图像在相同的背景和光照条件下才有效，所以该方法限制比较大，实用意义不大。 面部检测我们采用的方法主要是和模板匹配相似的方法。下面介绍模板匹配方法。 如何在一幅图象中找到已知的物体， 比如抓拍到了一张射门的照片， 如何在该照片中找到足球的位置。这时就可以采用模板匹配的方法。所谓模板匹配，其实想法很简单：拿已知的模板（在本例中为足球的图象），和原图象中同样大小的一块区域去对。最开始时，模板的左上角点和图象的左上角点是重合的， 拿模板和原图象中同样大小的一块区域去对， 然后平移到下一个像素， 仍然进行同样的操作所有的位置都对完后， 差别最小的那块

12、就是我们要找的物体。 我们用平方误差之和来衡量原图中的块和模板之间的差别。 假设模板的大小为 m*n(宽*高)；图象的大小为 Width*Height。模板中的某点坐标为(x0,y0)，该点的灰度为 U(x0,y0)；与之重合的图象中的点坐标为(X0-x0,Y0-y0)， 该点的灰度为 V(X0-x0,Y0-y0)， 如图 36-1-1所示： 图 36-1-1 模板匹配的示意图 则一次匹配的结果如图 36-1-2 所示。 图 36-1-2 模板匹配的公式 全部图象都匹配后，找到最小的即为结果。可以看到模板匹配的运算量是惊人的，每一次匹配都要做 m*n 次减法，m*n 次平方，m*n-1 次加法

13、，整个图象要匹配(Width-m+1)*(Height-n+1)次。 原图： 匹配模板： 匹配结果： 模板匹配之前，先粗定位人脸，主要根据肤色定位，求出大致区域。不然模板匹配计算量大耗费时间。匹配计算之前要把真彩色图片转换成灰度图片。转换公式： 转换后，首先要量化灰度图，所谓量化，就是把图像灰度范围拉深，如原先灰度范围为50-200，现在变换到 0-255，公式: 量化完就可以进行模板匹配，其中匹配是否成功，主要看相似度、对称性。 4投影法生成特征数据 投影法特征数据生成过程如下： （1）把识别出来人脸区域尺度变换和人脸模板一样大，人脸模板如下。 （2）进行正规化处理。 （3）把人脸数据看成一

14、维数组用人脸灰度数据减人脸模板数据生成特征数组。 人脸数据 f(x) = x0,x1,x2,x3,x4,x5 模板数据 g(x) = y0,y1,y2,y3,y4,y5 生成数据 t(x) = x0-y0,x1-y1,x2-y2,x3-y3,x4-y4,x5-y5 （4）映射到特征空间，算法如下。 其中“PCSpaceDim”表示空间维度，“inFea”表示步骤(3)生成的特征数据，“inPCSpace”表示投影空间向量，“outFea”表示生成的特征数据。 （5）计算向量夹角余弦（距离）。 其中“length”特征数据的长度， “inFea1”表示输入图片的特征数据， “inFea2”表 示

15、要匹配图片的特征数据，feature 表示相似度百分比，如果 feature 大于某个阀值则表示 匹配成功，如 0.88。 【实验步骤】【实验步骤】 本练习主机 AF 共用一台摄像头。 首先使用“快照 X”恢复 Windows 系统环境。 一人脸的检测一人脸的检测 （1）单击平台工具栏“摄像头驱动”按钮，安装摄像头驱动（需要重新启动系统）。成功安装后，插入摄像头，此时系统会弹出“欢迎使用找到新硬件”向导，按默认设置完成硬件安装。 （2）单击平台工具栏“实验目录”按钮，启动图像采集程序 StillCap.exe，弹出图片采集对话框，如图 36-1-1 所示。 图 36-1-1 图片采集 （3）设

16、置图片保存目录，单击“拍照”按钮，保存 5 幅脸部图像。 （4）启动面部识别程序 Identify.exe，单击“打开图片 1”按钮，加载先前保存的图片，然后单击“处理图片 1”按钮对图片进行处理。单击“打开图片 2”按钮，再加载一张图片，单击“识别”按钮，识别后查看两张图片的相似度。 （5）单击“退出”按钮，退出程序。 二通过摄像头实现人脸的识别二通过摄像头实现人脸的识别 （1）在面部识别界面中单击“摄像头验证”按钮，在弹出的“摄像头验证”对话框中单击“启动摄像头”按钮，如图 36-1-2 所示。 图 36-1-2 摄像头验证 （3） 单击“设置目标图片”按钮， 分别选择先前所采集的 5 张图片。 点击“启动验证”按钮验证相似度，并填定下表：其中相似度选择比较大的值。 图片 1 图片 2 图片 3 图片 4 图片 5 相似度 （4）计算平均相似度，结果是否大于 0.88，如果大于说明匹配成功。 实验二实验二 面部识别登录系统面部识别登录系统 【实验目的】【实验目的】 1.了解面部识别的基本方法 2.了解 Windows 登录系统