《三维可形变模型在人脸识别领域的应用》由会员分享，可在线阅读，更多相关《三维可形变模型在人脸识别领域的应用（20页珍藏版）》请在金锄头文库上搜索。
1、-三维可行变模型在 人脸识别中的应用,蔡英 2015.5.7,维度？,0维指点，且这个点没有大小，只表位置 1维指线，没有宽度的线，但长度可以延伸 2维指平面，但平面没有厚度，只是无限延伸 3维指立体，就有厚度了，体现我们现在所处的空间4维嘛很多人很难说清楚，有些人说是时间，有些人说是2维、3维在数学上的直接推广，甚至说，把一个四维立方体展开后是六个普通立方体！ 更高维呢，就很抽象了，一般来讲没有什么明确概念，甚至数学家与物理学家都有不同意见；比较费解的是，竟然有些物理学家认为宇宙有11维！,3D Morphable Model 能做什么？,3DMM,在1999年提出时，模型对胖瘦，年龄，表情
2、等都做了考虑。后来的应用中主要使用重建出的3维模型来做识别。,简单的应用,输入的2维图片,3DMM,得到：光照、姿态、形状无限接近输入的2维图片的一个三维模型。,3DMM 发展,1999年Volker Blanz ，Thomas Vetter在计算机图形学顶级年度会议 SIGGRAPH(Special Interest Group for Computer GRAPHICS,计算机图形图像特别兴趣小组）上发表第一篇关于3DMM的文章A Morphable Model For The Synthesis Of 3D Faces 迄今16年，被引用次数高达2363 2003 年9月他们两人再次在P
3、AMI上发表Face recognition based on fitting a 3D morphable model 被引用次数：1255 2009年 Paysan, P. Romdhani，S.Thomas Vetter 在2009 Advanced Video and Signal Based Surveillance 上发表A 3D Face Model for Pose and Illumination Invariant Face Recognition被引用次数：70 。 首次提出BFM 贝塞尔face model 一个提供公开下载的3D face model。 亮点是：采用结
4、构光，2个投影仪，3个相机高分辨率以及优秀的对齐方法。 是我们采用的model。,3DMM基本流程,3D Morphable Model 怎么来的？,3DMM数据包括： 1、n个人脸的平均模型 2、形状部分的主成分 3、纹理部分的主成分 两个n-1维的： 特征向量和特征值,Optimal Step Nonrigid ICP（ iterative closest point ） Algorithms 2007. CVPR,PCA,PCA简介,在统计学中，主成分分析（principal components analysis,PCA）是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一
5、个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。 这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表现为将原坐标系变换成新的正交坐标系，使之指向样本点散布最开的p 个正交方向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统。,形状系数的在形状形变上的效果,从下图 可以看到不同的主成分从不同角度对人脸形状产生了影响:第
6、1 主成分主要描述了性别的差异,第3 主成分主要控制嘴部以下的长度,第6 主成分主要调节人脸的宽度(不同人脸库训练得到的主成分效果会有所区别,但当人脸库足够大时,这种效果会趋于稳定).,利用3DMM构成人脸的公式表达,Since we assume all faces in full correspondence.new shapes S-model and new textures T-model can be expressed as a linear combination of the shapes and textures of the M exemplar faces.,Throu
7、gh Principal Component Analysis (PCA),如何拟合？实现针对2维输入的3维建模,纹理的距离,形状的距离,防止形状和纹理形变系数出现过拟合。采用贝叶斯公式计算各系数的概率，最大化概率来构成cost function。,EF的计算方法,从物体坐标系到相机坐标系,从相机坐标系到像平面坐标系,EI的计算方法,输入图像上每点和投影图像上每对应点的rgb值差的平方之和。 所以很显然 我们要先做初步的姿态估计以后EI 才有意义。,因为是对 点云的投影点球纹理的差 所以不用考虑输入图片的背景。,三个参数 的构成,22个参数 twx=gamma_star(1); %平移变量tw
8、 x坐标 twy=gamma_star(2); %平移变量tw y坐标 twz=gamma_star(3); %平移变量tw z坐标 thetx=gamma_star(4); %x方向 旋转角 thety=gamma_star(5); %y方向 旋转角 thetz=gamma_star(6); %z方向 旋转角 f=gamma_star(7); %摄像机焦距f Lramb=gamma_star(8); %漫反射亮度系数红色分量 Lgamb=gamma_star(9); %漫反射亮度系数绿色分量 Lbamb=gamma_star(10); %漫反射亮度系数蓝色分量 Lrdir=gamma_sta
9、r(11); %镜面反射和环境光反射亮度系数（为简化光照模型 设为相等） Lgdir=gamma_star(12); %镜面反射和环境光反射亮度系数 绿色分量 Lbdir=gamma_star(13); %镜面反射和环境光反射亮度系数 蓝色分量 thetl=gamma_star(14); %点光源，入射光向量的经度角l phail=gamma_star(15); %点光源，入射光向量的纬度角l cc=gamma_star(16); %亮度Luminance 转换为 颜色度Intensity 的对比系数cc gr=gamma_star(17); %亮度 转换为 颜色度 的增益系数gr 红色分量
10、gg=gamma_star(18); %亮度 转换为 颜色度 的增益系数gg 绿色分量 gb=gamma_star(19); %亮度 转换为 颜色度 的增益系数gb 蓝色分量 or=gamma_star(20); %亮度 转换为 颜色度 的偏移系数or 红色分量 og=gamma_star(21); %亮度 转换为 颜色度 的偏移系数og 红色分量 ob=gamma_star(22); %亮度 转换为 颜色度 的偏移系数ob 红色分量,a=gamma_star(23:23+198); 模型形状变化的组合系数 b=gamma_star(23+dim_egnv:23+dim_egnv+198);
11、模型纹理变化的组合系数,数学之美番外篇：平凡而又神奇的贝叶斯方法 BY （暗时间）刘未鹏,贝叶斯是机器学习的核心方法之一。这背后的深刻原因在于，现实世界本身就是不确定的，人类的观察能力是有局限性的，我们日常所观察到的只是事物表面上的结果，这个时候，我们就需要提供一个猜测。但也绝对不是两眼一抹黑瞎蒙具体地说，我们需要做两件事情：1. 算出各种不同猜测的可能性大小。2. 算出最靠谱的猜测是什么。第一个就是计算特定猜测的后验概率，对于连续的猜测空间则是计算猜测的概率密度函数。第二个则是所谓的模型比较，模型比较如果不考虑先验概率的话就是最大似然方法。,D是观测到的现象，h是推测出的事实。,正比于符号。
12、,各种正态分布的假设,The task at hand is to find the parameters with maximum posterior probability given the input image and the feature points F. According to Bayes rule:,防止形状和纹理形变系数出现过拟合。采用贝叶斯公式计算各系数的概率，最大化概率来构成cost function,目标函数的优化,Cost function：,利用粒子群优化算法优化这22+199+199个参数，因为粒子群优化算法对初值的不依赖 和 信息的交互机制，既可以避免陷入
13、局部极值又可以提高收敛速度。适合优化高维参数。,原始型粒子群优化算法,表示第 i 个粒子曾经到过的历史最优点,(Personal best,pbest ）,表 示 整 个 种 群 所 能 找 到 的 历 史 最 优 点(Global best，gbest),c1 是自身认知因子，表示自身经历的历史最优值对当前运动状态的影响. c 2是社会认知因子，表示整个种群经历的历史最优值对当前运动状态的影响.,r1和r 2是区间0，1内的随机数。,惯性权重因子w，是指粒子前一时刻的运动状态对当前时刻运动状态的影响程度。,在3DMM中对粒子群优化算法的改进,p = 0 2000 27 2 2 0.9 0.4 1500 1e-25 250 NaN 0 1;,惯性权重的修改,认知因子的修改,Thank You !,
