《脸部特征点位置校正设备、脸部特征点位置校正方法以及脸部特征点位置校正程序的制作方法》由会员分享，可在线阅读，更多相关《脸部特征点位置校正设备、脸部特征点位置校正方法以及脸部特征点位置校正程序的制作方法（6页珍藏版）》请在金锄头文库上搜索。
1、脸部特征点位置校正设备、脸部特征点位置校正方法以及脸部特征点位置校正程序的制作方法专利名称：脸部特征点位置校正设备、脸部特征点位置校正方法以及脸部特征点位置校正程序的制作方法技术领域：本发明涉及一种脸部特征点位置校正设备、一种脸部特征点位置校正方法以及一种脸部特征点位置校正程序，用于校正从图像检测到的脸部器官(眼睛、鼻子等)的特征点的位置。背景技术：对于以高精度执行脸部定向估计、脸部认证、脸部表情等而言，用于从拍摄了脸部的图像检测诸如眼睛和鼻子等脸部器官的特征点(脸部特征点)的位置(脸部特征点位置)并且输出检测到的脸部特征点位置的技术是重要的。关于对脸部特征点位置的检测，已经提出了各种方法。例
2、如，描述了一种用于检测脸部特征点并输出脸部特征点位置的技术的非专利文 献I公开了一种用于基于统计脸部形状模型来校正检测到的脸部特征点位置的方法。在该方法中，首先通过对脸部区域应用脸部特征点检测器(已经针对每个脸部特征点构造了每个检测器)来检测脸部特征点，并且针对每个检测到的脸部特征点产生对脸部特征点的适合性加以指示的可靠性图。随后，对于每个脸部特征点，基于规定的评价函数搜索具有高可靠性并且最小化与统计脸部形状模型所指示的位置的差的脸部特征点位置。在该过程中，对脸部特征点位置分配惩罚(具体地，不分配权重)，这些脸部特征点远离统计脸部形状模型所指示的对应位置。因此，即使当部分或所有脸部特征点被脸部
3、图像中的某东西(遮挡)隐藏(阻挡)时，可以获取看似可信的脸部特征点位置。描述了一种用于检测脸部特征点并且输出脸部特征点位置的技术的专利文献I公开了一种用于基于几何布置(位置关系)来校正检测到的脸部特征点位置的方法。在该方法中，首先基于输入的可靠性图在预设搜索区域内搜索脸部图像中的脸部特征点，作为搜索的结果，通过输入的可靠性图来获取初始脸部特征点位置。通过执行采用本征空间的统计几何约束过程，基于初始脸部特征点的位置关系来校正通过搜索而获取的初始脸部特征点位置。随后，基于校正的初始脸部特征点位置预设搜索区域，并且在预设的搜索区域内再次执行针对脸部特征点位置的搜索。最后，通过判断初始脸部特征点位置的
4、位置可可靠性以及作为第二次搜索结果的脸部特征点位置的位置可靠性来获取看似可信的脸部特征点位置。现有技术文献专利文献专利文献I JP-A-2009-211177非专利文献I :D.Cristinacce 和 T.F. Cootes, A Comparison ofShapeConstrained Facial Feature Detectors , in 6th InternationalConference onAutomatic Face and Gesture Recognition 2004, Korea, pp.357380。发明内容技术问题在非专利文献I中描述的方法中，当由于拍摄脸部
5、图像时的一些因素(照明条件的变化、遮挡等)针对一个或一些脸部特征点产生了错误的可靠性图时，通过规定的评价函数对这样的脸部特征点的位置分配惩罚，并且将这样的脸部特征点位置校正到与根据脸部形状模型计算的平均位置接近的位置。然而，由于执行利用规定的评价函数的计算(还包括这种脸部特征点的可靠性)。因此，存在移动其他脸部特征点的位置受错误可靠性图影响的问题。同时，在专利文献I中描述的方法中，当关于一个或多个脸部特征点输入具有低可靠性的信息时，基于几何布置(位置关系)适当地校正这样的脸部特征点的位置，只要已经正确地确定了其他脸部特征点位置。然而，如果由于脸部检测等错误在对脸部区域的位 置、尺寸和屏幕上旋转
6、的归一化中出现另一失败，则脸部特征点位置整体上偏离本征空间所表示的标准脸部形状。在这种情况下，不能判断哪些脸部特征点位置偏离标准脸部形状。因此，不能适当地计算几何布置(位置关系)，并且不能正确地确定脸部特征点位置。因此，本发明的主要目的是提供一种脸部特征点位置校正设备、一种脸部特征点位置校正方法以及一种脸部特征点位置校正程序，使得能够即使在关于一个或多个脸部特征点输入具有低可靠性的信息时也能够输出高精度的脸部特征点位置。解决问题的手段根据本发明的脸部特征点位置校正设备包括脸部特征点可靠性产生装置，针对来自脸部被拍摄的输入图像的每个脸部特征点，产生对所述脸部特征点的特征点的适合性加以指示的可靠性
7、图，所述脸部特征点指示脸上器官的特征点；初始脸部特征点位置计算装置，基于所述脸部特征点可靠性产生装置所产生的所述可靠性图，计算脸部被拍摄的图像中脸部特征点的位置；离位脸部特征点判断装置，判断所述每个脸部特征点是否是离位脸部特征点，作为不满足基于所述初始脸部特征点位置计算装置所计算的脸部特征点的位置以及基于统计脸部形状模型中与脸部特征点相对应的对应点的位置指定的规定条件的脸部特征点；脸部特征点差计算装置，根据规定的评价函数，计算除了被所述离位脸部特征点判断装置判断为所述离位脸部特征点的那些脸部特征点以外的每个脸部特征点的位置和所述与脸部特征点相对应的对应点的位置之间的差；以及脸部特征点位置校正装
8、置，基于所述离位脸部特征点判断装置的判断结果以及所述脸部特征点差计算装置的计算结果，来校正确定的脸部特征点位置。根据本发明的脸部特征点位置校正方法包括针对来自脸部被拍摄的输入图像的每个脸部特征点，产生对所述脸部特征点的特征点的适合性加以指示的可靠性图，所述脸部特征点指示脸上器官的特征点；基于产生的所述可靠性图，计算所述脸部被拍摄的图像中所述脸部特征点的位置；判断所述每个脸部特征点是否是离位脸部特征点，作为不满足基于计算的所述脸部特征点的位置以及统计脸部形状模型中与脸部特征点相对应的对应点的位置指定的规定条件的脸部特征点；根据规定的评价函数，计算除了被判断为所述离位脸部特征点的那些脸部特征点以外
9、的每个脸部特征点的位置和所述与脸部特征点相对应的对应点的位置之间的差；并且基于所述每个脸部特征点是否是所述离位脸部特征点的判断结果以及所述每个脸部特征点的位置和所述与脸部特征点相对应的对应点的位置之间的差的计算结果，来校正确定的脸部特征点位置。根据本发明的脸部特征点位置校正程序使计算机执行以下操作脸部特征点可靠性产生过程，针对来自脸部被拍摄的输入图像的每个脸部特征点，产生对所述脸部特征点的特征点的适合性加以指示的可靠性图，所述脸部特征点指示脸上器官的特征点；初始脸部特征点位置计算过程，基于所述脸部特征点可靠性产生过程所产生的所述可靠性图，计算脸部被拍摄的图像中所述脸部特征点的位置；离位脸部特征
10、点判断过程，判断所述每个脸部特征点是否是离位脸部特征点，作为不满足基于所述初始脸部特征点位置计算过程所计算的脸部特征点的位置以及统计脸部形状模型中与脸部特征点相对应的对应点的位置指定的规定条件的脸部特征点；脸部特征点差计算过程，根据规定的评价函数，计算除了被所述离位脸部特征点判断过程判断为离位脸部特征点的每个脸部特征点的位置和所述与脸部特征点相对应的对应点的位置之间的差；并且脸部特征点位置校正过程，基于所述离位脸部特征点判断过程的判断结果以及所述脸部特征点差计算过程的计算结果，来校正确定的脸部特征点位置。本发明的有利效果根据本发明，即使当关于一个或多个脸部特征点输入具有低可靠性的信息时，可以通
11、过校正脸部特征点的位置来输出高精度脸部特征点位置。图I示出了根据本发明示例性实施例的脸部特征点位置校正设备的配置示例的框图。图2是示出了示例性实施例的脸部特征点位置校正设备的操作的流程图。图3是示出了脸部图像输入装置输入的脸部图像(拍摄了脸部的图像)的示例的说明图。图4是示出了期望在脸部图像中检测到脸部特征点的说明图。图5是示出了针对右眼瞳孔中心的可靠性图的示例的说明图。图6是指示了最大可靠性位置(使可靠性最大化的位置)的说明图，其中可靠性图中的X标记围绕右眼的瞳孔中心。图7是示出了初始脸部特征点位置计算装置所计算的初始脸部特征点的位置的说明图。图8是示出了随机选择的两个脸部特征点的示例的说明
12、图。图9是示出了离位脸部特征点判断装置的判断结果的示例的说明图。图10是示出了脸部特征点位置校正装置执行的对偏离脸部形状模型的脸部特征点的位置校正结果的示例的说明图。图11是示出了本发明的概要的框图。具体实施例方式现在参照附图，详细给出对根据本发明的脸部特征点位置校正设备的示例性实施例的描述。图I示出了根据本发明示例性实施例的脸部特征点位置校正设备的配置示例的框图。如图I所示，根据本发明的脸部特征点位置校正设备I包括数据处理设备100和存储设备200。数据处理设备100包括脸部图像输入装置110、脸部特征点可靠性产生装置120、初始脸部特征点位置计算装置130、离位脸部特征点判断装置140、脸
13、部特征点差计算装置150和脸部特征点位置校正装置160。存储设备200包括脸部形状模型存储装置210。脸部图像输入装置110输入脸部被拍摄的图像(脸部图像)。根据脸部图像输入装置Iio输入的脸部图像，脸部特征点可靠性产生装置120针对每个脸部特征点产生对脸部特征点(眼睛、鼻子等)的特征点的适合性加以指示的可靠性图。初始脸部特征点位置计算装置130基于脸部特征点可靠性产生装置120产生的可靠性图，来计算脸部特征点位置(脸部特征点的位置)。下文中，初始脸部特征点位置计算装置130所计算的脸部特征点位置被称作“初始脸部特征点位置”。基于初始脸部特征点位置计算装置130所计算的初始脸部特征点位置，离位
14、脸部 特征点判断装置140判断每个初始脸部特征点位置处的每个脸部特征点是否是位于偏离(离开)脸部形状模型存储装置210中存储的统计脸部形状模型的位置的离位脸部特征点。脸部特征点差计算装置150根据规定的评价函数，计算除了被离位脸部特征点判断装置140判断为离位脸部特征点的那些脸部特征点以外的每个脸部特征点的位置与统计脸部形状模型中对应的脸部特征点(对应点)的位置之间的差。基于离位脸部特征点判断装置140的判断结果和脸部特征点差计算装置150的计算结果，脸部特征点位置校正装置160校正与(脸部形状模型存储装置210中存储的统计脸部形状模型中)对应的脸部特征点的位置的位置误差较大的脸部特征点的位置
15、。接着，以下参照附图描述脸部特征点位置校正设备I的操作。图2是示出了示例性实施例的脸部特征点位置校正设备的操作的流程图。首先，脸部图像输入装置110输入脸部被拍摄的图像(脸部图像)(步骤S111)。随后，根据步骤Slll中输入的脸部图像，脸部特征点可靠性产生装置120对脸部特征点(眼睛、鼻子等)的特征点的适合性加以指示的可靠性图(步骤S112)。初始脸部特征点位置计算装置130基于步骤S112中产生的可靠性图，来计算初始脸部特征点位置(步骤S113)。随后，基于步骤S113中计算的初始脸部特征点位置，离位脸部特征点判断装置140判断每个初始脸部特征点位置处的每个脸部特征点是否是离位脸部特征点(
16、位于偏离(离开)脸部形状模型存储装置210中存储的统计脸部形状模型的位置)(步骤S114)。脸部特征点差计算装置150根据规定的评价函数，计算除了被离位脸部特征点判断装置140判断为离位脸部特征点的那些脸部特征点以外的每个脸部特征点的位置与统计脸部形状模型中对应的脸部特征点(对应点)的位置之间的差(步骤S115)。随后，基于步骤S114中的判断结果步骤S115中的计算结果，脸部特征点位置校正装置160校正与(脸部形状模型存储装置210中存储的统计脸部形状模型中)对应的脸部特征点的位置的位置误差较大的脸部特征点的位置(步骤SI 16)。根据该示例性实施例，根据规定的评价函数，通过以下操作来校正脸部特征点的位置从自脸部图像中检测到的脸部特征点中排除位于偏离(离开)统计脸部形状模型中对应脸部特征点位置的位置处的脸部特征点；并且根据规定的评价函数，来计算每个(其余)脸部特征点与统计脸部形状模型中每个对应脸部特征点之间的位置差(误差)。因此，可以输出高精度的脸部特征点位置。示例接着，使用一些特定示例
