《基于多视图半监督学习的图像识别》由会员分享，可在线阅读，更多相关《基于多视图半监督学习的图像识别（8页珍藏版）》请在金锄头文库上搜索。
1、基于多视图半监督学习的图像识别 奚晓钰 吴飞 荆晓远 南京邮电大学自动化学院 摘 要： 近年来多视图学习在各个研究应用领域引起了学者们的广泛关注。传统有监督的多视图学习在学习过程中只是使用了训练样本中少数的有标签样本, 传统无监督的多视图学习反之利用了其中大量的无标签样本。相比于这两种方法, 多视图半监督学习方法能够同时利用训练集中的有标签样本以及无标签样本, 其学习目的是在多个视图里面少数有标签样本以及大量无标签样本的情况下, 在改善有监督学习的泛化性能的同时, 提高非监督学习的高效性。因此文中主要以半监督学习为研究手段, 以多视图子空间特征抽取为研究目标, 实现了其在图像识别领域的应用。在
2、 AR 和 Oxford Flowers17 公共数据库上进行的实验, 验证了所提出算法的有效性。关键词： 多视图学习; 半监督学习; 互补信息; 冗余信息; 作者简介：奚晓钰 (1992-) , 女, 硕士研究生, 研究方向为生物特征识别;作者简介：荆晓远, 教授, 博士生导师, 研究方向为模式识别、图像与信号处理、信息安全、机器学习与数据挖掘。收稿日期：2017-01-18基金：国家自然科学基金资助项目 (61272273) Image Recognition Based on Semi-supervised Learning of Multi-viewXI Xiao-yu WU Fei
3、JING Xiao-yuan School of Automation, Nanjing University of Posts and Telecommunications; Abstract： The multi-view learning has been paid extensive attention by researchers in various areas of research and applicaion in recent years.Traditional supervised multi-view learning uses only a small number
4、of labeled samples among the training samples in its learning process, but traditional unsupervised multi-view learning utilizes a large number of unlabeled samples otherwise.Compared with both methods, the multi-view semi-supervised learning method can simultaneously use the labeled and unlabeled s
5、amples in the training set.Its objective is to improve the generalization of supervised learning and the efficiency of unsupervised learning when there are a small number of labeled samples and a large number of unlabeled samples in many views.In this paper, taking semi-supervised learning as the re
6、search mean and multi-view subspace feature extraction as the research object, its application in image recognition field is realized.Experiments are performed on AR and Oxford Flowers17 public databases to verify the validity of the proposed algorithm.Keyword： multi-view learning; semi-supervised l
7、earning; complementary information; redundant features; Received： 2017-01-180 引言在许多计算机视觉1应用中, 同一物体可以在不同的角度2或者通过不同的传感器3观察, 从而产生多个不同的甚至完全互异的样本。最近, 越来越多的应用需要从视图间和视图内4两方面来进行分类。然而, 因为来自不同视图的样本5会依附于完全不同的空间, 不能相互比较, 所以视图间和视图内的共同分类基本上是不能直接进行的。因此, 之前大多数处理这个问题的方法都尝试去学习到一个多视图能够共享的公共空间6, 在这个公共空间里, 来自多个视图的样本都可以相
8、互比较。TANG 等在多视图方向提出特征选择算法 (MVFS) 7, 分别独立地对每个视图进行特征选择, 并利用谱分析对每个视图加上约束, 使多视图学习能够满足一致性的原则。该算法考虑了各个视图之间的相互关系, 但在去除不同视图之间的冗余信息方面未加考虑。JING 等提出了整体正交彩色图像识别方法 (HOA) 8, 其基于鉴别变换。通过将线性鉴别分析方法9 (LDA) 和整体正交分析方法相结合, 该方法利用 Fisher 准则10从彩色图像中分别抽取三种色彩 (红、绿、蓝) 的判别变换矩阵, 并使之满足相互正交。但该方法也有缺陷, 它在选择正交关系时直接依据固定的正交顺序, 从而忽略了各个视图
9、的差异性对最终识别效果的影响。文中提出了基于多视图半监督学习 (MVSSL) 的图像识别方法, 通过利用半监督学习方法11得到各个视图对应的投影矩阵12, 并使之按最优化的顺序进行相互正交。半监督学习方法是目前研究较多的用来解决传统有监督和无监督方法存在不足的技术。该方法不仅充分利用了多视图中的有标签和无标签样本, 还有效去除了视图特征之间的冗余信息, 从而提高了分类算法的效果。在AR13和 Oxford Flowers1714公共数据库, 通过实验对该算法的有效性进行验证。1 多视图半监督学习 (MVSSL) 为了同时利用有标记和未标记的数据, 定义 F 为预测所有训练数据的标签矩阵。其中,
10、 f iR (1in) 是第 i 个样本的预测标签。根据半监督学习的思想, F 应同时满足在训练数据和图形模型 S 中基本真实标签的平滑性。因此, 可以通过最小化以下目标函数获得 F:其中, UR 为对角矩阵, 并称为决策规则矩阵, 其对角元素 Uii是根据第 i 个数据点是否被标记来决定的。采用广义的 l2, 1损耗, 基于图的半监督分类学习框架可以重写为:其中, 和 为平衡参数;WR 为投影矩阵;bR 为偏差项; 为正则化项;1 n为一个全 1 向量。多视图半监督学习的目标函数可以表示为:其中, 为平衡参数。这种模式有效地利用了大量未标记的数据和来自不同视图之间的互补信息。最后一项 能够强
11、制获得所有视图对的结果, 让视图间尽可能一致, 从而获得更好的性能。文中提出一种高效的迭代算法来解决该模型。首先将原始公式转换为以下可替代的公式:2 鉴别特征正交变换在 JING 提出的基于鉴别变换, 用于识别整体正交彩色图像的方法 HOA 的基础上进行部分改进, 对经过上面多视图半监督学习方法下获得的投影变换矩阵进行正交变换。假设三种视图的样本数据已经得到, 然后加入多视图半监督鉴别特征正交变换, 下面是对多视图半监督鉴别分析 (MVSSDA) 方法的具体描述。2.1 获得所有视图的半监督鉴别变换 W1, W2, W3基于上述转换得到的目标函数, 利用迭代方法通过求解式 (5) 得到变换矩阵
12、 Wt, 过程如下:(1) 随机初始化 Ft, Wt和 bt;(3) 更新 Ft, Wt和 bt。分别单独对每个视图求出其相应的投影矩阵 Wt, 然后根据对每个样本向量在变换矩阵下的投影计算, 求出每个视图分别对应的特征, 再根据最近邻算法 (这里使用特征余弦) , 分别求出每个视图对应的识别效果 f (Wt) , 并从高到低排序为 f (W1) f (W2) f (W3) 。2.2 更新 W2基于上述转换得到的目标函数, 通过式 (6) 对 W2进行更新。2.3 更新 W3基于上述转换得到的目标函数, 有:将 W3W1=0, W3W2=0 转化成 W3W1, W2=0, 所以令:W=W 1,
13、 W2, 因此通过解决上面的目标函数对 W3进行更新。MVSSDA 算法描述如下:步骤 1:根据式 (5) 计算出所有视图训练样本的投影矩阵, 根据识别效果, 得到 W1, W2, W3;步骤 2:根据式 (6) 更新投影矩阵 W2;步骤 3:根据式 (7) 更新投影矩阵 W3;步骤 4:分别对 W1, W2, W3进行标准化;步骤 5:利用投影矩阵 W1, W2, W3, 将各个视图的所有样本进行相应的投影, 并将得到的每个样本的多视图特征融合在一起;步骤 6:用余弦最近邻距离分类器对所有样本进行分类。3 实验为验证文中提出算法的有效性, 将选择公开人脸数据库 AR 和 Oxford Flo
14、wers17 作为实验数据库, 这两个数据库都是模式识别领域验证算法常用的数据库。以整体正交变换分析 (HOA) 、多视图鉴别分析 (MV-DA) 和多视图典型相关分析算法 (MCCA) 为对比方法, 比较分类识别的效果。3.1 数据库公共彩色人脸数据库 AR:该数据库包含 102 类, 其中每一类有 26 张图片, 为了便于实验处理, 将图片提前处理成 60*60 的尺寸。考虑到数据库中包含光照、表情、姿势、位置等多种情况, 为了对不同的变化产生识别结果的影响进行有效评价, 从 102 类样本中每类选择 12 个具有代表性的样本作为训练集, 剩余14 个作为测试集。在半监督方法中, 训练样本
15、中一半为有标记, 另一半的标记被隐藏, 为无标记。图 1 给出包含某类的部分图片示例。图 1 AR 数据库的样本图像 下载原图Oxford Flowers17 是一个花的数据库, 包含 17 种不同的花, 每种花有 80 张图片。选用其中的 40 个样本做训练集, 20 个样本做测试集。在半监督方法中, 训练样本中一半为有标记, 另一半的标记被隐藏, 为无标记。并从样本中提取出颜色、纹理、形状、HOG、SIFT、HSV 等特征作为多个视图的特征。图 2 给出包含几类的部分图片示例。图 2 Oxford Flowers17 数据库的样本图像 下载原图将 MVSSDA 算法与 HOA、MVDA 和
16、 MCCA 进行对比。为了消除实验的偶然性, 保证实验结果的准确性, 分别在两个数据库上均做 20 次实验。3.2 实验结果与分析图 3 和图 4 分别给出了在 AR 和 Oxford Flowers17 两个数据库上 MVSSDA 算法和三种对比算法分别随机运行 20 次的识别率波动图。表 1 给出了这四种方法在两个库上对应的平均识别率和方差。图 3 AR 数据库上的识别率 下载原图图 4 Oxford Flowers17 数据库上的识别率 下载原图表 1 四种方法在两个数据库上的识别率 下载原表 从表 1 可以看出, MVSSDA 有更好的分类性能。在公共彩色人脸数据库 AR 上, MVSSDA 比 MCCA、MVDA 以及 HOA 的平均识别率提高了至少 5.11% (93.87%-88.76%) ;在 Oxford Flowers17 数据库上, MVSSDA 方法比其他三种方法的平均识别率提高了至少 5.90
