基于深度多任务学习的层次分类

《基于深度多任务学习的层次分类》由会员分享，可在线阅读，更多相关《基于深度多任务学习的层次分类（8页珍藏版）》请在金锄头文库上搜索。

1、第 2 卷 第 期 计算机辅助设计与图形学学报 Vol 2 No 201 年 月 Journal of Computer Aided Design 深度学习 层次分类 多任务学习 中图法分类号 TP181 Deep Multi Task Learning for Hierarchical Classification Zhao Qilu Li Zongmin College of Computer and Communication Engineering China University of Petroleum East China Tsingtao 266580 Abstract Exi

2、sting deep Convolutional Neural Networks CNN are trained as flat N way classifiers and few efforts have been made to leverage the hierarchical structure of categories In this paper we combine hier archical classification with CNN which makes the category hierarchy embedding into deep networks Based

3、on the structure of concept tree hierarchical classification methods can train inter related classifiers jointly to enhance their discrimination power Besides we add an inter level constraint to train the classifiers of non leaf nodes which can control inter level error propagation In the experiment

4、s we build up two CNNs with different architectures and our approach lowers the top 1 error by 2 4 Key words Convolutional Neural Networks Deep Learning hierarchical classification Multi Task Learning 现实世界中的概念可以按照一定的关系组织 在一起 比如 WordNet 1 WordNet 将大量的英文 名词按照一定的关系组织成一棵概念树 这些关 系包括 抽象 具体 整体 部分 等等 概念树包含

5、丰富的知识 对于人工智能中的许多任务 是一个 非常好的知识库 在自然语言处理中 WordNet 常 被用来度量词之间的语义距离 2 在计算机视觉中 概念树常常被用来组织类别 指导层次性分类器 收稿日期 20 修回日期 20 基金项目 国家自然科学基金 61379106 61379082 61227802 山东省自然科学 基金 ZR2013FM036 ZR2015FM011 赵其鲁 1987 男 博士研究生 主要研究方向为计算机视觉 机器学习 李宗民 1965 男 博士 教授 博士生导师 CCF 会员 E200011175S 论文通讯作者 主要研究方向为图像处理 模式识别 计算机图形学 2 计算

6、机辅助设计与图形学学报 第 2 卷 的构建 3 层次分类是一种依托概念树结构的图像分类 方法 其所使用的概念树可以分为两类 预定义的 概念树和自动生成的概念树 预定义的概念树通 常来自一些专业领域 比如生物分类 或者来自某 些专家的认知 除了视觉信息 还包含了大量其他 方面的知识 自动生成的概念树 由聚类等算法在 视觉特征的基础上自动生成 主要包含了概念之 间的视觉差异与关联 在这篇文章中 我们关注的 是预定义的概念树 因为它包含更为丰富的知识 能够从中学习到表征力更强的特征 依托概念树 层次分类方法训练一棵树形分类器 其优势如下 4 一 加快预测速度 由树的根节点沿某条路径向下 预测 可以将

7、预测时的计算复杂度由 O N 降低到 O log N 二 对于某个节点 其分类器专注于区 分其子女节点 而它的子女节点数量相对于叶节 点数量是较小的 这使得分类的复杂度有所降低 三 树形结构分割了原先较大的特征空间 这使得 每个节点可以专注于自身的视觉特性 为特征选 择等方法的使用提供了非常好的条件 其中第一 点对大规模图像分类尤其具有吸引力 虽然结构 化的树形分类器具有以上诸多优势 但它也受两 个很严重的问题困扰 一 层次间的误差传播 当 某一中间节点出现分类错误 那么其子女节点注 定无法正确分类 二 扩展性较差 当出现新的类 别时 有可能需要调整整棵树 代价很大 虽然有 些工作提出了一些解

8、决方案 但误差传播和扩展 问题仍然是极其具有挑战性的难题 近几年 深度学习以其良好的特征学习能力 逐渐成为诸多计算机视觉任务中的主流方法 尤 其是卷积神经网络 Convolutional Neural Networks CNNs 5 6 通过有监督方式训练的 CNN 不仅达 到了很高 的 分类准确 度 而且网络 中间层的 feature maps 展现了非常好的特征泛化能力 虽然 CNNs 在小数据集上容易陷入过拟合的问题 但通 过迁移学习的方式 7 将在大规模数据集上预训练 的网络在小数据集上进行微调 可以很好的解决 过拟合的问题 这些工作已经表明 在大数据的支 持下 CNNs 有良好的特征

9、学习能力 目前大多数 CNNs 使用平面的 softmax 分类器 没有很好地利 用类别之间的关联性 这是不合理的 比如 德国 牧羊犬与金毛都是狗的子类别 区分这两个类比 区分德国牧羊犬与波斯猫难度要大 所需关注的 视觉特性也大为不同 为了解决这个问题 我们将 层次分类与 CNNs 的相结合 实际上 二者具有一 定的互补作用 层次分类中的结构化分类器设计 可以将类别之间的结构信息引入至 CNNs中 与此 同时 CNNs 良好的特征学习能力有助于缓解误差 传播对层次分类造成的影响 鉴于此 在本文中我 们研究的内容是 如何将层次分类与 CNNs相结合 以增强 CNNs 的特征学习能力与分类器的区分

10、能 力 我们从两个方面来思考这个问题 一是网络 结构需要如何设计 以契合类别之间的关系 二是 分类器如何训练 以反映不同节点之间的关联 对 于网络结构的设计 我们可以借鉴 HD CNN 8 HD CNN 与本文的研究内容有些相似 旨在将类 别之间的结构信息引入至 CNNs中 但几乎没有考 虑分类器的联合训练问题 具体的网络结构将在 后面介绍 这里只特别说明一下本文与 HD CNN 的不同之处 一 HD CNN没有重视分类器的训练 分类层几乎没有考虑类别结构上的关联 二 HD CNN 的训练方式比较复杂 我们省去了网络 预训练的过程 三 HD CNN 使用一棵自动生成的 概念树 而我们在本文中使

11、用一棵预定义的概念 树 对于分类器的联合训练问题 我们借鉴之前在 层次分类方面的一些工作 特别是文献 4 9 具 体的方法将在后面介绍 这里只特别说明分类器 的设计特点 每个分类器包含两部分预测结构 参 数 共享部分和独有部分 其中共享部分为兄弟 节点分类器共享 同时也是父节点分类器的独有 部分 这种分类器设计考虑了概念树节点的关系 第 期 赵其鲁 等 基于深度多任务学习的层次分类 3 将类别结构融入至分类器学习中 同时也能够影 响 CNNs 的特征学习 1 相关工作相关工作 1 1 层次分类层次分类 利用概念树探索类别之间的结构信息并用于 图像分类任务 在计算机视觉中屡见不鲜 这一类 工 作

12、 可 以 称 之 为 层 次 分 类 Hierarchical Classi fi cation Gregory Griffin 等 10 先是使用交叉验 证的方式计算混淆矩阵 然后使用谱聚类在混淆 矩阵上按自上而下的方式进行层次聚类 生成树 形层次结构 接着在每个节点上训练一个 SVM 分 类器 预测时采用弹珠机方式以降低计算复杂度 但囿于层次误差传播 相比于传统的平面分类 flat classification 精度下降了 10 左右 Bengio 等 11 提出了 Label tree 方法 其生成方式和文献 10 相 同 Label tree 方法将每个中间节点当作一个普通 的类别 与

13、叶节点类别一起通过多任务学习的方 式训练分类器 并在训练过程中将树中的类别结 构信息融入至损失函数中 这一点同本文思路一 致 Lable tree 使用交叉验证的方式计算混淆矩阵 需要预训练很多one vs all的SVM分类器 这种方 法的计算代价很大 并不实用 Marcin Marszalek 等 12 使用模糊聚类的方法构建概念树 将靠近分 组边界的模糊类别分配至多个子节点 以降低层 次间的误差传播 Tianshi Gao 等 13 提出了一种很 有特点的方法 借鉴文献 12 模糊分组的思路 将 分类器学习与概念树的生成合二为一 形成一棵 二叉分类树 其策略是在每个节点都划分出分离 性最

14、好的两组类别 外加一组靠近边界的模糊类 别 分组方法不是传统的聚类算法 而是使用 SVM 分类器 简单来讲就是将分组视为一个二分 类过程 通过迭代的方式来优化训练样本的正负 性以及分类超平面 这种方法的缺点很明显 二叉 树深度很大 误差传播带来的损失增大 而且学习 过程比较复杂 特别是随着树深度的增加 类别相 似度在逐渐增大 分类超平面的学习难度也随之 增大 Jia Deng 等 14 提出的方法同 13 在思路上很 像 允许模糊类别的存在 分类器学习与概念树构 建同步完成 不同的是 子女节点的数量大于二 这使得概念树更为平衡 从方法上讲 这篇文章最 为独特的地方是用样本所属分组的大小来定义分

15、 类效率 样本所属分组的类别数量越小 则预测出 正确的类别所需要的分类次数就可能越小 即效 率越高 通过限制效率值 可以使得概念树更为平 衡 Jianping Fan 等 4 9 15 16 做了一系列关于 层次分类的工作 其代表性工作的大体思路如下 首先计算类别之间的相似度 然后使用谱聚类生 成一棵概念树 他称之为视觉树 visual tree 视觉 树的基础上 自底向上的训练分类器 在训练分类 器的过程中 考虑父子节点之间的关联性 即子女 节点共享的视觉特性可视为父节点自身的视觉特 性 为抑制误差传播的影响 在分类器的训练过程 中加入一个传播限制 即样本属于某个节点的概 率不得大于属于其父

16、节点的概率 为了增强特征 表征力 在分类器学习或者视觉树构建过程中 加 入特征选择机制 除了普通的特征选择方法 还包 括特征模态的选择 比如在文献 4 中一共使用了 四种不同模态的特征 包括纹理 颜色 形状和结 构 Fan 的方法在训练上较为复杂 设计上非常精 致 但仍然受误差传播的影响 相比于传统的平面 分类 精度随着视觉树深度的增加而下降 在本文 中 我们借鉴Jianping Fan在文献 4 9 中的分类器 设计 将其与 CNNs 进行结合 1 2 深度卷积神经网络深度卷积神经网络 2012 年起 随着卷积神经网络 Convolutional Neural Networks CNN 5 6 在图像分类方面取得 的突破性进展 深度学习成为一个研究热点 依据 Lecun 等 17 的说法 CNN 能够学习丰富的层次性 的特征 在 CNN 的基础上 许多科研人员使用预 训练的模型在很多任务上取得了不错的效果 比 如语义分割 18 和目标检测 19 等 这说明 CNN 学 4 计算机辅助设计与图形学学报 第 2 卷 图 1 左图为本文使用的网络结构 右图为一个三层的概念树 与本文网络结构