《人工智能机器学习方法解决方案》由会员分享，可在线阅读，更多相关《人工智能机器学习方法解决方案（7页珍藏版）》请在金锄头文库上搜索。
1、人工智能机器学习方法解决方案经典机器学习解决方案经典统计机器学习在处理长尾分布带来的挑战时，往往借助一些处理 传统类别不平衡问题，以及处理代价敏感学习问题的技术手段和解决方 案。现有技术大体上有三类做法，第一类重采样法，即通过采样方式缓解 长尾分布带来的样本极度不平衡；第二类重权重法，即通过改变学习权重 来调整不同样本数类别的学习比重；第三类后处理法，即在模型学习后调 整分类器参数的做法。2.1 重采样法重采样法是对训练集中不同类别训练样本数目直接进行调整，进而保证各 类别样本数目平衡的一类方法，主要有“欠采样”和“过采样”两种。 “欠采样”法，顾名思义，即去除一些样本较多的头部类别的样例，使
2、得 所有类别样本数目基本一致，然后在平衡后的数据上再进行学习；而“过 采样” 则会复制一些样本较少的尾部类别的样例，从而达到各类别样本 数目一致的状态，之后进行学习。2.2 重权重法重权重法除应用在长尾数据分布学习任务外，还常应用于代价敏感学习， 实际操作时通常在目标函数（或损失函数）上针对尾部类别的训练数据施 加较大惩罚，借此克服类别不平衡带来的问题。一般而言，损失函数中的 惩罚因子大小与类别对应样本数成反比，即样本数越多的类，其惩罚因子 越小；样本数越少的类，其惩罚因子越大。近期，Cui等在传统重权重法基础上提出了一种基于“有效样本数”的重 权重方法，替代了之前根据样本数目比例确定惩罚权重
3、的做法，在诸多长 尾分布数据集上取得了较好的精度。接着， Cao 等也提出了一种基于 margin的重权重法，一方面表明不同样本数的类别应对应不同margin ； 同时提出对于尾部类别须引导学习器得到较大margin，方能在长尾分布 数据上取得满意性能。2.3后处理法后处理法一般用于基于深度神经网络模型训 练的分类器，通过调整分类器向量的模长，达到 缓解长尾分布数据对网络训练的影响。Kang等在 研究中指出，对于经过反向传播算法训练收敛后 得到的深度模型而言，对于第i个类别的分类器 其模长|3|与该类别样本数基本呈现正相关， 即样本多的类别其分类器模长也相对较大，从而 长尾数据训练得到的分类器
4、模长的分布也同样呈 现接近长尾分布的形态。具体进行分类器模长正 则化操作时，可对每类分类器作模长约束，即其中T为（0,1）区间的超参数，视不風数据集直定虫 3深度学习解决方案众所周知，深度学习是处理视觉识别应用的利器。长尾数据分布除影响深 度模型分类器学习的同时，其极端的不平衡特性还给特征表示学习带来了 巨大负面影响。针对长尾数据分布的深度学习解决方案主要分为三类，第 一类是二阶段训练法，即通过两个阶段的训练，先后兼顾特征学习和分类 器学习，从而克服长尾分布带来的类别极度不平衡问题；第二类是新型损 失函数，即构造新式损失函数缓解类别不平衡；第三类是特征学习和分类 器学习解耦，即将学习目标不同的
5、二者解耦，各司其职，互无影响，进而 协同起来提升模型预测精度。3.1 二阶段训练法深度学习应用中较常用的一种技巧是finetuning，针对长尾数据分布的二 阶段训练法便源于此。具体而言，二阶段训练法将基于长尾数据分布的模 型训练过程分为两个阶段：第一个阶段供给深度神经网络的训练数据仍服 从原始长尾分布，从而确保特征表示学习的效果；而第二阶段为缓解长尾 分布带来的极度不平衡，此时会使用重采样或重权重法构造类别平衡的训 练数据，同时配合较小的学习率进行二阶段 fine-tuning。3.2 新型损失函数该类方法主要聚焦在如何设计新型损失函数来指导深度网络学习，比较经典的代表性算法为Range l
6、oss和Focal loss。2017年” Zhang等首先用 切分实验的结果解释了长尾分布带来的性能损失，并受此启发提出Range loss来增加类间距离同时减小类内距离，在此基础上该损失函数还可避免 模型训练被头部数据主导，且会惩罚由尾部数据（因样本不足）带来的类 内松散问题。另一代表性方法 Focal loss 提出之初是为了解决一阶段的通用物体检测 模型，在物体检测任务中带来的类别不平衡问题；随后硏究者发现，Focal loss在处理长尾分布数据时也有较好表现。Focal loss的设计思想与重权 重法一致，本着尽量减小头部数据主导作用的想法，该损失函数在传统的深度学习交叉熵损失函数前
7、添加一个权重项，进而调节不同样本数目类别的学习权重，即FL(p,)=-(lp,):，log (p,) 其中，R为类别预测置信度；y为大于或等于0的 超参数，用以控制网络对该预测的惩罚程度。 3.3特征学习和分类器学习解耦在深度学习中，特征学习和分类器学习通常 被耦合在一起进行端到端的模型训练。但在长尾 分苻数W対扱度不平賛因素彩疋下.恃它字习礼 分类器学习的效果均会受到不同程度干扰。在我 们发表于CVPR 2020的工作中，首次揭示了重采 样和重权重法这类类别重平衡的方法，其奏效之 原因实际在于显著提升了深度网络的分类器学习 模块的性能；于此同时还出于意料的发现，这类 重平衡方法由于刻意改变样
8、本数目(重采样法) 或刻意扭曲数据分布(重权重法)，它们在一定 程度上会损害深度网络学习到的深度特征的表示 能力。基于该发现提出了一个双分支神经网络结 构用来同时兼顾特征学习和分类器学习，将深度 模型的这两个重要模块进行解耦，从而保证两个 模块互不影响，共同达到优异的收敛状态，协同 促进深度网络在长尾数据分布上的泛化性能。如图3所示，我们设计了两个网络分支分别 负责通用特征学习和处理长尾分布带来的类别不 平衡，之后在最后的特征层面(診彝牛刖哄赣静 测结果层面(炉:尤、均施加了一个随训练 轮数平方递减的调和因子氐经实验验证，我们 的方法在多个长尾分布的标准数据集(iNaturalist 2017
9、/2018. CIFAR-10-LT 和 CIFAR-100-LT )上 均取得了目前最佳的视觉识别性能丽即工辭缈IIII圏2碣宾神经网第I SJwc 醫祝.hi* ；二 匕A芸耒巾国丄工智能学乞4 结束语长尾数据分布在日常生活的诸多应用场景广泛出现，但目前针对长尾 数据分布，特别是深度学习方向的研究工作还处于起步阶段，未来还有很 大的研究和发展空间。现有的针对长尾数据分布的深度视觉识别的研究，主要集中在比较直 接的损失函数设计，以及传统机器学习技术（如类别不平衡和代价敏感方 法）的应用上，最近一段时间将特征学习和分类器学习解耦的思路逐渐崭 露头角变成主流。相信不久的将来，结合更加深入分析深度神经网络本质特性的解决长 尾数据分布问题的网络结构和解决方案会被陆续提出。当 然，除了视觉 识别任务之外，如何处理视觉检测等任务中的长尾数据分布问题也是值得 进一步深入研究的课题。
