基于多模态多标记迁移学习的早期阿尔茨海默病诊断 程波 朱丙丽 熊江Summary：针对当前基于机器学习的早期阿尔茨海默病（AD）诊断中训练样本不足的问题，提出一种基于多模态特征数据的多标记迁移学习方法，并将其应用于早期阿尔茨海默病诊断所提方法框架主要包括两大模块：多标记迁移学习特征选择模块和多模态多标记分类回归学习器模块首先，通过稀疏多标记学习模型对分类和回归学习任务进行有效结合；然后，将该模型扩展到来自多个学习领域的训练集，从而构建出多标记迁移学习特征选择模型；接下来，针对异质特征空间的多模态特征数据，采用多核学习技术来组合多模态特征核矩阵；最后，为了构建能同时用于分类与回归的学习模型，提出多标记分类回归学习器，从而构建出多模态多标记分类回归学习器在国际老年痴呆症数据库（ADNI）进行实验，分类轻度认知功能障碍（MCI）最高平均精度为79.1%，预测神经心理学量表测试评分值最大平均相关系数为0.727实验结果表明，所提多模态多标记迁移学习方法可以有效利用相关学习领域训练数据，从而提高早期老年痴呆症诊断性能Key：多模态学习；多标记学习；迁移学习；阿尔茨海默病；特征选择：TP1810引言阿尔茨海默病（Alzheimers Disease， AD），又称老年痴呆症，是一种脑神经元以及神经元之间连接的渐进性损伤，而引起的认知和记忆功能减退的中枢神经系统退行性脑部疾病。
65岁以上老人中约有八分之一患有AD，随着年龄增长患病率明显增加研究预测2050年AD患者将达到1.15亿[1]，因此，尽早发现并治疗能有效延缓疾病发展进程，那么，AD早期阶段诊断，也就是轻度认知功能障碍（Mild Cognitive Impairment， MCI）诊断对延缓并治疗AD具有十分重要的意义近年来，大量基于多模态特征的机器学习方法被应用于早期AD诊断[2-8]这些多模态特征，通常有结构磁共振成像（Magnetic Resonance Imaging， MRI）、正电子发射型计算机断层成像（Positron Emission Tomography， PET）、脑脊液（Cerebrospinal Fluid， CSF）以及其他模态脑图像特征这些基于多模态方法的研究[2-8]表明，采用多模态特征的方法能获得比单模态方法更好的分类性能，因为不同模态特征之间的互补性判别信息通过多模态方法能有效融合最近，一些研究除了单纯预测疾病类别之外，也开始关注估计患者神经心理学量表测试评分值[3，9-10]其中有不少研究关注估计简易精神状态检查量表（Mini-Mental State Examination， MMSE）、阿尔茨海默病评定量表（Alzheimers Disease Assessment Scale-Cognitive subscale， ADAS-Cog）评分值[2，10-11]。
相比分类方法预测疾病类别，回归方法估计神经心理学量表测试评分值能更加精细地诊断疾病的临床阶段；但是，有一些学者发现预测疾病类别与估计神经心理学量表测试评分值是非常相关的学习任务[3，12-13]，于是出现了一些学者开始研究结合分类与回归方法其中：Zhang等[3]提出了一种多模态多任务学习方法，能从分类与回归学习任务中学习出共同的最优特征子集；Zhu等[12]提出了一种基于矩阵相似性度量的多任务学习方法，能同时从多模态多任务训练集中学习出最优特征子集；此外，Wang等[13]提出了一种结构稀疏多任务学习模型，能从分类与回归学习任务中学习对AD疾病敏感的神经图像特征以上研究表明，结合具有相关性的异质多学习任务能明显改进单一学习任务的性能然而，现有大多数结合分类与回归学习任务的研究中，训练集数据都来自同一学习领域在基于脑图像疾病诊断的临床实际中，存在许多相关学习领域的数据可利用例如，最近一些研究发现，诊断AD与诊断MCI是非常相关的两个学习领域，并且利用分类任务AD与正常对照组（Normal Control， NC）能有效改进诊断MCI的分类（也就是MCI转化为AD表示为MCI-C；MCI不转化为AD表示为MCI-NC）性能[7，14-15]。
另外，引入相关学习领域数据能有效缓解小样本问题在机器学习领域里，一些学者提出迁移学习来有效利用相关学习领域数据，并在计算机视觉应用领域获得了较好的性能在本文中，为了有效利用多模态相关学习领域（也即是诊断AD）数据，提出了多模态多标记迁移学习模型（Multimodal Multi-Label Transfer Learning， M2LTL）具体来讲，多模态多标记迁移学习框架主要包括两个模块：1）多标记迁移学习特征选择模型，从多个学习领域训练集上寻找最具判别性的特征子集；2）多模态多标记分类回归学习器，同时进行疾病分类诊断和神经心理学量表测试评分值估计为了验证本文提出方法的有效性，采用国际老年痴呆症数据库（Alzheimers Disease Neuroimaging Initiative， ADNI）上的MRI、PET和CSF多模态数据进行实验1多模态多标记迁移学习模型临床上医生通常结合多种诊断方式来确诊早期阿尔茨海默病鉴于此，本文要结合当前机器学习诊断早期阿尔茨海默病的两大主流方法，也即是分类、回归另外，有研究表明：分类方法预测疾病类别与回归方法估计神经心理学量表测试评分值是非常相关的学习任务。
基于以上动机，本文采用多标记学习的方式来结合分类与回归学习任务另一方面，当前大多数研究采用的训练集数据来源比较单一，且训练样本有限其实，临床上有很多相关领域数据（也称为相关学习领域）以及其他模态的数据可利用，因此，本文提出要在多模态多领域训练数据上设计多标记学习算法，也就是多模态多标记迁移学习模型具体来讲，多模态多标记迁移学习模型应用于早期阿尔茨海默病诊断包含以下几个方面：首先对MRI、PET图像进行预处理，并提取特征；然后采用多标记迁移学习特征选择方法分别从提取出的MRI、PET特征上选出最优特征子集；最后将选出的有效特征子集输入到多模态多标记分类回归学习器，以完成疾病类别的预测和神经心理学量表测试评分值的估计1.1多标记迁移学习特征选择从临床上采集的MRI、PET图像上提取出特征，一般情况下不能直接用于分类器进行分类因为提取的特征通常维数还比较高，而且其中包含有一部分不相关的特征为了从提取的MRI或PET图像特征中找出有效的决策性特征子集，文献[16]提出基于稳定特征选择的稀疏Lasso（Least absolute shrinkage and selection operator）模型，实验表明该方法能获得更有效地判别性特征子集。
然而，该研究的稀疏Lasso模型不能用于多标记组的目标变量鉴于此，本文提出稀疏多标记Lasso模型通过优化式（1），得到的W中被选中特征对应的行向量不全是非零值，这样便可实现同时选择对所有标记组都有用的特征，也可保持自身标记组内有用的特征采用ML-Lasso模型进行特征选择的工作过程为：首先输入训练集数据矩阵X，以及其对应的多标记矩阵Y（本文采用了3组标记，分别是疾病类别标记向量y1、MMSE评分值标记向量y2和ADAS-Cog评分值标记向量y3）；然后采用式（1）的ML-Lasso模型进行优化，从而得到稀疏权值矩阵W；最后挑选W的各个列权值向量非零值下标对应的特征采用传统基于单一领域训练集的机器学习脑图像分析方法进行脑疾病诊断，通常不能完成令人满意的性能；但在最近的研究中发现，多领域学习逐步被应用于多模态脑图像分析研究中[7，14]，并能完成比单一领域学习更好的性能，因此，本文引入相关学习领域作为辅助领域知识，扩展前面的稀疏多标记Lasso模型，并提出稀疏多标记迁移学习Lasso模型另一方面，稀疏多标记Lasso模型，只适用于基于单一领域的多标记学习问题如果要处理多领域数据，只能分别使用该模型，通过式（1）优化，分别得到各个领域里的优化权值矩阵集合为{W1，W2，…，WD}，D为学习领域总个数。
由于这些权值矩阵分别在各自领域数据上单独优化得到，无法获得多领域之间的相关性知识为了充分挖掘多领域之间相关性先验信息，加入了各个领域之间的权值系数列向量wl，d局部平滑正则化项（d表示领域个数索引变量），也就是∑Ll=1∑D-1d=1‖wl，d-wl，d+1‖22，其作用是使各领域里同一类型的标记组尽量相似，那么，扩展式（1）的目标函数，提出的稀疏多标记迁移学习Lasso模型的目标函数为：其中：优化变量三维矩阵W^∈RF×L×D是由各个领域的权值矩阵Wd组成的三维权值矩阵，Wd表示第d学习领域的权值矩阵；Xd第d学习领域的训练集；Yd为该领域训练集对应的多标记组矩阵；λ1，λ2，λ3>0为正则化参数，用以控制式（2）中各项的贡献度；‖·‖F运算表示矩阵的Frobenius范数目标函数式（2）的最优化问题可以通过文献[17]提出的快速梯度法求解采用稀疏多标记迁移学习Lasso模型进行特征选择的工作过程为：首先输入所有学习领域训练集数据矩阵Xd（本文只采用了两个学习领域，也即是一个辅助领域（AD和NC）与一个目标领域（MCI-C和MCI-NC），故D=2），以及多领域训练集对应的多标记组矩阵Yd（每个领域都有3组标记）；然后采用式（2）的稀疏多标记迁移学习Lasso模型进行优化，从而得到三维稀疏权值矩阵W^；最后挑选W^中的目标领域权值矩阵非零值下标对应的最优特征子集。
1.2多模态多标记分类回归学习器对于提取的MRI、PET特征集合，分别采用前面提出的多标记迁移学习特征学习算法，借助相关辅助领域数据，获得目标领域用于分类与回归的最优特征子集接下来，采用多核学习技术来融合多模态特征数据，该方法在一些研究[2-3]中多次被使用且很有效首先，各个模态特征数据被转化核矩阵然后，采用多核学习技术融合这些多模态核矩阵那么，对于第m模态上任意样本x（m）i和x（m）j，其多模态合成核函数k为：k（xi，xj）=∑Mm=1cmk（m）（x（m）i，x（m）j）（3）其中：k（m）为第m模态上任意样本x（m）i和x（m）j之间定义的核函数；cm为第m模态上核函数的权值，需要在训练集上采用交叉验证的网格搜索方法来优化确定通过式（3），融合后目标领域核矩阵为：K=∑Mm=1cmK（m），它被用于下一步的分类与回归学习器中为了有效融合多标记组以用于同时分类与回归学习任务，采用式（1）稀疏多标记Lasso的变形优化问题，那么多标记分类回归学习器目标函数为：minV12‖KV-Y‖2F+β∑L-1l=1‖vl-vl+1‖22（4）其中：K∈RN×N是多模态特征融合的核矩阵；权值矩阵V=[v1，v2，…，vL]∈RN×L表示各个训练样本在多标记组上的权值，其任意一个列向量为vl；正则化项∑Ll=1‖vl-vl+1‖22的作用是使各个标记组之间权值列向量尽量相似； β>0用于控制（4）中各项的贡献度。
目标函数式（4）的最优化问题也可以通过文献[17]提出的快速梯度法求解采用多标记分类回归学习器进行同时分类与回归的工作过程为：首先将通过特征选择后的多模态目标领域训练集映射到核空间，得到多模态核矩阵K（m），然后采用式（3）方法得到核矩阵K；接下来将K和目标领域多标记组矩阵Y（仍是3组标记）输入到式（4）的多标记分类回归学习模型进行优化，从而得到权值矩阵V；最后将测试集数据矩阵乘以权值矩阵V，从而得到预测的标记组矩阵通过多标记迁移学习特征选择方法可以获得对疾病敏感的特征子集，紧接着多模态多标记分类回归学习方法紧密结合了多模态和多标记先验信息，从而实现了充分利用了多标记先验信息与传统机器学习方法单纯使用多模态数据、多领域数据、或者多标记信息不同，本文提出的多模态多标记迁移学习模型能同时结合多模态、多领域和多标记信息，多。