《基于对抗域适应网络的土壤水分智能识别算法》由会员分享，可在线阅读，更多相关《基于对抗域适应网络的土壤水分智能识别算法（9页珍藏版）》请在金锄头文库上搜索。
1、 基于对抗域适应网络的土壤水分智能识别算法 孙德鑫（长安大学工程机械学院，陕西 西安 710064）0 引言中国有着全世界分布最为广泛的黄土高原，主要分布于陕西等7个省区、34个地级市，分布面积达44万km2，占国土面积的6.6%。随着国家战略的逐步实施，平山修城、治沟造地等大批工程落地。然而，大批的工程建设严重扰动土体，诱发了一系列工程灾变，如边坡冲蚀、边坡滑坡、填方路基坍塌等1。通常认为，水是导致边坡滑坡等灾变最为重要的因素2，因为降雨入渗会造成土壤的内聚力和摩擦力降低，为边坡滑坡等灾变提供必要条件3。而土壤含水率深层原位探测是揭示滑坡等孕育机制和演化规律的基础4。为了满足重大工程扰动下的
2、含水率测量需要，提出一种适用于不同土壤类型且不受深度制约的探测方法。通过将土壤含水率识别技术嵌入在搭载有机器视觉系统的孔洞机器人上，来完成对土壤含水率的测量，而针对此系统的研发，土壤含水率的智能识别算法最为关键。目前，对于含水率的原位探测有接触式、非接触式等方法。通常，时域反射法（TDR）5、频域反射法（FDR）6及中子法7均属于接触式探测方法。时域反射法一般通过获得土壤的介电常数来进行含水率的测量，可以进行连续测量，测量方位广且对土壤环境无扰动，但其设备较复杂且昂贵。频域反射法通常获取土壤共振频率来测量土壤含水率，它几乎具有时域反射法的所有优点，但其更容易受到土壤黏粒、盐度等因素的影响。同时
3、，针对土壤含水率长时间的实时监测问题，通常需要对所测得的含水率结果进行温度校正。中子法对土壤含水率的获取主要通过探测土壤内部的慢中子云密度来实现，其优点是操作简单、速度较快且一般不受温度的影响；其缺点是设备较昂贵、精度低、容易受土壤理化性质的影响；此外，中子的使用也会对使用者的健康有影响。相比于频域反射法和中子法，时域反射法的精度更高。红外遥感法8和探地雷达法9属于非接触式土壤含水率测量方法。肖颖等以Lamber-Beer定律为基础，研发了用于土壤含水率测量的近红外水分仪，该测量方法较其他方法具有非接触连续检测、稳定及安装方便等优点，但在土壤压实度差异较大时，需要在测量过程中进行标定，且一般对
4、土壤粒径大小比较敏感。Belton在1937年提出了探地雷达探测原理，后期被应用到土壤含水率检测中。探地雷达具有较高的分辨率以及强大的抗干扰能力，能适应大范围的土壤含水率检测，但其设备昂贵，数据的处理过程较为复杂，因此并未被大规模应用。针对黄土含水率的原位检测还有其他的一些方法，如电阻法和张力计法。电阻法利用土壤电阻率的变化进行土壤含水率的测量，探测快速，不会对土壤造成损伤，但对温度和盐分较敏感，测试误差较大。张力计法是通过将张力计插入土壤中，利用土壤中水分的压差获得含水率。张力计法的仪器操作简单、方便，可以进行实时观测，但容易受环境的影响，使得其测量精度不高。随着深度学习技术的快速兴起，计算
5、机视觉的诸多领域开始进入人们的视野，其中，对图像识别技术的研究和应用较为突出。LeNet是LeCun提出的史上第一个卷积网络，被用于手写数字的识别。Hinton提出的AlexNet是第一个深度卷积模型，采用ReLu激活函数解决梯度消失问题，并利用Dropout层防止在训练过程中的过拟合。GG和GoogleNet在深度网络结构的基础上不断加深，以提高识别的准确率。然而，一味地增加网络深度会造成模型退化问题，He等10提出一种残差连接方法，并将其应用于ResNet网络，成功解决了此问题。为使移动端或嵌入式设备能够搭载复杂而庞大的网络，Google团队于2017年提出轻量化网络MobileNet，随
6、后提出多个版本，其在牺牲小准确率的前提下大大减少了模型参数。之后，Xception11等一系列轻量化模型被提出，在具有小参数量的前提下提高了图像识别精度。aswani等12提出的self-attention机制和Transformer模型，开启了神经网络模型新范式，在NLP（自然语言处理）中大放异彩，基于Transformer强大的特征表示能力，其被引入计算机视觉任务中。Dosovitskiy等首次提出视觉Transformers模型iT，并在图像识别的任务上取得先进水平。iT模型的提出为Transformer在视觉领域的应用开启了大门，随后，系列iT变种相继被提出，如TNT、Swin Tra
7、nsformer等，从多角度、深层次挖掘了Transformer在视觉任务上的潜力。不同地区的土壤组成差异较大，构建所有地区的土壤数据集十分困难，这为开发土壤含水率识别算法增加了难度。而域适应为解决上述问题提供了新思路，域适应方法多种多样，其中，基于对抗的域适应方法是最为主流的方法。Ganin最早提出将对抗机制应用到域适应网络训练中，并提出了首个使用对抗训练的域适应网络DANN；Tzeng在DANN的基础上进行改进，提出域适应网络ADDA，将其改进为使用GAN损失将优化过程分为生成器和判别器两个独立的目标。为考虑对齐两种数据的边缘分布，Long等13提出了条件对抗域适应方法CDAN。为了实现土
8、壤含水率的深层探测，基于域适应原理，利用所建立的土壤含水率数据集，基于对抗域适应模型CDAN进行土壤含水率的迁移识别，分别比较ResNet、Xception、MobileNet2和iT四种深度网络的含水率识别效果，以最好的网络作为域适应模型CDAN的特征提取器，通过对比分析不同特征器的域适应模型对土壤含水率图像的识别准确率，确定精度最高的模型为迁移模型，为开发土壤地质信息探测机器人提供技术支持。主要工作如下：1）针对不同地区土壤差异大、使用传统卷积神经网络方法能力差的问题，基于对抗域适应方法，利用对抗域适应模型CDAN进行含水率的迁移识别，并比较ResNet、Xception、MobileNe
9、t2和iT四种深度模型的含水率识别效果，以结果最优的网络作为域适应网络的特征提取器。2）在已建立的土壤含水率数据集和所构建的迁移测试任务的基础上，验证CDAN模型的有效性，并对比分析MobileNet2、Xception和iT模型直接迁移的效果。1 数据集1.1 构建数据集土壤含水率数据集由实验室构建，用于训练和测试所构建的含水率智能识别算法，其包括延安土壤数据集、蓝田土壤数据集、兰州土壤数据集，共有14 400张图像，每种黄土数据集包括5%、7%、9%、11%、13%、15%、17%、19%的8类以2%含水率梯度变化的土壤图像，每张图像的像素大小为244244。分别以82的比例将各数据集内的
10、图片划为训练集和测试集，用以网络参数训练和模型效果检验。1.2 迁移任务配置以构建的土壤含水率数据集为基础，在每两种黄土之间进行一种域适应训练，每一种土壤可作为源域迁移至其他两种土壤上，具体的迁移任务如表1所示。延安土壤用Y表示，兰州土壤用Z表示，蓝田土壤用T表示。表1 迁移任务配置2 模型构建2.1 ision Transformer（iT）结构iT结构中最主要的部分为Multi-head selfattention(MSA)，主要用于Transformer捕获长范围依赖关系。具体来说，MSA串联多个缩放点积注意（SA），每个SA模块以一组query(Q)、key(K)和value(V)作为
11、输入。为学习不同位置之间的依赖关系，SA计算query与所有key的点积，并使用softmax函数获得value的权重。ision Transformer的具体结构如图1所示，SA的定义如式（1）所示：图1 ision Transformer结构式中，d为Q和K的维度。则MSA定义如下：用Transformer处理图像信息，采用将图像切分成大小固定的块的做法。首先，将输入的图像XHWC重塑为XN(PPC)，其中，C为通道数，P为分割块（patch）的大小，N为输入序列的长度。将分割块的图像信息、位置信息和图像类别信息重构到一维向量作为输入：式中，xcla为可学习的嵌入词向量；为线性变换，将向量
12、压缩到D维，称为Patch Embedding；Epos为序列位置信息，E(PPC)D，Epos(N+1)D。其次，将重塑好的序列输入到Transformer Encoder中，经过L次Encoder处理，最后再经过一个LayerNorm层处理：2.2 CDAN网络结构CDAN网络结构如图2所示，首先，使用特征提取器对源域图像Xs和目标域图像Xt进行特征提取，得到特征图f，然后通过全连接层后得到预测结果g；然后将预测结果g与特征图f联合送入域鉴别器D中，表示使用多线性映射对f和g联结。图2 CDAN网络结构2.2.1 多线性调整使用多线性映射可以模拟不同变量之间的乘法相互作用，并且能够捕捉到复
13、杂数据分布后的多模态结构。然而，使用多线性映射会造成维度爆炸，故使用随机采样策略解决此问题：式中，df表示f的维度；dg表示g的维度；T(f,g)=(Rff)(Rgg)，d为采样维度，Rf和Rg为随机矩阵。2.2.2 熵调整条件判别器中，使用最大最小优化方法会存在一定问题，判别器强制不用样本具有相同的重要性，而具有不确定性、难迁移的样本会对抗产生负面影响。为了减少这种影响，通过熵为类别c的预测概率，C为类别数）定量分析分类器预测结果的不确定性，则预测结果的确定性为e-H(g)。通过基于熵的确定性策略调整域判别器，最终优化目标为：式中，G为特征提取器；L为交叉熵损失函数；(H(g)为熵感知权重，
14、(H(g)=1+e-H(g)；D为域鉴别器。3 结果与分析3.1 特征提取网络的选择在验证域适应算法效果前，需选择一个合适的特征提取器，因此，对ResNet、MobileNet2、Xception和iT四种特征提取器进行实验对比。四种特征提取网络所搭建的含水率识别模型的测试准确率曲线如图3所示。依据不同模型的测试准确率，选择最优的特征提取网络。具体参数对比如表2所示，从表中可看出，iT在三种不同土壤数据集上的平均测试准确率最高，故选择iT作为域适应网络的特征提取器。图3 识别模型准确率曲线表2 不同特征提取器在三种黄土数据集上的测试准确率3.2 算法性能对比分析进行对抗域适应算法CDAN的迁移
15、测试及与其他识别方法的对比分析，各方法在不同迁移任务上的测试准确率如表3所示。可以观察到：使用MobileNet2直接迁移方法的识别准确率最低；而与之相比较的其他直接迁移识别方法如Xception和iT的识别精度同样不高。对抗域适应方法CDAN的测试结果都明显高于其他方法，进行域适应后，平均精度提高了18%以上。因此，使用域适应方法可以有效消除源域和目标域数据分布之间的差异，可以获得较好的特征表示，从而具有较好的识别效果。CDAN算法在六种迁移任务中的测试准确率在68%84%之间，测试准确率都优于MobileNet2、Xception和iT，体现出了域适应算法的有效性。表3 不同识别方法在六种
16、迁移任务中的测试准确率4 结果与结论为了解决特定地区土壤含水率数据集训练出的卷积神经网络用于其他地区土壤含水率识别时的识别准确率低、泛化性能差以及土壤种类多样、不同地区土壤颜色差别大的问题，使用土壤含水率对抗域适应模型，构建了五种不同特征提取网络的土壤含水率对抗域适应模型CDAN，在所构建的三个地区土壤含水率数据集的基础上，利用ResNet、Xception、MobileNet2和iT网络分别作为CDAN的特征提取器，搭建具有不同特征提取网络的土壤含水率对抗域适应模型。对比分析了不同模型性能，确定了最优的土壤含水率识别模型。通过三种土壤含水率数据集的迁移实验，对比四种模型在不同迁移任务上的迁移效果。结果
