《基于卷积神经网络的非合作目标两阶段位姿估计方法》由会员分享，可在线阅读，更多相关《基于卷积神经网络的非合作目标两阶段位姿估计方法（18页珍藏版）》请在金锄头文库上搜索。
1、 基于卷积神经网络的非合作目标两阶段位姿估计方法 苏迪，张成，王柯，孙凯（北京理工大学 宇航学院，飞行器动力学与控制教育部重点实验室，北京 100081）近年来人类在发展空间技术的同时，也在外太空滞留了大量的太空垃圾，根据CelesTrak 调查报告，截至2022 年4 月，环绕地球周围的有效载为12 518个，其中5 613 个仍在运行，这意味地球轨道上有大量失效载荷，同时另有39 695 个碎片1，造成了卫星轨道的拥挤，增加了碰撞的风险，对未来航天器发射和目前在轨航天器正常运行都构成了巨大挑战2.为了太空环境安全，对在轨服务（on-orbit servicing, OOS）技术支持下的任务
2、需求逐渐凸显，如延长卫星的寿命、捕获空间碎片和失效卫星等.这些任务都要求能准确估计出空间目标的位置和姿态3.大多数空间目标处于非合作状态，不同于合作目标具有合作标识或通信线路等辅助装置，非合作目标缺乏航天器间的相互通信，但对于己方发射的失效卫星，通常具有已知的三维模型等先验信息.因此，如何利用空间目标的自然特征和已有的先验信息进行位姿估算是在轨服务中的关键问题.与立体相机、雷达和红外相机相比，单目相机具有质量轻、功率低、硬件简单成熟等特点.然而，单目相机不能直接获取深度信息，这是在算法设计中需要考虑的问题.传统方法通常利用基于手工设计和先验位姿信息的图像处理方法45.近年随着深度学习技术取得的
3、巨大突破6，推动了多个领域的发展79.计算机视觉领域对位姿估计产生极大兴趣，特别是在机器人上的应用10.一些研究试图通过卷积神经网络，以端到端的形式学习到二维图像和位姿之间的非线性映射关系.这给单目视觉结合卷积神经网络在非合作目标的位姿估计研究提供了一种可行思路.北京控制工程研究所的徐云飞11提出一种基于卷积神经网络的视觉测量方法，利用预训练的网络模型，在自身构建的数据集上通过迁移学习直接回归姿态.2019 年由欧洲航天局的先进概念小组（advanced concepts team, ACT）和斯坦福大学的空间交会实验室（space rendezvous laboratory, SLAB）共同
4、举办的开尔文卫星姿态估计挑战赛（the Kelvins satellite pose estimation challenge）极大推动了深度学习在非合作目标位姿估计领域中的进展，并公开了训练数据集（satellite pose estimation dataset, SPEED）12.来自泰国先皇理工大学的THAWEERATH13利用修改的预训练GoogLeNet 模型作为姿态预测网络，利用四元数表示相对姿态，直接回归位姿矢量.斯坦福大学的SUMANT 等14提出了spacecraft pose network（SPN），通过3 个神经网络分支结构估计相对位姿，包括准确度由粗到细的回归方法估
5、计相对姿态，利用目标检测框估计相对位置.PROENA 等15提出了基于深度学习的方向软分类架构，将姿态方向用混合的高斯分布表示.北京航空航天大学的张浩鹏等16提出结合核函数学习的方法，提取卫星数据集中图像特征，估计卫星姿态角.哈尔滨工业大学的李想17利用深度学习的方法对空间非合作目标进行三轴姿态估计，修改InceptionNetV3 模型扩充了网络深度，建立模型提取特征和姿态角的映射关系，估计相对姿态.以上方法大多是探索深度学习在非合作目标位姿估计中的可行性，并没有考虑到实际在轨任务中绕飞和接近情况下图像姿态特征分布的差异，以及如何针对性应用深度学习相关技术的问题.因此，针对在轨服务不同任务需
6、求，针对性的设计非合作目标位姿估计方法有助于进一步推动深度学习技术在位姿估计领域的发展.本文提出一种适用于己方失效卫星等几何模型已知的非合作目标位姿估计方法，建立深度学习模型，将位置估计和姿态估计分为两阶段进行，在阶段1 中估计相对位置，阶段2 中针对绕飞和接近情况下图像姿态特征分布的差异，设计对应模型估计相对姿态，实现了对非合作目标在轨服务中靠近任务的位姿估计.构建大规模数据集用于全过程的训练和验证，充足的消融实验验证了各阶段模型的有效性，表明了基于卷积神经网络的单目视觉方法应用于几何模型已知的非合作目标在轨服务中位姿估计的可行性.1 非合作目标位姿估计流程1.1 非合作目标位姿估计定义图1
7、 为采用单目视觉的非合作目标位姿估计示意图，描述了空间目标本体坐标系S和相机的本体坐标系C，估计每幅图像I中目标相对于相机的相对位姿 =R|t ，其中R表示相对姿态，t表示相对位置.图1 坐标系示意图Fig.1 Schematic diagram for the coordinate systems对于单幅图像的相对位姿估计，本文基于卷积神经网络设计了两阶段的相对位姿估计模型，分阶段的估计相对位置和相对姿态，模型输入为相机采集的RGB 图像，输出为估计的相对位姿.同时，本文针对在轨服务中接近非合作目标的任务过程，绕飞和接近情况下采集图像分布差异的问题，分情况设计了绕飞姿态估计模型和接近姿态估计
8、模型，模型具体设计在第2 节中进一步说明.1.2 两阶段位姿估计算法流程追踪星（相机）靠近目标星的任务过程可分为远距离绕飞和近距离接近两种情况，对空间非合作目标而言通常是追踪星由远及近的过程.近距离接近情况在远距离绕飞后进行，即远距离绕飞寻找有利接近方向，切换近距离接近.在远距离绕飞情况下，由于不知道空间目标初始状态，要求估计模型具有对全范围状态的估计能力，对估计模型的泛化性要求更高.在近距离接近情况下，通常选择相机和目标星惯量主轴平行作为有利方向，空间目标的相对位姿分布比较集中，对估计模型的精度要求更高.因此，添加相机和目标星惯量主轴是否平行的判断条件，切换不同的估计模型对非合作目标进行位姿
9、估计.估计流程如图2 所示.图2 位姿估计流程图Fig.2 Flowchart of pose estimation开始位姿估计后，采集原始非合作目标图像并对图像预处理，预处理包括图像缩放、转化为张量格式、归一化3 个步骤，将处理后的图像输入至两阶段位姿估计模型的阶段1 中进行相对位置估计，输出相对位置和检测框，将检测框内图像输入至阶段2 中进行相对姿态估计，根据指令调用绕飞或接近姿态估计模型，估计的相对位姿用于设置切换模型指令，并判断目标星和追踪星距离是否满足要求，决定位姿估计是否结束.2 两阶段位姿估计模型2.1 模型总体框架图3 为两阶段位姿估计模型结构图，本文将6 自由度位姿估计分为2
10、 个阶段: 阶段1 包含目标检测模块和位置参数回归模块，2 个模块共用一个特征提取网络ResNet5018；阶段2 分为绕飞姿态估计和接近姿态估计两种情况.网络模型输入均为检测后的目标区域图像.绕飞分支包含姿态求解器，求解器通过模型输出的多角度类别权重计算姿态.接近分支包含姿态参数回归模块，回归的姿态经过标准化层输出单位四元数作为姿态.图3 两阶段位姿估计模型结构图Fig.3 Overview of two stage pose estimation model总体来看，两阶段位姿估计模型在估计非合作目标位姿过程中经过3 个环节：目标检测、位置估计、绕飞/接近的姿态估计.2.2 目标检测和位置
11、回归模块如图3 所示，在阶段1 中，将目标检测模块和位置参数回归模块融合在一个模型中，这是由于二者具有强相关性，某种程度上，目标检测框的位置和大小反映了目标的位置信息.目标检测模块部分参考Faster R-CNN19，采用区域候选网络（RPN）作为检测模块.位置回归模块采用全连接层回归位置参数.骨干网络输出的特征图输入至RPN 生成检测框的同时，另外通过全局平均池化层（GAP）、位置回归模块和Tanh 激活函数输出位置参数.目标检测和位置回归模块二者共用一个骨干网络，逻辑上二者属于并行结构，共同训练.RPN 将任意尺寸的特征图作为输入，生成一系列矩形候选框，并对每个候选框打分，用来判断框内图像
12、是前景还是背景.在本文应用场景中，只有空间目标一个类别.采用预先设置的锚框和边界框回归损失.由于RPN 是已经提出的技术，并且在本文中可以替换，其细节不过多描述.针对空间目标尺度变化的情况，本文预设anchor 包含3 种面积（3232，6464，128128），每种面积包含3 种长宽比（0.5，1.0，2.0）.RPN 的作用为提供一个包含空间目标的检测框.如图1 所示，相对位置t=tx ty tzT是空间目标质心相对于相机坐标系的三维坐标.由于直接从图像特征中回归t的泛化性不好，并且在实际使用中估计精度不高，本文中将位置参数分为目标的三维质心在二维投影的位置和目标与相机的距离tz.具体来说
13、，可以通过定位目标在像素坐标系下的中心和三维质心的距离来估计相对位置.阶段1回归归一化的位置参数tc=cx cy czT，通过投影方程将t转化为tc：式 中：HF和 VF分别为水平和垂直视场角；Mz为tz的最大值.除了对位置回归参数的设置外，损失函数的设计对估计模型的优化也十分重要.在阶段1 中，首先使用基于最小化欧氏距离的 2损失优化回归参数：式 中 和 分 别 为 预 测 值 和 真 实 值.绝对误差作为评价指标在近距离和远距离的影响是不平衡的，这导致模型在近距离的位置估计中不够准确.因此还添加了基于 2损失的相对损失，提升距离的估计精度：阶段1 训练过程中，采用对各个损失项加权和的方式联
14、合训练目标检测模块和位置回归模块：式中：Ld为检测损失项；d、xy、a、r为控制对应损失项的权重.在阶段1 中，主要对位置回归参数进行设置，利用目标检测模块获取的检测框用于阶段2.阶段1 的设计可以将检测的特征信息和位置回归的特征信息进行融合，这提高了位置估计的精度.2.3 姿态求解模块如图3 所示，在阶段2 中实现对绕飞/接近情况下相对姿态的估计.利用阶段1 得到的检测框，裁剪原图像中目标区域，并使用其作为阶段2 的输入.现有的方法大多直接利用 1或 2损失来回归姿态，该方案主要的缺点是其不能准确表示任意方向的角差，并且对较大范围姿态情况的泛化性不好，但其优点是在小范围姿态情况下的准确度很高
15、.因此，阶段2根据接近非合作目标的不同情况，针对绕飞和接近分别采用间接和直接的方法估计相对姿态.其中，绕飞情况对姿态精度要求不高，对模型泛化能力要求较高，采用间接法估计姿态.间接法引入了权重的概念，将单个四元数用多个四元数类别表示，并计算对应类别的权重，把回归的问题转化为分类的问题，可以通过最小化加权最小二乘估计来求解相对姿态.接近情况对姿态精度要求较高，姿态分布范围较小，采用直接法估计姿态.直接法设置姿态回归参数为单位四元数，模型通过单位化层保证输出为单位四元数，设计对应损失函数，保证模型估计精度.在阶段2 的输入要求为检测的目标图像，考虑到由于位置和姿态之间的独立性，相同姿态下不同位置的图
16、像具有较大差异.如图4 所示，近距离的图像中空间目标占比较大，而远距离的图像中空间目标占比较小.图4 相同姿态不同位置图像Fig.4 Different translation in the same rotation图5 比较了不同位置缩放后的检测图像，二者理论上只有清晰度的差异，实际中二者相似度极高，但由于缩放过程中插值函数补全像素时存在一定误差，使其并不完全符合缩放原理.图5 放大后的检测图像Fig.5 Detected image after zooming因此，阶段2 将缩放后的检测图像作为输入，这在一定程度上保证了相同姿态下图像输入的一致性，缓解了由于输入差异导致姿态估计的误差.此外，与位置参数回归一样，在姿态估计中对回归
