《第七章人体关键点检测 实现方法.》由会员分享，可在线阅读，更多相关《第七章人体关键点检测 实现方法.（25页珍藏版）》请在金锄头文库上搜索。
1、,计算机视觉原理与实践 第七章 人体关键点检测,定义与应用场景： 1. 人体关键点检测定义 2. 人体关键点检测的应用场景,实现方式,自顶向下 自底向上,0 2,人体关键点检测，可以分为单人关键点检测和多人关键点检测。单人关键点检测方法可分为传统方法和深度学习方法。多人的关键点检测主要依靠卷积神经网络（CNN）提高了人体关键点检测的性能和准确性。,多人的关键点检测也发展出自顶向下方法与自底向上方法两种技术路径，如图所示，并由此研究出多种行之有效的人体关键点检测算法。,自顶向下方法（Top-Down Approaches），即两步骤框架（two-step framework）。先进行人物的目标检
2、测，得到人物的建议框，然后应用单人姿态估计算法对每一个建议框预测人体的关键点，最后将关键点连接成一个人形。 需要解决如下三个方面的问题： 首先，需要考虑较大的感受野区域； 其次，不同的关键点可能需要区别对待； 最后，自顶向下的人体关键点定位依赖于检测算法的提出的方案，会出现检测不准和重复检测等现象。 一般会使用到的检测算法包括 RMPE，Mask-RCNN 等。,自底向上方法（Bottom-Up Approaches），即基于部分的框（part-based framework），关键点检测和关键点聚类，先把图片中所有的人体关键点给检测出来，再用图模型、条件随机场等算法将检测到的关键点进行匹配，
3、从而拼接出人体的姿势。 常见算法有 OpenPose，DeepCut等。,自顶向下方法 1. RMPE 2. Mask RCNN,RMPE (Regional Multi-Person Pose Estimation) 即首先执行对人的检测，确定检测区域，然后再执行单个人的姿态估计，最终将结果融合得到完整的姿态估计。,RMPE框架算法,Mask RCNN是一个使用语义和实例分割的架构。可以同时检测图像中多个物体的候选框位置和分割其语义信息的掩膜（mask）。,Mask RCNN基本框架：,实现方式,自顶向下 自底向上,0 2,自底向上方法 1. OpenPose 2. DeepCut,Open
4、Pose人体关键点检测是美国卡耐基梅隆大学（CMU）基于卷积神经网络和监督学习并以caffe为框架开发的开源库。 可以实现人体动作、面部表情、手指运动等姿态估计。 适用于单人和多人，具有极好的鲁棒性。 是世界上第一个基于深度学习的实时多人二维姿态估计，是人机交互上的一个里程碑，为机器理解人提供了一个高质量的信息维度。,OpenPose 实现过程如图所示：,DeepCut是一个自底向上的多人人体姿态估计方法。 针对人体关键点检测，实现以下关键点分类步骤： 1. 生成一个由 D 个关键点候选项组成的候选集合。该集合代表了图像中所有人的所有关键点的可能位置。在上述关键点候选集中选取一个子集。 2.
5、为每个被选取的人体关键点添加一个标签。 3. 将被标记的关键点划分给每个对应的人。,考虑二值随机变量的三元组 (x,y,z)，其中的二值变量的域如图所示：,考虑候选集 D 中的两个候选关键点 d 和 d，以及类别集 C 中的两个类 c 和 c。声明如下： 1. 如果 x(d,c) = 1，代表候选关键点 d 属于类别 c。 2. 同样y(d,d) = 1 代表候选关键点 d 和 d 属于同一人。 3. 定义 z(d,d,c,c) = x(d,c) * y(d,d)。如果上式值为 1，则代表候选关键点 d 属于类别 c，候选关键点 d 属于类别 c，且候选关键点 d 和 d 属于同一人。,Dee
6、pCut多人关键点识别： 1. 使用Fast R-CNN提取人体候选关键点； 2. 将其看作是一个经典的图节点优化问题； 3. 另一条分支，需要对关键点进行标记； 4. 进行每个人的姿态估计。,DeepCut优点： 1. 在多人的情况下可以解决多人姿态估计问题，通过归类可以得到每个人的关键点分布； 2. 通过图论节点的聚类问题，有效的使用了非极大值抑制； 3. 优化问题表示为ILP问题，可以用数学方法得到有效的求解。,DeepCut的计算复杂度非常大。Deepercut在DeepCut的基础上，对其进行改进，改进的方式基于以下两个方面： 1. 使用残差网络(residual nework, RestNets)进行人体关键点的提取，效果更加准确，精度更高。 2. 使用图像条件成对项（Image-Conditioned Pairwise Terms）方法，能够将众多候选区域的节点压缩到更少数量的节点，算法更加强大，计算更加快速。,人体关键点检测的实现方法： 自顶向下：RMPE、Mask-RCNN 自底向上：OpenPose、DeepCut,谢谢观看,
