《动作捕捉技术与应用》笔记笔记来源 石壮壮 蒋兰 手打 石壮壮第一讲 动作捕捉概述 1、动作捕捉是一门综合计算机图形学、电子、机械、光学、计算机视觉/软件 等技术捕捉表演者的肢体、表情，产生三维数据，对这些数据进行分析、处理 的过程 （技术方法） （sample、record）→3D2、获取动作信息的方法：模型模拟、艺术造型、动作捕捉3、捕捉动作的特点：1）真实性；2）速度快；3）可控性；4）经济性；5）可编辑性4、动作捕捉的产生和发展5、动作捕捉系统的类型 1）机械式（传感器） 优点：实时、成本低、精度高、易标定、无电磁干扰、捕捉范围大、易携带 缺点：捕捉动作有限、传感器配置不灵活、易损坏、采样速率低、无全局位移2）电磁式 发射源、接受传感器、数据处理显示 优点：六维信息（位置 x、y、z + 旋转） 、实时性好、速度快、标定简单、相 对便宜、可多人同时捕捉 缺点：电磁干扰、范围有限、比光学式采样速率低、容易出现噪音、配置不灵 活3）声学式 发送器、接受器、处理单元 优点：技术相对简单4）光学式： 通过对目标特定光点的监视和跟踪来完成运动捕捉的任务两台摄像机同时拍 到，可确定物体的空间位置。
高速拍摄→运动轨迹 主/被动式 优点：数据准确、捕捉空间大、速度快、标定简单、表演者受限小、可多人同 时捕捉、标识球数目可变 缺点：昂贵、数据需要处理、数据可能丢失、现场光需要控制、实时性局限 位置→传感→光学→电信号6.捕捉的动作类型肢体动作、局部肢体动作、面部表情、皮肤动作、动物与玩偶第二讲 捕捉系统的构成及技术分析 （以光学系统为例） 1、动作捕捉系统的构成 （1）传感器固定在运动物体上，把位置信息转化成捕捉装置可接收的信息 （2）信号捕捉设施位置信号的捕捉：对光学动作捕捉系统，高分辨率红外摄像机 （3）数据传输设备将大量的运动数据从信号捕捉设备快速准确地传输到计算机系统进行处 理实时、准确、多通道传输、同步 （4）数据处理部分（使用计算机软件）根据应用类型和应用目的，处理成所需要的形式通常用计算机软件来实 现 &*一种典型的光学动作捕捉系统的构成东方新锐 DVMC-8820 三维捕捉系统 1）DVMC-8820 传感器 轻质和表面高反射材料制成 2）DVMC-8820 信号捕捉设施专用近红外高感度摄像机，采用高感度近红外（C1）传感器转换成电 信号 3）DVMC-8820 数据传输设备多路视频控制器（1）高性能工作站（2）标识点特征学习软件用于学习三维运动捕捉系统所采用的高反射标识球的特征是适应 捕捉空间环境变化、实现高精度标识点识别的辅助工具软件。
具有实现图像显 示、灰度调节、标识点形状识别、中心演算等功能生成的参数文件支持三维 运动捕捉系统的三维空间标定运动捕捉中的实时标识点精度识别从视频信号中通过特征学习，找到特征点3）高精度三维空间标定软件通过三维空间位置标定（静态标定）和空间范围标定（动态标定） 实现三维空间的精确标定4）高精度三维动作数据采集软件核心软件 采集、自动数据匹配等处理→得到三维数据（DRS 格 式）（5）三维运动数据编辑/通用数据格式转换软件对 DRS 格式的三维动作数据进行处理和格式转换VICON、魔神、DVMC →这是其他典型的光学运动捕捉系统*短焦视野大、长焦视野小*区别灰度、光斑大小（去噪）*多目成像→3D→格式文件*转换系数（22 参数）/系统定标（6 个或者以上靶点）2、视频的采集与处理 1）视频采集系统： （1）视频采集系统结构及其文件性能参数 （2）采集的数据量-通道数目与采集速度 （3）同步控制视频采集系统的基本构成 光学镜头、图像传感器、A/D 转换器、逻辑控制器、信号处理器、缓存与输出 接口2）内容处理： （1）数据格式（包含格式说明+数据内容两部分） ； （2）内容（数据）读取； （3）数据分析（灰度、面积、不规则） 确定标志球；注意球的位置、去噪 *标识点特征学习软件。
3、标定与三维重建（1）基本原理（两目成像）利用 CCD 摄像机（两个摄像机）的透视规则两个二维数据→三维数据（2）标定的概念利用 6 个已知靶点→24 个方程→22 个未知数，这叫做系统定标用以求出双摄像机测量系统的变换矩阵 A、B4、识别与追踪（1）识别目的：将标识球三维空间重建坐标分组、根据使用目的加以编号（将光斑 映射到骨骼系统，每一个光斑对应相应的骨骼）方法：将表演者贴上反光点的静态姿势撷取下来，以人工方式在计算机中 标定出每一个反光点的编号将标识好的资料储存下来，成为参考样板往后 计算机可利用这个样板完成标识工作2）追踪目的：获得正确的以标识点为簇的三维空间轨迹信息，是光学式系统最为 重要的一项技术 当一个演员身贴 26/28 或者更多反光点在摄像机前运动在时间轴上看空 间位置变化 计算机分析摄影机位置、反光点数量，经过复杂的运算，得到标识点的移 动信息 追踪方法→追踪速度：干扰*Kalman 滤波 S（k+1)=F`S（k)+G`n(k) 如何补空是技术难点/缺陷第三讲、捕捉数据的编辑和处理（数据处理、存储、管理） 1、基础知识 （1）数据类型位移数据：光学、电磁、表情、玩偶、实时旋转数据：机械、电磁、骨骼膜体光学式旋转数据的产生：光学式动作捕捉只获得位移数据（六个自由度、六维信息）通过位移数据和骨骼结构计算得到 （2）坐标系 位移数据：三维坐标系：笛卡尔坐标系 /球坐标系 /柱坐标系三维笛卡尔坐标系 左/右手系物体坐标和世界坐标 （3）变换变换类型：scale rotation变换顺序：不要随意改变变换顺序 （4）欧拉角旋转数据欧拉角：通过绕三个正交坐标轴的旋转来表示。
偏航 俯仰 横滚欧拉角存在二义性，即一个朝向可以用多组欧拉角表示缺点：万向节死锁（有两个坐标轴重叠，不可以再旋转）这是致命缺陷所以要求不能围绕同一根轴连续旋转两次5）四元数在表示旋转和朝向方面，优于 EULER 角具有表示紧凑、朝向插值稳定的 优点四元数与旋转的关系） 高维看低维 四元数的结构：实部+虚部 q=(实部 s,虚部 v)2、数据处理为何进行数据处理？ 局部丢失、噪声、时空失真数据处理的方法：插值、去噪、滤波平滑、刚体补间 （1）插值（解决数据丢失的问题）1）线性插值用直线（匀速直线）方程代表其轨迹认为轨迹是直线，容易实现缺点：不真实；大部分物体非直线运动；大部分运动随时间非线性；位置 连续但是速度不连续）认为是匀速运动则导致时空失真2）样条插值常见的样条曲线：hermite、bezier、catmull-rom、b-splines、NURBS. （2）去噪先去噪，后插值 （3）滤波平滑：空间幅值、时间频域、高/低带通 （4）刚体补间：解决数据丢失或者遮挡的问题通过刚体上的相对位置信息补充丢失的信息例如，通过 3 个球位置关系，得出第 4 个球的位置信息3、数据存储 （各种格式文件结构共同点：分块、分层；存储内容：静态骨骼和动作数据） （1）C3D 数据文件格式用于动画、生物力学、步态分析该文件格式设计考虑了：1）可存储直接获取的模拟数据以及由此处理得到的三维数据。
2）能够存储材料方面，如标识球位置和力传感器的信息、记录过程信息，如 采样频率和日期以及动作类型、捕捉对象信息，如姓名和年龄以及身体信息3）二进制文件4）可添加新数据结构：1）头部分文件第一块很快地了解文件内容第一个字指向参数部分包含轨迹数、模拟通道数目、采样速率等信息2）参数部分：文件的第二部分长度可变，包含文件内容必要信息，如名字、地址、维数、数据类型；参数 分组，一参数一组 3）数据部分：包含 3D、2D 数据（2）ASF（骨骼文件）/AMC（运动捕捉）数据文件格式每个关节有自己的变换顺序，其他文件格式中，变换顺序固定文件包含全局和局部旋转数据ASF 数据文件格式：骨骼信息初始姿态；AMC 使用分 SECTION；冒号分割；关键词说明子 segment 与父 segment 间不可有偏移，且只有一个根节点3）BVH 数据文件格式早期为 BVA（只有动作数据，无骨骼结构数据，转换顺序固定）→BVH（有动作数据，有骨骼结构信息，而且允许骨骼不同部位具有不同的转换顺序）规范简洁、应用广泛、灵活易编辑、初始姿态定义缺陷、某些地方不能应 用 BVH 数据文件格式内容：骨骼层次（从关键词 HIERARCHY 起）+动作数 据。
（4）TRC 数据文件格式 动作分析的一种文件格式 可以存储身体动作数据和面部表情数据 （5）CSM 数据文件格式为 character studio 用以载入 marker 数据可以保存任何类型的 marker 数据，但是在应用中需注意与标识球配置一 致数据按照给定的关节顺序，非显性 （6）FBX 数据文件格式FILMBOX→MOTIONBULILDER内容：ASCII 或者二进制文件文件被分割为 section，每个 section 都包含关键词第四讲 基于动作捕捉的作品制作过程 1、前期准备包括拟定捕捉计划、动作捕捉准备、制定捕捉流程重要性：节约时间和成本、避免数据处理等麻烦、获得好的作品 2、作品方案（1）故事脚本：叙述故事；对每一场景应包含标题、动作、对话、人物名称、过渡、 镜头以动作为重点，如果动作比较复杂、时间比较长，可以分 段，如果一整段捕捉的话反而会降低效率2）角色设计特性：外型、各部位的比例尺寸、运动特性、有无配件、按设计定义动 作捕捉方式、骨架结构（3）故事板脚本的 2D 可见表达包含人物、时间、风格、摄像、编辑、声音容易修改、赢得观众的心（4）分镜表/拍摄程序表分镜表是动作列表多个镜头多个分镜；一个摄像头一个分镜（5）动态分镜基于时序、视觉、声音元素。
了解时序效果，这对故事情节和节约资金是必要的 3、动作捕捉准备（1）演员合适的演员面部表情捕捉、注意角色面部、发声与表演者之间的适合程度、注意 与表演者的年龄吻合2）道具作用：标识球的放置位置和数目、道具和演员/道具之间的关系属性：外部媒体（3）服装和标识球在演员到之前要提前准备好表演服装必须适合演员及其表演动作注意标识球的大小和固定方式（4）标识球簇了解动作捕捉系统的局限性了解待捕捉的动作的特点掌握一定的解剖和结构知识标识球集合应保证获得所需的有用数据 （5）拍摄程序表/分镜表应该包括一系列待捕捉的动作，它们包含作品的关键信息拍摄程序表为项目的所有成员，包括演员和客户服务拍摄程序表帮助你了解在什么时候、那个演员、什么地方进行动作捕 捉在发布拍摄程序表之前应多次检查 （6）捕捉日程表应描述每个动作捕捉应该如何实施、需要什么条件应描述动作捕捉什么时候正式开始、什么时候结束、什么时候休息尽量遵循捕捉日程表4、动作捕捉与作品的制作过程 （1）进行硬件构成脚架构成→移动→灵活性，但每次都要矫正摄像头固定在墙角（2）设定捕捉空间不拼凑：追踪简单、无边界、质量好拼凑：空间大捕捉空间应该光线较暗，墙面与地面反光比弱，应提供一个充足、 连续的三维捕捉空间，确立最佳捕捉空间。
3）参数校准通过校验，系统可以知道每个摄像机的位置以及他们彼此之间的相 对位置以及它们空间坐标的原点调节每个摄像机的灵敏度、以确保跟踪点在每个摄像机的相对范围 内可以清楚地显示出来调整软件参数的门限动态校验：要求工作人员在校验区内挥动校验棒静态校验：确定捕捉空间原点以及 x、y、z 轴注意：1）操作人员尽可能让更多的摄像机“看到” ，尽可能挥到最大空间2）不要将挥动棒直接指向摄像机3）尽量避免自然光4）排除干扰点，清除其他跟踪点，同时检查每个摄像机的视野内 是否有其他摄像机4）跟踪点安装视强度和复杂度而定一般会在演员身上安装 28~32 个跟踪点，身体左右对称放置每套运动捕捉系统都会提供标准文件，列出身体上需要放置跟踪点 的部位名称表，以及各个部位之间的连接关系和相对运动关系跟踪点的定位需要考虑到人体的整个骨骼结构，以及身体各个部分 之间的关系5）静态捕捉。