《用于对运动捕捉应用模型跟踪的系统和方法》由会员分享，可在线阅读，更多相关《用于对运动捕捉应用模型跟踪的系统和方法（8页珍藏版）》请在金锄头文库上搜索。
1、用于对运动捕捉应用模型跟踪的系统和方法专利名称：用于对运动捕捉应用模型跟踪的系统和方法用于对运动捕捉应用模型跟踪的系统和方法背景诸如计算机游戏、多媒体应用程序等许多计算应用程序包括使用典型的运动捕捉技术来动画化的化身或人物。例如，在开发高尔夫球游戏时，可以将专业高尔夫球手带入具有运动捕捉设备的工作室，该运动捕捉设备包括例如朝向工作室中的特定点的多个相机。 专业高尔夫球手然后可以装备具有多个点指示器的运动捕捉套装，这些点指示器可以用相机来配置并由相机跟踪，以使得相机可捕捉例如专业高尔夫球手的打高尔夫的运动。这些运动然后能够在高尔夫球游戏的开发期间被应用于化身或人物。当完成高尔夫球游戏后， 化身或
2、人物然后能够在执行高尔夫球游戏期间用专业高尔夫球手的运动来动画化。不幸的是，典型的运动捕捉技术是昂贵的，依靠特定应用程序的开发，并且不包括与应用程序的实际玩家或用户相关联的运动。概述此处所公开的是用于捕捉用户在一场景中的运动的系统和方法。例如，可以接收或观察诸如场景的深度等图像。然后可以分析该深度图像以确定该图像是否包括与用户相关联的人类目标。如果图像包括与用户相关联的人类目标，则可以生成该用户的模型。然后可响应于用户移动来跟踪模型以使得该模型可被调整为模拟该用户的移动。例如，该模型可以是具有关节和骨骼的骨架模型，其可被调整为对应于物理空间中的用户移动的姿势。 根据一示例实施例，然后可基于所跟
3、踪的模型来实时生成用户移动的运动捕捉文件。例如， 可以在该运动捕捉文件中捕捉并呈现定义调整后的模型的每一个姿势的关节和骨骼的矢JEELyffe里集。提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。附图简述图IA和IB示出了伴随用户玩游戏的目标识别、分析和跟踪系统的示例实施例。图2示出了可在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施例。图3示出可用于解释目标识别、分析和跟踪系统中的一个或多个姿势和/
4、或动画化目标识别、分析和跟踪系统所显示的化身或屏幕上人物的计算环境的示例实施例。图4示出可用于解释目标识别、分析和跟踪系统中的一个或多个姿势和/或动画化目标识别、分析和跟踪系统所显示的化身或屏幕上人物的计算环境的另一示例实施例。图5描绘了用于捕捉人类目标的运动的示例方法的流程图。图6示出了可包括人类目标的图像的示例实施例。图7示出了可以为人类目标生成的模型的示例实施例。图8A-8C示出了可在各个时间点捕捉的模型的示例实施例。图9A-9C示出了可基于可在各个时间点捕捉的模型来动画化的化身或游戏人物的示例实施例。说明性实施例的详细描述如本文中将描述的，用户可通过执行一个或多个姿势和/或运动来控制在
5、诸如游戏控制台、计算机等计算环境上执行的应用程序和/或动画化化身或屏幕上人物。根据一个实施例，姿势和/或运动可由例如捕捉设备来接收。例如，捕捉设备可捕捉场景的深度图像。在一个实施例中，捕捉设备可以确定场景中的一个或多个目标或对象是否对应于诸如用户等人类目标。然后可扫描与人类目标相匹配或相对应的每个目标或对象以生成与其相关联的模型，诸如骨架模型、网格人类模型等。然后可将该模型提供给计算环境以使得该计算环境可跟踪该模型，生成所跟踪的模型的运动捕捉文件，呈现与该模型相关联的化身，基于所跟踪的模型的运动捕捉文件来动画化化身，和/或基于例如所跟踪的模型来确定要在计算机环境上执行的应用程序中执行哪些控制。
6、图IA和IB示出伴随用户18玩拳击游戏的目标识别、分析和跟踪系统10的配置的示例实施例。在一示例实施例中，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18等的人类目标。如图IA所示，目标识别、分析及跟踪系统10可包括计算环境12。计算环境12可以是计算机、游戏系统或控制台等等。根据一示例实施例，计算环境12可包括硬件组件和/ 或软件组件，使得计算环境12可用于执行诸如游戏应用、非游戏应用等应用。在一个实施例中，计算环境12可包括诸如标准化处理器、专用处理器、微处理器等可执行各种指令的的处理器，这些指令包括例如用于以下操作的指令接收图像、生成在该图像中捕捉到的用户的模型、跟踪模
7、型、基于所跟踪的模型来生成运动捕捉文件、应用运动捕捉文件，或任何其他合适的指令，这些将在下面更详细地描述。如图IA所示，目标识别、分析及跟踪系统10还可包括捕捉设备20。捕捉设备20 可以是，例如可用于在视觉上监视诸如用户18等的一个或多个用户从而可以捕捉、分析并跟踪一个或多个用户所执行的姿势和/或移动，来执行应用程序中的一个或多个控制命令或动作和/或动画化化身或屏幕上人物的相机，如将在下面更详细地描述的。根据一个实施例，目标识别、分析及跟踪系统10可连接到可向诸如用户18等用户提供游戏或应用视觉和/或音频的视听设备16，如电视机、监视器、高清电视机(HDTV)等。 例如，计算环境12可包括诸
8、如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从计算环境12接收视听信号，然后可向用户18输出与该视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA 电缆等连接到计算环境12。如图IA和IB所示，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18等的人类目标。例如，可使用捕捉设备20来跟踪用户18，从而可以捕捉用户18 的姿势和/或移动来动画化化身或屏幕上人物，和/或可将用户18的姿势和/或移动解释为可用于影响计算环境
9、12所执行的应用程序的控制命令。因此，根据一实施例，用户18可移动他的或她的身体来控制应用程序和/或动画化化身或屏幕上人物。如图IA和IB所示，在一示例实施例中，在计算环境12上执行的应用可以是用户 18可能正在玩的拳击游戏。例如，计算环境12可使用视听设备16来向用户18提供拳击对手38的视觉表示。计算环境12还可使用视听设备16来提供用户18可通过他的或她的移动来控制的玩家化身40的视觉表示。例如，如图IB所示，用户18可在物理空间中挥重拳来使得玩家化身40在游戏空间中挥重拳。因此，根据一示例实施例，目标识别、分析和跟踪系统10的计算环境12和捕捉设备20可用于识别和分析物理空间中用户18
10、的重拳从而使得该重拳可被解释为对游戏空间中的玩家化身40的游戏控制和/或该重拳的运动可用于动画化游戏空间中的玩家化身40。用户18的其他移动也可被解释为其他控制命令或动作，和/或用于动画化玩家化身，如上下快速摆动、闪避、滑步、格挡、用拳猛击或挥动各种不同的有力重拳的控制命令。 此外，某些移动可被解释为可对应于除控制玩家化身40之外的动作的控制。例如，玩家可以使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。另外，用户18的全范围运动可以用任何合适的方式来获得、使用并分析以与应用程序进行交互。在各示例实施例中，诸如用户18等人类目标可持有一物体。在这些实施例中，电子游戏的用户可手
11、持物体从而可以使用玩家和物体的运动来调整和/或控制游戏的参数。 例如，可以跟踪并利用玩家手持球拍的运动来控制电子运动游戏中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用玩家手持物体的运动来控制电子格斗游戏中的屏幕上武根据其他示例实施例，目标识别、分析及跟踪系统10还可用于将目标移动解释为游戏领域之外的操作系统和/或应用控制。例如，事实上操作系统和/或应用的任何可控方面可由诸如用户18等目标的移动来控制。图2示出可在目标识别、分析及跟踪系统10中使用的捕捉设备20的示例实施例。 根据一示例实施例，捕捉设备20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉包括深度图像
12、的带有深度信息的视频，该深度信息可包括深度值。根据一实施例，捕捉设备20可将深度信息组织为“Z层”，即可与从深度相机沿其视线延伸的Z轴垂直的层。如图2所示，捕捉设备20可包括图像相机组件22。根据一个示例实施例，图像相机组件22可以是可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的、所捕捉的场景中的对象距相机的长度或距离。如图2所示，根据一示例实施例，图像相机组件22可包括可用于捕捉场景的深度图像的顶光组件对、三维(3-D)相机沈、和RGB相机观。例如，在飞行时间分析中，捕捉设备20的顶光
13、组件M可以将红外光发射到场景上，然后，可以使用传感器(未示出)，用例如3-D相机26和/或RGB相机观，来检测从场景中的一个或多个目标和物体的表面反向散射的光。在某些实施例中，可以使用脉冲红外光，使得可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到场景中的目标或物体上的特定位置的物理距离。附加地，在其他示例性实施例中，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或物体上的特定位置的物理距离。根据另一示例实施例，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像在内的各种技术来分析反射光束随时间的强度变化以间接地确
14、定从捕捉设备20到目标或物体上的特定位置的物理距离。在另一示例实施例中，捕捉设备20可使用结构化光来捕捉深度信息。在这一分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如顶光组件M被投影到场景上。在落到场景中的一个或多个目标或物体的表面上时，作为响应， 图案可变形。图案的这种变形可由例如3-D相机沈和/或RGB相机观来捕捉，然后可被分析来确定从捕捉设备到目标或物体上的特定位置的物理距离。根据另一实施例，捕捉设备20可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。捕捉设备20还可包括话筒30。话筒
15、30可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，话筒30可以被用来减少目标识别、分析及跟踪系统10 中的捕捉设备20和计算环境12之间的反馈。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等应用。在示例实施例中，捕捉设备20还可以包括可与图像相机组件22进行可操作的通信的处理器32。处理器32可包括可执行各种指令的标准化处理器、专用处理器、微处理器等等，这些指令包括例如用于以下操作的指令接收图像、生成在该图像中捕捉到的用户的模型、跟踪模型、基于所跟踪的模型来生成运动捕捉文件、应用运动捕捉文件，或任何其他合适的指令，
16、这些将在下面更详细地描述。捕捉设备20还可以包括存储器组件34，该存储器组件34可以存储可以由处理器 32执行的指令、由3-D相机或RGB相机捕捉到的图像或图像的帧、或任何其他合适的信息、 图像等等。根据一个示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器 (ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图2所示，在一个实施例中，存储器组件34可以是与图像捕捉组件22和处理器32进行通信的单独的组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。如图2所示，捕捉设备20可经由通信链路36与计算环境12进行通信。通信链路 36可以是包括例如USB连接、火线连接、以太网线缆连接之类的有线连接和/或诸如无线 802. lib,802. llg、802. Ila或802. Iln连接之类的无线连接。根据一个实施例，计算环境 12可以经由通信链路36向捕捉设备20提供时钟，可以使用该时钟来确定何时捕捉例如场旦另外，捕捉设备20可经由通信链路36向计算环境12提供深度信息和由例如3-D 照相机沈和/或
