《视觉目标跟踪的制作方法》由会员分享，可在线阅读，更多相关《视觉目标跟踪的制作方法（9页珍藏版）》请在金锄头文库上搜索。
1、视觉目标跟踪的制作方法专利名称：视觉目标跟踪的制作方法视觉目标跟踪背景许多计算机游戏和其他计算机视觉应用利用复杂的控制来允许用户操纵游戏人物或应用的其他方面。这些控制可能难以学习，从而对许多游戏或其他应用造成了进入障碍。此外，这些控制可能与这些控制所用于的实际游戏动作或其他应用动作非常不同。例如，使得游戏人物挥动棒球拍的游戏控制可能完全不类似于挥动棒球拍的实际运动。概述提供本概述以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及
2、的任何或所有缺点的实现。这里讨论了与视觉目标跟踪有关的各种实施例。所公开的一个实施例包括通过从源接收观察到的目标的深度图像以及获得目标的姿态模型来跟踪目标。姿态模型被光栅化成合成的深度图像。然后至少部分地基于观察到的深度图像和合成的深度图像之间的差异来调整模型的姿态。附图简述图IA示出了跟踪玩拳击游戏的游戏玩家的示例性目标识别、分析和跟踪系统的实施例。图IB示出了图IA的游戏玩家挥出重拳，该重拳被跟踪并且被解释成致使玩家化身在游戏空间中挥出重拳的游戏控制。图2示意性示出根据本发明的一实施例的计算系统。图3示出了用于表示人类目标的示例性身体模型。图4示出了用于表示人类目标的示例性骨架模型的基本上
3、正面的视图。图5示出了用于表示人类目标的示例性骨架模型的斜视图。图6示出了用于表示人类目标的示例性网格模型。图7示出了在视觉上跟踪目标的示例方法的流程图。图8示出了示例性的观察到的深度图像。图9示出了示例性的合成的深度图像。图10示意性地示出了构成合成的深度图像的像素中的某一些。图IlA示意性地示出了向模型的受力位置施加力。图IlB示意性地示出了向图IlA的模型的受力位置施加力的结果。图12A示出了从图IlA的模型渲染的玩家化身。图12B示出了从图IlB的模型渲染的玩家化身。详细描述本公开内容涉及目标识别、分析和跟踪。具体来所，公开了使用深度相机或其他源来获取一个或多个目标的深度信息。如下文详
4、细描述的，这些深度信息然后可被用于高效且准确地对一个或多个目标进行建模以及跟踪一个或多个目标。这里所述的目标识别、4分析和跟踪提供了一种健壮的平台，其中可以相对较快的帧率来一致地跟踪一个或多个目标，即使目标移动成已被认为是使用其他方法难于分析的姿态(例如，当两个或更多个目标部分地互相重叠和/或遮挡时；当目标的一部分遮挡同一目标的另一部分时；当目标改变其局部解剖(topographical)外观(如某人触摸他的或她的头)时，等等)。图IA示出目标识别、分析和跟踪系统10的一非限制性示例。具体而言，图IA示出了计算机游戏系统12，该计算机游戏系统12可以用于玩各种各样不同的游戏、播放一个或多个不同
5、的媒体类型、和/或控制或操纵非游戏应用。图IA还示出了高清晰度电视即HDTV 16形式的显示器14，该高清晰度电视可以用于向诸如游戏玩家18之类的游戏玩家呈现游戏视觉。此外，图IA示出了深度相机20形式的捕获设备，其可以用于视觉地监视诸如游戏玩家18之类的一个或多个游戏玩家。图IA中所示的示例是非限制性的。如下面参考图2 所述，在不偏离本公开的范围的情况下可以使用各种不同类型的目标识别、分析和跟踪系统。目标识别、分析和跟踪系统可以用于识别、分析和/或跟踪诸如游戏玩家18之类的一个或多个目标。图IA示出了如下的场景使用深度相机20跟踪游戏玩家18，使得游戏玩家18的运动可以被游戏系统12解释成可
6、以用于影响由游戏系统12执行的游戏的控制。换言之，游戏玩家18可以使用其运动来控制游戏。游戏玩家18的运动基本上可以被解释成任何类型的游戏控制。图IA中示出的示例场景示出了游戏玩家18正在玩正由游戏系统12执行的拳击游戏。游戏系统使用HDTV 16来在视觉上向游戏玩家18呈现拳击对手22。此外，游戏系统使用HDTV 16来在视觉上呈现游戏玩家18用其运动控制的玩家化身对。如图IB中所示， 游戏玩家18可以在物理空间中挥出重拳来作为对玩家化身M在游戏空间中挥出重拳的指令。游戏系统12和深度相机20可以用于识别和分析游戏玩家18在物理空间中的重拳，从而使得该重拳可以被解释成使得游戏化身M在游戏空间
7、中挥出重拳的游戏控制。例如，图 IB示出了 HDTV 16响应于游戏玩家18在物理空间中挥出重拳而在视觉上呈现游戏化身M 挥出袭击拳击对手22的重拳。游戏玩家18的其他运动也可以被解释成其他控制，诸如上下快速摆动、闪避、滑步、格挡、用拳猛击或挥动各种不同力度的重拳等控制。此外，一些运动可以被解释成用于除了控制游戏化身M之外的目的的控制。例如，玩家可以使用运动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。在某些实施例中，目标可包括人类和物体。在这些实施例中，例如，电子游戏的玩家可手持物体，从而可以使用玩家和物体的运动来调整和/或控制电子游戏的参数。例如， 可以跟踪并利用玩家手持球拍的
8、运动来控制电子运动游戏中的屏幕上球拍。在另一示例中，可以跟踪并利用玩家手持物体的运动来控制电子格斗游戏中的屏幕上的武器。目标识别、分析和跟踪系统还可以用于将目标运动解释成游戏领域之外的操作系统和/或应用控制。基本上，操作系统和/或诸如图IA和IB中所示拳击游戏之类的应用的任何可控制的方面都可以由诸如游戏玩家18之类的目标的运动来控制。所示出的拳击场景是作为示例来提供的，但决不意味着以任何方式进行限制。相反，所示出的场景旨在展示可以在不背离本公开的范围的情况下应用于各种各样不同的应用程序的一般概念。在此所述的方法和过程可以绑定到各种不同类型的计算系统。图IA和IB示出了游戏系统12、HDTV 1
9、6和深度相机20形式的非限制性示例。作为另一更一般的示例，图2 示意性地示出可以执行这里所述的一个或多个目标识别、跟踪和分析方法和过程的计算系统40。计算系统40可以采取各种不同的形式，尤其包括但不限于游戏控制台、个人计算游戏系统、军用跟踪和/或定标系统、以及提供绿屏或者运动捕获功能的特征采集系统。计算系统40可包括逻辑子系统42、数据保持子系统44、显示子系统46和/或捕捉设备48。计算系统可任选地包括图2中未示出的组件，和/或图2中所示的某些组件可以是不集成在计算系统中的外围组件。逻辑子系统42可包括被配置成执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统可以被配置成执行一个或多个
10、指令，该一个或多个指令是一个或多个程序、 例程、对象、组件、数据结构或其它逻辑构造的一部分。可以实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其它方式得到所需结果。逻辑子系统可以包括被配置为执行软件指令的一个或多个处理器。附加地或可替代地，逻辑子系统可包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统可以任选地包括分布在两个或多个设备上的独立组件，这些独立组件在某些实施例中可远程放置。数据保持子系统44可包括被配置为保持可由逻辑子系统执行以实现此处所述的方法和过程的数据和/或指令。在实现此类方法和过程时，可以变换数据保持子系统44的状态(例如，保持
11、不同数据)。数据保持子系统44可以包括可移动介质和/或内置设备。数据保持子系统44可以包括光学存储器设备、半导体存储器设备(如RAM、EEPR0M、闪存等)、 和/或磁存储器设备等。数据保持子系统44可以包括具有以下特性中的一个或多个特性的设备易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可以将逻辑子系统42和数据保持子系统44 集成到一个或多个常见设备中，如专用集成电路或片上系统。图2还示出使用计算机可读可移动介质50形式的数据保持子系统的一方面，该方面可以用于存储和/或传送可执行以实现此处所述的方法和过程的数据和/或
12、指令。显示子系统46可被用于呈现由数据保持子系统44保持的数据的可视表示。由于此处所描述的方法和过程改变由数据保持子系统保持的数据，并由此变换数据保持子系统的状态，因此同样可以变换显示子系统46的状态以视觉地表示底层数据的改变。作为一个非限制性示例，可通过显示子系统46以响应于游戏玩家在物理空间中的移动来改变游戏空间中的姿态的游戏人物的形式来反映这里所述的目标识别、跟踪和分析。显示子系统46 可以包括使用基本上任何类型的技术的一个或多个显示设备。可将这些显示设备与逻辑子系统42和/或数据保持子系统44 一起组合在共享封装中，或这些显示设备可以是外围显示设备，如图IA和IB所示。计算系统40还包
13、括被配置成获得一个或多个目标的深度图像的捕捉设备48。捕捉设备48可以被配置成通过任何合适的技术(例如，飞行时间、结构化光、立体图像等等) 捕捉具有深度信息的视频。如此，捕捉设备48可包括深度相机、摄像机、立体相机、和/或其他合适的捕捉设备。例如，在飞行时间分析中，捕捉设备48可以向目标发射红外光，然后使用传感器来检测从目标的表面反向散射的光。在一些情况下，可以使用脉冲式红外光，其中可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备到目标上的某一位置的物理距离。在一些情况下，出射光波的相位可以与入射光波的相位相比较以确定相移，并且该相移可以用于确定从捕捉设备到目标上的某一
14、位置的物理距离。在另一示例中，飞行时间分析可用于通过经由诸如快门式光脉冲成像之类的技术分析反射光束随时间的强度，来间接地确定从捕捉设备到目标上的某一位置的物理距离。在另一示例中，结构化光分析可以被捕捉设备48用于捕捉深度信息。在这样的分析中，图案化光(即被显示为诸如网格图案或条纹图案之类的已知图案的光)可以被投影到目标上。在落到目标的表面上时，作为响应，该图案可能变形，并且图案的这种变形可以被研究以确定从捕捉设备到目标上的某一位置的物理距离。在另一示例中，捕捉设备可以包括两个或更多个物理上分开的相机，这些相机从不同角度查看目标以获得视觉立体数据。这这种情况下，视觉立体数据可以被解析以生成深度图
15、像。 在其他实施例中，捕捉设备48可以使用其他技术来测量和/或计算深度值。此外， 捕捉设备48可以将所计算的深度信息组织为“Z层”，即与从深度相机沿其视线延伸到观察者的Z轴垂直的层。在一些实施例中，两个或更多个不同的相机可以被合并到一集成捕捉设备中。例如，深度相机和摄像机(例如RGB摄像机)可以被合并到共同的捕捉设备中。在一些实施例中，可以协作式地使用两个或更多个分开的捕捉设备。例如，可以使用深度相机和分开的摄像机。当使用摄像机时，可以将其用于提供目标跟踪数据、对目标跟踪进行纠错的确认数据、图像捕获、面部识别、高精度手指(或其他小特征)跟踪、光感测和/或其他功能。要理解，至少一些目标分析和跟踪
16、操作可以由一个或多个捕捉设备的逻辑机来执行。捕捉设备可以包括被配置成执行一个或多个目标分析和/或跟踪功能的一个或多个板载处理单元。捕捉设备可以包括促进更新这样的板载处理逻辑的固件。计算系统40可任选地包括诸如控制器52和控制器M之类的一个或多个输入设备。输入设备可被用于控制计算系统的操作。在游戏的上下文中，诸如控制器52和/或控制器M之类的输入设备可被用于控制游戏的那些不是通过这里所述的目标识别、跟踪和分析方法和过程来控制的方面。在某些实施例中，诸如控制器52和/或控制器M之类的输入设备可包括可用于测量控制器在物理空间中的移动的加速计、陀螺仪、红外目标/传感器系统等中的一个或多个。在某些实施例中，计算系统可任选地包括和/或利用输入手套、键盘、鼠标、跟踪垫、轨迹球、触屏、按钮、开关、拨盘、和/或其他输入设备。如将理解的， 目标识别、跟踪和分析可被用于控制或扩充游戏或其他应用的常规上由诸如游戏控制器之类的输入设备控制的方面。在某些实施例中，这里所述的目标跟踪可被用作对其他形式的用户输入的完全替代，而在其他实施例中，这种目标跟踪可被用于补充一个或多个其他形式的用户输入。计
