《用个性化虚拟数据更新打印内容的制作方法》由会员分享，可在线阅读，更多相关《用个性化虚拟数据更新打印内容的制作方法（14页珍藏版）》请在金锄头文库上搜索。
1、用个性化虚拟数据更新打印内容的制作方法专利名称：用个性化虚拟数据更新打印内容的制作方法技术领域：本发明涉及混合现实，尤其涉及用个性化虚拟数据更新打印内容。背景技术：静态的打印的材料可以被认为是一种形式的只读存储器，所述存储器不需要电力并且以对人眼可见的形式来存储其数据。此外，数据通常以人眼能够舒适阅读的格式来呈现，这种格式将打印的文字呈现在白色或另一种对比色的纸的对比物理背景上。而且，大量信息可被存储在诸如教科书等打印的材料中。然而，将文学内容永久设置在卡片、书籍、杂志和用于表达文学内容的其他打印的介质上也意味着不能针对读者改编所述内容。发明内容混合现实是一种允许将虚拟图像与现实世界视图相混合
2、的技术。用户可佩戴透视、近眼、混合现实显示设备来观看现实对象和以用户的视野来显示的虚拟对象的混合图像。诸如头戴式显示(HMD)设备等近眼显示设备可以更新静态的打印材料中所体现的数据。换言之，实体书籍、杂志、或静态的打印材料的其他实施例在以下意义上成为了一种形式的动态存储器:打印的纸片、打印的卡片、或其他打印介质上出现的东西可以改变，并且可以基于用户简档(profile)数据来改变。本发明技术提供一种使用透视、近眼、混合现实显示设备来用个性化的虚拟数据更新打印的内容的方法的实施例。该方法包括:标识透视、近眼、混合现实显示设备的视野中的打印内容项，以及基于物理动作用户输入来标识用户在打印内容项内选
3、择的打印内容选择。打印的内容项的一些示例是书籍或杂志。打印内容选择的一些示例是字、短语、图解、或段落。物理动作用户输入的一些示例是用户生成的姿势、眼睛注视、以及声音或语音。确定虚拟数据是否对打印内容选择可用，并且响应于虚拟数据对打印内容选择可用，基于用户简档数据从可用数据中选择虚拟数据。在与打印内容选择的位置配准的位置处显示该虚拟数据。虚拟数据是虚拟对象的图像数据，并且可以是二维(2D)或三维(3D)的。与现实对象(如打印内容选择)配准的虚拟对象或虚拟数据意味着该虚拟对象参考或取决于通过该透视显示设备所看到的打印内容选择的位置来跟踪该虚拟对象在该透视显示设备的视野中的位置。本发明技术为用于用个
4、性化的虚拟数据来更新打印内容的透视、近眼、混合现实显示设备系统提供了系统的实施例。该系统包括由支撑结构定位的透视显示器。支撑结构的一个示例是眼镜架。至少一个面向外的相机被定位在支撑结构上以捕捉该透视显示器的视野的图像数据。一个或多个软件控制的处理器能够访问所存储的用户简档数据并且通信地耦合到搜索引擎，所述搜索引擎能够访问一个或多个数据存储，所述数据存储包括作品的内容、布局和虚拟数据以及体现所述作品的打印内容项。所述一个或多个软件控制的处理器通信地耦合到至少一个面向外的相机以用于接收视野的图像数据。基于该视野的图像数据，所述一个或多个软件控制的处理器标识选择打印内容项中的打印内容选择的用户物理动
5、作。该一个或多个软件控制的处理器基于用户简档数据和打印内容选择从一个或多个数据存储中选择虚拟数据，并且通信地耦合到至少一个图像生成单元以供该透视显示器致使该单元显示该虚拟数据。该技术提供一个或多个处理器可读存储设备的实施例，该存储设备具有编码于其上的指令，所述指令致使一个或多个处理器执行一种用于使用透视、近眼、混合现实显示设备来用个性化的虚拟数据更新打印内容的方法。该方法包括:标识透视、近眼、混合现实显示设备的视野中的打印内容项，以及基于物理动作用户输入来确定与该打印内容项有关的任务。执行该任务，并且根据该任务将该个性化的虚拟数据显示为与该内容项配准。提供本发明内容以便以简化形式介绍将在以下具
6、体实施方式中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。图1A是描绘透视、混合现实显示设备系统的一个实施例的示例组件的框图。图1B是描绘透视、混合现实显示设备系统的另一实施例的示例组件的框图。图1C是描绘将移动设备用作处理单元的透视、混合现实显示设备系统的另一实施例的示例组件的框图。图2A是被具体化为提供对硬件和软件组件的支持的眼镜的透明、混合现实显示设备的实施例中的镜架的镜腿的侧视图。图2B是透视、近眼、混合现实设备的显示光学系统的实施例的俯视图。图3是从软件角度来看的用于通过透视、混合现实显示设备系统来提供混
7、合现实用户界面的系统的框图，在其中用于用个性化虚拟数据来更新打印内容的软件可操作。图4A示出打印内容选择元数据记录的示例。图4B示出与打印介质相关(medium-dependent)的以及与介质无关(medium-1ndependent)的交叉引用内容数据存储的示例。图5A是用于用个性化的虚拟数据来更新打印内容的方法的实施例的流程图。图5B是用于用个性化的虚拟数据来更新打印内容的方法的另一实施例的流程图。图6是用于标识透视、混合现实显示设备的视野中的打印内容项的过程的实施例的流程图。图7A是用于标识用户的眼睛选择打印内容选择的至少一个物理动作的过程的实现示例的流程图。图7B是用于标识用户的眼睛
8、选择打印内容选择的的至少一个物理动作的过程的另一实现示例的流程图。图7C是用于标识姿势选择打印内容选择的至少一个物理动作的过程的实现示例的流程图。图8是用于生成用户定义的姿势并将该姿势与任务相关联的过程的实现示例的流程图。图9是用于确定虚拟数据相对于打印材料的放置的过程的实现示例的流程图。图10是用于基于用户简档数据来从可用虚拟数据中选择虚拟数据的过程的实现示例的流程图。图11示出在博物馆布告(placard)的示例上下文中用个性化的虚拟数据来更新打印内容的示例。图12A示出了标识用户在作为打印内容项的示例的书籍内选择打印内容选择的姿势的示例。图12B示出了标识并显示与打印内容选择有关的数据的
9、示例，所述数据是在从另一应用接收的用户的用户简档数据中标识的另一人的数据。图13示出了执行与打印内容选择和透视、近眼、混合现实显示设备系统的用户的当前位置有关的方向任务的示例。图14A是用于执行学习辅助任务的过程的实现示例的流程图，所述学习辅助任务基于用户问题来检索虚拟数据。图14B示出了显示在一个或多个虚拟页面上格式化的虚拟数据的学习辅助任务的示例，所述虚拟页面看上去像是作为一个或多个相邻页面而被插入包括打印内容选择的页面。图15A是用于执行单词学习辅助任务的示例的过程的实现示例的流程图。图15B是用于执行单词学习辅助任务的示例的过程的另一实现示例的流程图。图15C示出了显示单词的定义的单词
10、学习辅助任务的示例。图15D示出了显示单词的同义词的单词学习辅助任务的示例。图16是用于执行以下任务的过程的实现的流程图:该任务允许用户用打印内容项中的一个或多个其他单词来替换至少一个单词。图17是可用于实现网络可访问计算系统的计算系统的一个实施例的框图。图18是可以在本技术的各实施例中操作的示例性移动设备的框图。具体实施例方式本技术提供用于用基于用户简档数据且由透视、近眼、混合现实显示设备系统显示的虚拟数据更新静态的打印内容的各实施例。透视显示设备系统标识用户视野中的真实书籍、杂志、报纸或其他真实的打印材料。书籍、杂志、报纸、卡片或独立的纸片都是打印内容项的示例，对象识别软件能够从面向前的相
11、机所捕捉的图像数据中标识这些打印内容项，所述相机被置于显示设备系统上用于捕捉该显示设备的视野中的对象，该显示设备的视野近似于用户透过该显示设备看时的视野。在某些情况下，眼睛注视数据标识用户正聚焦于视野中的何处，并且能够因此标识用户正在看打印内容项的哪一部分。对打印材料的一部分的注视持续可将该部分标识为打印内容选择。注视持续是用户使用身体部位的物理动作的示例。由用户身体部位(诸如手或手指)执行并被捕捉在图像数据中的姿势也是物理动作用户输入的示例。眨眼或眼睛的眨动序列也可以是姿势。手、手指或其他身体部位的指向或特定移动姿势也可指示打印内容选择，比如单词、句子、段落或照片。用户生成的声音命令(诸如语
12、音命令)也可以被认为是指示用户输入的物理动作的示例。基于声音的动作通常伴随比如姿势和眼睛注视等其他物理动作。一旦用户选择了打印内容项或项内的打印内容选择(比如图片或文本)，则可将基于用户简档数据所选择的相关联的2D或3D虚拟数据(诸如视频、图片、文本和全息图)与所述选择或者所述内容项的一部分配准。此外，可针对打印内容选择或内容项执行不同的任务或应用，其根据所述任务显示个性化虚拟数据。下面描述显示个性化虚拟数据的这些任务的一些示例，并且这些示例包括学习辅助任务、方向任务、以及允许用户替换或填入一个或多个单词(比如角色的名字或位置)的任务等示例。图1A是描绘透视、增强或混合现实显示设备系统的实施例
13、的示例组件的框图。系统8包括作为在此示例中通过线6或者在其他示例中无线地与处理单元4进行通信的近目艮、头戴式显示设备2的透视显示设备。在该实施例中，头戴式显示设备2的框架115为眼镜的形状，该框架115具有针对每只眼睛的显示光学系统14，其中图像数据被投影到用户的眼睛中以生成图像数据的显示，同时用户还通过显示光学系统14观看以获得现实世界的实际直接视图。使用术语“实际直接视图”来指直接用人眼看到现实世界对象，而非看到所创建的对象的图像表示的能力。例如，透过眼镜看房间将允许用户得到该房间的实际直接视图，而在电视机上查看房间的视频不是该房间的实际直接视图。每个显示光学系统14也被称为透视显示器，并
14、且两个显示光学系统14 一起也可以被称为透视显示器。框架115提供用于将该系统的各元件保持在原位的支撑结构以及用于电连接的管道。在该实施例中，框架115提供了便利的眼镜架作为下面进一步讨论的系统的各元件的支撑体。在此实施例中，框架115包括鼻梁架部分104，该鼻梁架部分104具有用于记录声音并传送音频数据的话筒110。框架的镜腿或侧臂102位于用户的每只耳朵上。在此示例中，右镜腿102r包括用于显示设备2的控制电路136。如图2A和2B中所示，在该实施例中在每个镜腿102上还包括图像生成单元120。而且，在本视图中没有示出但在图2A和图2B中示出了面向外的相机113，所述相机113用于记录数字
15、图像和视频并将视觉记录传送到控制电路136，控制电路136可进而将所捕捉的图像数据发送到处理单元4，处理单元4还可通过网络50将该数据发送到一个或多个计算机系统12。处理单元4可以采取各种实施例。在一些实施例中，处理单元4是可佩戴在用户的身体(例如腕)上的单独单元，或者可以是比如图1C中示出的所示移动设备4之类的单独设备。处理单元4可通过通信网络50与一个或多个计算系统12有线地或无线地通信(例如，WiF1、蓝牙、红外、RFID传输、无线通用串行总线(WUSB)、蜂窝、3G、4G或其它无线通信装置)，无论位于附近还是位于远程位置。在其他实施例中，处理单元4的功能可被集成在图1B的显示设备2的软
16、件和硬件组件中。可以充分利用远程的、网络可访问计算机系统12来处理电力和远程数据访问。应用可在计算系统12上执行，其中该应用与显示系统8交互或为显示系统8执行处理，或者该应用可以在透视、混合现实显示系统8中的一个或多个处理器上执行。图17示出了计算系统12的硬件组件的示例。图1B是描绘可通过通信网络50与其他设备通信的透视、增强或混合现实显示设备系统8的另一个实施例的示例组件的框图。在此实施例中，显示设备2的控制电路136经由无线收发机(参见图2A中的137)通过通信网络50与一个或多个计算机系统12无线地通信。图1C是将移动设备用作处理单元4的透视、混合现实显示设备系统的另一实施例的框图。移动设备4的硬件和软件组件(诸如包含在智能电话或平板计算设备中)的示例在图18中描述。移动设备4的显示器7还可显示用于执行应用的数据(例如菜单)，并且该显示器7可以是触摸敏感的，以接受用户输入。移动设备4的一些其他示例是智能电话、膝上型计算机或笔记本计算机以及上网本计算机。图2A是被具体化为提供对硬件和软件组件的支持的眼镜的透视、混合现实显示设备2的实
