《终端设备、对象控制方法以及程序的制作方法》由会员分享，可在线阅读，更多相关《终端设备、对象控制方法以及程序的制作方法（5页珍藏版）》请在金锄头文库上搜索。
1、终端设备、对象控制方法以及程序的制作方法专利名称：终端设备、对象控制方法以及程序的制作方法技术领域：本公开涉及终端设备、对象控制方法以及程序。背景技术：近年来，一种用于将附加信息添加到真实世界并将该附加信息呈现给用户的被称为增强现实(AR)的技术越来越受到关注。在AR技术中要呈现给用户的信息还被称为注释， 并且可以通过使用各种虚拟对象，诸如文本、图标、动画等将该信息可视化。AR技术还可用于涉及与用户的交互的应用。例如，对于意在提供信息的应用，诸如广告或导航，可以通过使用户操作AR虚拟对象来将满足用户需求的信息提供给用户。关于涉及AR虚拟对象的操作的文献例如有JP 2010-238098A。然而
2、，在JP 2010-238098A描述的技术中，与真实世界的情况无关地确定用户所操作的虚拟对象的运动。因此，会降低用户的空间沉浸感，而用户的空间沉浸感正是AR技术的一个优点。因此，优选的是提供一种能够实现对AR虚拟对象的操作而基本上不削弱用户对AR空间的沉浸感的机制。根据本公开，能够实现对AR虚拟对象的操作而不削弱用户对AR空间的沉浸感。发明内容本发明的方面包括一种装置，该装置包括控制单元和存储指令的存储器。控制单元可以执行指令以检测真实空间图像中的关注对象、检测对象的取向和位置以及生成修改图像。所述生成可以包括基于所检测的取向和位置来确定真实空间图像的区域。控制单元还可以执行指令以在所述区域
3、中显示对象的虚拟图像；基于检测到的用户输入来改变虚拟图像，经改变的虚拟图像被保持在所述区域内；以及显示所述修改图像。本发明的方面包括一种方法，该方法包括检测真实空间图像内的关注对象；检测该对象的取向和位置；以及生成修改图像。所述生成可以包括基于检测出的取向和位置来确定真实空间图像的区域；在所述区域中显示对象的虚拟图像；基于检测到的用户输入来改变虚拟图像，经改变的虚拟图像被保持在所述区域内；以及显示所述修改图像。本发明的方面包括一种存储有指令的有形地实施的非暂时性计算机可读介质，当所述指令被处理器执行时执行包括检测真实空间图像内的关注对象的方法的指令。该方法还可以包括检测对象的取向和位置以及生成
4、修改图像。所述生成可以包括基于检测到的取向和位置来确定真实空间图像的区域。该方法还可以包括在所述区域中显示对象的虚拟图像；基于检测到的用户输入来改变虚拟图像，经改变的虚拟图像被保持在所述区域内；以及显示所述修改图像。图I是用于描述根据实施例的终端设备的概要的说明图；图2是示出根据实施例的终端设备的硬件配置示例的框图；图3是示出根据实施例的终端设备的逻辑功能的配置示例的框图；图4是用于描述图像识别的结果的示例的说明图；图5A是示出实施例中设置的限制区域的第一示例的说明图；图5B是示出实施例中设置的限制区域的第二示例的说明图；图5C是示出实施例中设置的限制区域的第三示例的说明图；图6是用于描述经由
5、触摸传感器对虚拟对象的操作的说明图；图7是用于描述经由触摸传感器对虚拟对象的操作的另一说明图；图8是用于描述经由运动传感器对虚拟对象的操作的第一说明图；图9是用于描述经由运动传感器对虚拟对象的操作的第二说明图；图10是用于描述经由运动传感器对虚拟对象的操作的另一说明图；图11是用于描述经由运动传感器对虚拟对象的操作的另一说明图；图12是示出根据实施例的对象控制过程的流程示例的流程图；图13是示出根据实施例的图像获取过程的详细流程示例的流程图；图14A是用于描述虚拟对象的操作的第一场景的第一说明图；图14B是用于描述虚拟对象的操作的第一场景的第二说明图；图15A是用于描述虚拟对象的操作的第二场景
6、的说明图；图15B是用于描述虚拟对象的操作的第二场景的另一说明图；图16A是用于描述虚拟对象的操作的第三场景的说明图；图16B是用于描述虚拟对象的操作的第三场景的另一说明图；以及图17是用于描述示出虚拟对象的可移动方向的辅助对象的说明图。具体实施例方式下文中，将参照附图对本公开的优选实施例进行详细描述。应当注意的是，在本说明书和附图中，以相同的附图标记表示具有基本相同的功能和配置的结构单元，并且省略了对这些结构单元的重复说明。I.概要图I是用于描述在本说明书中公开的技术的实施例的概要的说明图。参照图1，示出了在真实空间I中的用户携带的终端设备100。终端设备100是用于向用户提供涉及与用户的交
7、互的AR应用的设备。终端设备100例如可以是智能手机、PC(个人计算机)、PDA(个人数字助理)、游戏终端或便携式音乐播放器。真实空间I是能够在其中使用AR应用的空间的示例。在真实空间I中存在有真实对象12a、12b和12c。真实对象12a是公告板。符号标记13a附连在真实对象12a。真实对象12b是用于信息显示的布告栏。真实对象12c是广告海报。终端设备100获取通过拍摄这样的真实空间I而获得的图像(例如，“真实空间图像”或“真实空间的图像”)以作为输入图像。真实空间图像例如可以包括真实空间的多个图像。当真实空间图像包括周期性获得的真实空间的多个图像时，该真实空间图像被称为“实时图像”。要理
8、解的是，本文中使用的术语“真实空间图像”包括真实空间的单个静止图像、真实空间的多个静止图像以及真实空间的实时图像。然后，终端设备100可以基于对输入图像中示出的真实对象的识别结果，将用于AR的虚拟对象叠加到输入图像上。经由虚拟对象呈现给用户的信息可以是任何信息，诸如导航信息、广告信息、商店信息、新闻、天气预报、铁路信息等。用户可以操作显示在终端设备100的屏幕上的虚拟对象以及交互式地使用AR应用。尽管未在图I中明确示出，可以在真实空间I中设置数据服务器，该数据服务器具有关于虚拟对象或要经由虚拟对象呈现给用户的信息的数据库。终端设备100可以通过例如无线连接与数据服务器通信，并且可以从数据服务器
9、下载与终端设备100的位置相关联 的最新数据。要理解的是，本文中描述的任何操作(例如，图像处理等)可以在用户设备(例如，终端设备100)上本地执行和/或可以诸如通过远离用户设备的服务器(例如，“远程服务器”)来远程执行。2.根据实施例的终端设备的示例配置2-1.硬件配置图2是示出根据本实施例的终端设备100的硬件配置示例的框图。参照图2，终端设备100包括成像单元102、传感器单元104、输入单元106、存储单元108、显示单元112、通信单元114、总线118以及控制单元120。成像单元成像单元102是可以拍摄图像的相机模块。成像单元102通过使用诸如CXD (电荷耦合器件)或CMOS (互
10、补金属氧化物半导体)的图像传感器来拍摄真实空间，并生成拍摄图像。成像单元102还可以包括用于视频输出的成像电路和用于静止图像输出的成像电路之一或两者。传感器单元传感器单元104可以包括一组传感器，以用于支持终端设备100的位置和姿态的识别以及用于检测对终端设备100的一部分用户输入。例如，传感器单元104可以包括GPS传感器，其接收GPS (全球定位系统)信号并测量终端设备100的纬度、经度和海拔。另外，传感器单元104可以包括定位传感器，其基于从无线接入点接收的无线电信号的强度来测量终端设备100的位置。另外，传感器单元104可以包括运动传感器，诸如测量终端设备100的三轴加速度的加速度传感
11、器或测量倾斜角的陀螺仪传感器。输入单元输入单元106可以包括输入设备，用户使用该输入设备来操作终端设备100或将信息输入到终端设备100。通常，输入单元106包括检测用户对显示单元112的屏幕的触摸的触摸传感器。可替代地(或除此之外)，输入单元106可以包括定位设备(pointingdevice)，诸如鼠标或触摸板；手势识别模块，其识别图像中示出的用户的手势；或者视线检测模块，其检测佩戴头戴式显示器(HMD)的用户的视线方向。另外，输入单元106可以包括其它类型的输入设备，诸如键盘、小键盘、按钮、开关等。存储单元存储单元108可以由诸如半导体存储器、硬盘等的存储介质构成，并存储用于通过终端设备
12、100进行处理的程序和数据。要在存储单元108中存储的数据例如可以包括由成像单元102生成的图像数据和由传感器单元104生成的传感器数据。要在存储单元108中存储的数据例如还可以包括在图像识别期间终端设备100所使用的特征量数据、定义虚拟对象的对象数据等。显示单元显示单元112可以包括由IXD (液晶显示器),OLED (有机发光二极管)、CRT (阴极射线管)等构成的显示模块。显示单元112例如可以在屏幕上显示由成像单元102拍摄的 图像或由控制单元120实现的AR应用的图像。显示单元112可以是用户持有的终端设备100的屏幕或用户佩戴的透视式或非透视式HMD。通信单元通信单元114可以包括
13、通信接口，其作为终端设备100与另外的设备(例如，上述数据服务器)的通信的中介。通信单元114可以支持任意无线通信协议或有线通信协提议，并建立与其它设备的通信连接。总线总线118可以将成像单元102、传感器单元104、输入单元106、存储单元108、显示单元112、通信单元114、以及控制单元120相互连接。控制单元控制单元120可以包括处理器，诸如CPU (中央处理单元)、DSP (数字信号处理器)等。控制单元120执行在存储单元108或另外的存储介质中存储的程序，并使下面描述的终端设备100的各种功能运行。2-2.功能配置图3是示出由图2中所示的终端设备100的存储单元108和控制单元12
14、0实现的逻辑功能的配置示例的框图。参照图3，终端设备100可以包括图像获取单元110、帧存储器112、图像识别单元130、特征量数据库(DB) 132、限制区域设置单元140、检测单元150、操作控制单元160、数据获取单元170、对象DB 172以及显示控制单元190。(I)图像获取单元图像获取单元110可以获取示出真实空间的图像以作为输入图像。在本实施例中，图像获取单元110支持两种输入模式实时模式和快照模式。在实时模式中，图像获取单元Iio从成像单元102相继获取视频输入的最新帧以作为输入图像。在快照模式中，数据获取单元110首先在快照模式的开始时刻使帧存储器112存储由成像单元102拍
15、摄的快照。在成像单元102包括用于视频输入的成像电路和用于静止图像输入的成像电路的情况下，快照可以是由用于静止图像输入的成像电路拍摄的图像。然后，图像获取单元110连续地获取在帧存储器112中存储的快照以作为输入图像。可以通过经由输入单元106的特定用户输入来执行实时模式和快照模式之间的切换。图像获取单元110向图像识别单元130输出以此方式获取的输入图像。(2)图像识别单元图像识别单元130可以识别在从图像获取单元110输入的输入图像中示出何真实对象。图像识别单元130还识别在输入图像中示出的真实对象在真实空间中的位置和姿态。更具体地，图像识别单元130例如可以提取输入图像的特征量。然后，图
16、像识别单元130对照预先存储在特征量DB132中的各种已知真实对象的特征量来检查所提取的特征量，并由此识别在输入图像中的示出的真实对象以及识别该真实对象的位置和姿态。图像识别单元130所使用的特征量提取算法例如可以是在“Fast KeypointRecognitionusing Random Ferns，(Mustafa Oezuysal, IEEE Transactionson Pattern Analysis andMachine Intelligence, Vol. 32, Nr. 3, pp. 448-461, 2010 年 3 月)中描述的随机厳(RandomFerns)方法，或在“SURF SpeededUp Robust Features” (H. Bay, A. Ess, T. Tuytelaars和 L.V.Gool, Computer Vision and Image Understanding(CVIU), Vol. 110, No. 3,pp. 346359,2008)中描述的SURF方法。可替代地，图像识别单元1
