《基于增强现实虚实交互的科普知识学习方法设计研究》由会员分享，可在线阅读，更多相关《基于增强现实虚实交互的科普知识学习方法设计研究（13页珍藏版）》请在金锄头文库上搜索。
1、基于增强现实虚实交互的科普知识学习方法设计研究 张树鹏 侯文军 王希萌 北京邮电大学数字媒体与设计艺术学院 网络系统与网络文化北京市重点实验室 摘 要： 目的 研究增强现实虚实交互方式在科普知识学习中的有效性及合理性。方法 以火箭科普知识学习为基础提出一种基于 AR 虚实交互的学习方法, 通过对比实验, 分别比较记忆方法、AR 内容呈现、AR 多点触控交互、AR 虚实交互 4 种学习方法对于科普知识学习的影响。结论 AR 虚实交互学习方法更高效, 它可以满足用户更多关注学习内容与用户之间的互动, 能深入加强对细节内容的理解和记忆。AR 技术对于学习认知具有一定的帮助, 但信息呈现和交互方式比较
2、单一;AR 技术在一定程度上能够提升学习效率, 但同时也存在一定缺陷, 相比之下, 基于 AR 虚实交互的学习方法更高效, 更具实际意义。关键词： 增强现实; 虚实交互; 科普知识; 学习方法; 记忆; 作者简介：张树鹏 (1992) , 男, 山西人, 北京邮电大学硕士生, 主攻人机交互。作者简介：侯文军 (1963) , 女, 山西人, 博士, 北京邮电大学教授、博士生导师, 主要从事人机交互与智能设计方面的研究。收稿日期：2017-08-21An AR Way for Pop-Science Knowledge Learning Based on Virtual & Real Inter
3、actionZHANG Shu-peng HOU Wen-jun WANG Xi-meng School of Digital Media and Design Arts, Beijing University of Posts and Telecommunications; Network System & Network Culture Key Laboratory of Beijing; Abstract： It aims to study the effectiveness and rationality of augmented reality interactive approac
4、h in pop-science books. An AR learning way based on virtual & real interaction is used to learn the knowledge of rockets knowledge. We design the comparative experiment, compared with the memory method, AR content presentation, AR multi-touch interaction, AR virtual &real interaction four learning w
5、ays for the impact of science knowledge learning. The virtual & real interaction learning method is more efficient, which can satisfy users more attention to the interaction between learning content and users, and can further enhance the understanding and memory of details. AR technology has some he
6、lp in learning cognition, but the information presentation and interaction methods are relatively simple. AR technology can improve learning efficiency to some extent, but it also has some defects. In contrast, the learning method based on AR virtual interaction is more efficient and practical.Keywo
7、rd： augmented reality; virtual learning ways; memory; Received： 2017-08-21随着信息化技术的发展, 互联网作为核心和基础不断地延伸和扩展, 信息交换和通信方式也逐渐扩展到物物相息。在此基础上, 智能感知、识别技术与普适计算等通信感知技术, 广泛应用于网络的融合中, 衍生出诸如增强现实感知技术、全新虚实交互方式等。万物互联技术的发展及多媒体技术的普及, 使得科普图书的表现形式越来越丰富。Figueiredo 曾经提出了一种新的交互式图书, 即游戏化图书1, 这是一本可以按顺序或者不按顺序阅读的故事书, 在游戏中穿插故事情节使
8、得学习知识更容易。Billing Hurst 和他的同事开发了一种魔法书2, 他们将这本魔法书变成了一个沉浸式的虚拟空间, 读者可以一起飞到虚拟空间, 在故事构建的虚拟空间中看到彼此的虚拟化身, 这使得科普图书变得更加神奇, 表现形式更加多样化。此外, 随着增强现实 (Augmented Reality, AR) 技术的发展, 更多形式的基于 AR 技术的图书出现, AR 技术已经逐渐成为研究人员和教育工作者关注的教学和学习工具。本文以 AR 在图书教育领域的应用为契机, 分析当前图书教育中 AR 技术的使用现状, 指出现阶段 AR 技术在图书教育领域中应用的缺陷, 提出一种基于 AR 虚实交
9、互的科普知识学习方法, 能够让用户在学习过程中实现现实操作与虚拟场景的互动, 进一步增强对所学知识的理解和记忆能力。1 相关研究AR 技术已经被用来开发不同种类教育、娱乐的应用, 例如识字3、音乐4、太阳系5、火山6、单词7、数字等8。事实证明, AR 在教育领域的应用具有一定的积极意义, 有许多成功的案例。ASY Lai 等人将 AR 应用在出版图书9中, 通过 3D 模型、动画、视频等形式展示书中图片文字内容, 有效提高了学生的学习体验。Richard10等人探索 AR技术对身体带有缺陷儿童教育的作用, 结果显示多媒体的视觉和立体形式内容能够增强对内容的理解和记忆。Kun-Hung11探索
10、了学生在使用 AR 图书过程中对系统的实用性、易用性、有效性和满意度的一致性, 结果证明学生对于 AR 图书的使用表现出积极的态度, 于此同时 AR 技术能够在一定程度上, 提高学生对空间能力的认知和语言技能。Rambli12等人探索了 AR 技术在儿童字母学习中的作用, 通过大量实验证明, 儿童对 AR 技术反应积极, 表示喜欢和享受使用AR 图书, 并且要求重复体验。根据 IRadu 的研究可知13, AR 技术在图书教学中有积极的意义, 可以增进内容理解, 增强长期记忆, 提高学生的学习动机和合作意识。然而, 由于技术缺陷和操作问题, 可能会导致一定程度的认知困难, 因此在使用过程中需要
11、适当的互动和指导。综上, 从前人的研究来看, AR 技术在图书教育领域的应用具有一定的作用, 能够帮助用户在认知层面加深理解, 尤其对于复杂难以理解的内容有较好的解释效果。但目前的研究, 大多停留在 AR 技术最基础的显示层面, 只是简单地对内容进行显示增强, 涉及的交互操作比较单一, 大多数是基于硬件设备的操作, 与普通智能设备的交互相似, 没有实现 AR 实时沉浸式的交互特点。但是就当前AR 应用来说, 需要同时关注 AR 虚拟界面信息和实体扫描内容, 会分散用户的部分注意力, 进而可能导致对学习内容的细节性忽略, 这点作为对 AR 学习方法的疑惑, 进一步在后续内容中探索。本文针对这一问
12、题, 提出一种基于感知 (识别) 对象和虚拟场景的 AR 虚实交互, 表现在应用层面为 AR 手绘动态识别和多识别模型交互, 应用在科普知识学习中, 能够增强用户认知和体验, 增加学习效率。为了验证 AR 虚实交互学习方法的有效性, 建立对比实验, 探索不同 AR 交互方式下学习科普知识的差异性, 分析数据, 进一步探讨。2 增强现实和虚实交互2.1 增强现实增强现实14, 是一种将真实世界信息与虚拟信息无缝融合叠加的技术, 能够把原本在现实世界的一定空间时间范围内很难体验到的实体信息 (视觉、声音、味道、触觉等) , 通过电脑等科学技术, 模拟仿真后将虚拟信息叠加在现实世界, 被人类感官所感
13、知, 从而达到超越现实的感官体验。AR 技术实现了真实信息和虚拟信息实时叠加在同一个画面或空间同时存在。增强现实技术有 3 个核心特点:三维注册、虚实融合和实时交互。三维注册是AR 技术的实现方式, 如基于标签的 ARTool Kit 注册, 基于自然特征点的Vuforia 注册, 以及基于 LBS 信息的注册。虚实融合的是 AR 技术的重点内容, 虚实融合使得 AR 技术实现了对现实环境的增强扩展, 实现虚拟信息与真实环境的无缝融合, 实现虚实融合的重点在于对标记物的跟踪识别, 涉及到复杂坐标信息的转换, 因此需要实时映射虚拟信息在三维空间的位置显示在屏幕中。2.2 交互方式AR 交互是实现
14、用户与真实环境中虚拟叠加信息的交互, 主要包括两种:基于硬件设备的交互, 例如数字手套、传感器设备交互、智能终端设备交互15等;基于计算机视觉处理的方式, 例如在标志物上生成按钮、菜单等以及对于手势识别交互。交互方式的选择需要依托于使用情境以及设备载体, 因此交互方式与虚实融合息息相关。随着技术的发展, 越来越多种类的交互方式应用在 AR 图书中, 包括传统的 GUI交互、I/O 输入输出交互、多点触控交互等。Iulian 在 AR 游戏中使用多点触控交互和“十字”选择交互16得出结论, 相比之下多点触控交互更有效。Bazzaza 使用 AR 技术进行语言学习17, 同时提供了多点触控和 GU
15、I 按钮交互, 实现语言学习过程中的翻译、朗读、动画展示等, 最终得出结论, 使用 AR 技术可以有效增强学习的过程。Chantzi 等人为 812 岁的儿童设计了科普游戏书籍18, 通过多点触控、GUI 按钮和其他交互方式, 实现了结合 AR 和游戏化的学习平台。此外, 在 AR 应用中还有很多类似的交互方式, 大多基于对硬件系统的操作实现对虚拟物体的控制, 例如 HMD 的触控板和 HHD 的多点触控、按钮等。大多数的交互方式只是传统人机交互在 AR 技术领域的扩展, 这些交互方式与智能设备的使用没有差异, 因此, 为了进一步探索 AR 虚实融合的特点, 增加沉浸感, 增强认知和体验, 需
16、要更多考虑 AR 识别对象、环境与虚拟信息之间的互动关系。由此可见, 虚实交互的概念越来越被重视。2.3 虚实交互IBSE 的规则19指出, 用户在图书学习中应该学会调查和操作, 构建科学知识, 改变误解。Vosniadou 曾经提出了 3 种认知模式, 构建心智模型的 3 个步骤, 初始模型、合成模型和科学模型。本文研究基于 AR 技术的科普知识学习方法, 目标用户是 1013 岁的儿童, 他们已经拥有了初始的认知能力, 同时可以主动学习知识, 与前文提出的合成模型和科学模型行为一致, 因此, 学习环境中的信息呈现以及用户与学习内容之间的互动是关注的重点内容, 这是虚与实的互动, 需要设计虚实交互的方法实现。虚实交互是一种新的人机交互方式, 在满足用户感官认知的同时能够让用户参与其中, 满足用户与真实场景和虚拟对象之间自然交互的诉求。目前, 国内外对 AR 虚实交互的研究越来越多, 使用新技术、工具和方法, 从各个不同的角度实现虚实互动, 大致可以分为
