《基于手机的增强现实》由会员分享，可在线阅读，更多相关《基于手机的增强现实（26页珍藏版）》请在金锄头文库上搜索。
1、基于手机的增强现实基于手机的增强现实学生：雷学生：雷娟娟报告内容包括：1.增强现实的研究意义2.移动增强现实的研究现状、研究方法3.现阶段所做工作及下一阶段研究计划1. 什么是AR？增强现实（Augmented Reality）是将现实世界和计 算机生成的信息融合在一起的技术，这些信息可以 是图像，文字和三维模型等等。2.AR系统框架增强现实的三个特性： （1）虚实结合 （2）实时交互 （3）显示设备位姿确定(registration)移动增强现实关键技术： 移动增强现实系统应实时跟踪手机在真实场景中的 位置及姿态，并根据这些信息计算出虚拟物体在摄像机 中的坐标，实现虚拟物体画面与真实场景画面
2、精准匹配， 即registration（即手机的空间位置和姿态）的性能是 增强现实的关键。应用前景： 校园、博物馆导游，购物指南，工程设计和室内的 装修设计等等。移动增强现实（Mobile Augmented Reality ，简称 MAR）目标是将增强现实技术有效地应用于移动设备 终端，拓展增强现实技术的应用领域。移动增强现实（MAR）的性能指标：（1）跟踪目标位置的正确性（2）响应时间（3）鲁棒性（4）跟踪范围等2、研究现状移动增强现实（MAR）研究主要是两类方法：1.基于硬件传感器的方法 常见的有磁场、声学、光学、惯性等四类传感 器跟踪技术。2.基于视觉的方法2.1 基于marker的方
3、法 2.2 基于自然特征的方法一.基于传感器的增强现实方法以惯性传感器（电子指南针）跟踪为例：采用这种方式的增强现实应用，手机是最为合适的 实现平台。因为实现简单，目前智能手机上GPS、摄像头 和指南针的搭配已经可以初步实现增强现实将镜头 对准餐馆，关于这个餐馆的评价会浮现在画面之上，例 如: Layer 、 Wiketude等。但是存在GPS精度问题，电子指南针易受周边设备 (铁磁器等)的影响，无线互联网的传输速率等的限制， 目前还没有产生稳定的实际应用。必须装置: 摄像头、显示屏、GPS、电子指南针原理:1）通过GPS取得纬度、经度和高度信息，通过电子指南针取 得面向的方向，确定MAR搜索
4、的范围； 2）指定搜索内容，发送搜索范围的数据； 3）通过无线互联，将从网络获取的信息叠加在显示屏上。在手机上实现GPS + Sensor方式的原理图二.基于视觉的增强现实方法原理 基于视觉的跟踪技术不需要额外的硬件设备， 通过在视频图像对检测到的特征进行分析，得到空 间点和图像点的对应关系，计算相机的位置和姿态。分为两大类方法： 基于标记的增强现实 基于自然特征的增强现实基于人工标记的方法：在真实场景中放置标识作为跟踪基准，通过对含 有标识的图像进行处理，得到空间点与图像点之间的 对应关系，计算相机位姿，实现相机跟踪。读取视频，进行边缘 检测，检测得到四边 形，内部区域进行归 一化，从标识数
5、据库 中进行检索，获取标 识的空间信息。基于人工标记的方法目前应用比较多的是采用ARtoolkit工具包，计算位姿 的方法有多种，其中文献1中采用的方法与张正友的平面标定法类似这是文献1计算R,T的方法， 通过单应性矩阵得到的摄像 机外参只是一个估计值，往 往不够精确，且很容易受到 噪声的影响，不同的方法在 进行R，T的优化上不同（利 用优化标识角点在图像平面 上的重投影误差），抑制噪 声带来的影响，得到准确的 外参，使得合成的虚拟物体 能够保持平稳而不发生漂移 或抖动。1 董子龙，章国锋等，基于汉字标志的增强现实系统基于自然特征的跟踪方法基于标识的跟踪技术的实现依赖于放置在真实场景 中的标志
6、物，在很大程度上限制了增强现实的应用。基于标识的跟踪技术只适合小范围的AR应用，而基 于自然特征的跟踪技术可以适用户外等大范围的应 用，且与基于marker的跟踪相比，在光照变化比较 大和遮挡情况下更鲁棒。基本原理与基于标识的跟踪技术类似，不过这里采用自然特 征而不是人工marker，例如sift、harris等。传统AR是在平面物体上叠加虚拟信息，例如Daniel Wagner等 的“Pose Tracking from Natural Features on Mobile Phones”（ISMAR2008）；未来AR的研究方向应为三维场景下虚拟信息的叠加，其中较 有代表性的方法是Geor
7、g Klein等的“Parallel Tracking and Mapping on a Camera Phone”（ISMAR2009）。Pose Tracking from Natural Features on Mobile Phones这篇文章2第一个实现只使用手机内置相机的实时(帧 率为20Hz)自然特征跟踪系统，得到相机的姿态（6DOF）。文中使用的是有纹理的平面物体提取简化的sift和 ferns特征。2 Daniel Wagner ,Pose Tracking from Natural Features on Mobile Phones初始化： 相机正对着平面物体，在参考帧 的
8、初始跟踪区域内提取特征点，将这 些特征点反投影到Z=z平面上（摄像机 坐标系下），可以得到特征点的空间 位置； 运行时： 首先在新帧中提取特征点并描述， 根据前一帧相机的位姿和运动模型， 得到当前帧相机的位姿估计，得到参 考帧中的特征点在新帧中粗略的位置； 匹配的候选点在以该位置为中心某个 半径范围内的所有特征点，将这些候 选特征点与参考帧中的特征点进行匹 配，计算新的位姿。系统流程：视频Parallel Tracking and Mapping for Small AR workspaces是解决SLAM（同步制图与定位）提出的一种方法。它将SLAM分成跟踪(tracking)和地图(map
9、ping)建立两个并 行结构，即将原有问题分解为structure from motion和 motion from structure两个问题，跟踪的任务是在给定的 地图中估计相机的位置，制图的任务是利用跟踪得到的位置 将图像上的特征点三角化得到空间坐标，同时利用bundle adjustment对地图进行整体优化，进而得到空间点和相机位 置的最优估计。3 Georg Klein等. Parallel Tracking and Mapping for Small AR Workspaces将PTAM移植到手机上所做的简化工作使用较少的地图特征点修改跟踪的具体操作去除冗余的关键帧采用更灵活的地
10、图初始化方法视频4 Georg Klein 等. Parallel Tracking and Mapping on a Camera Phone前述方法主要是集中在手机端的工作，为减轻手机端计 算负担，目前存在基于server-client的计算模式，将部 分计算工作放在服务器端，通过无线互联网将计算结果 返回，在手机端进行增强现实效果的显示。基于SERVER-CLIENT架构的增强现实研究以文献5中的方法为例，介绍server-client架构的 增强现实方法。原理： 在手机端，进行初始识别后，通过有效地运动估 计（根据相邻帧之前图像像素位置移动的多少来判断） 决定是否需要发送新的检索数据给
11、服务器；在服务器 端，从上传的检索帧中提取局部特征（SURF），通过 k-d树的方法在图像数据库中找到匹配数据。视频：实时识别和跟踪书和CD的封面5 David M.chen 等 ”Streaming Mobile Augmented Reality on Mobile Phones”ISMAR（2009）前一阶段所做工作手机上的跟踪与分割 视频方法流程：摄像机获取的图像确定初始跟踪区域， 特征点检测特征点描述及匹配，计 算相似变换，在后续每 一帧中确定跟踪区域存在的问题：鲁棒性（光照、 快速运动），漂移等。实验平台：N900性能参数： CPU: 600Hz 内存：RAM 256MB ROM 768MB 操作系统：Maemo 5开发工具：Nokia for Qt 是一个跨平台的开发工具，可以适用不同手机操作系 统，关注的是算法层面需要解决问题：（1）考虑到手机计算能力、内存、电源消耗等，手机上如何获 得实时（ 在移动手机的过程中不因跟踪不及时导致虚拟物 体的显示有延迟）、鲁棒（能够应对摄像机各种比较随意的 运动和跟踪失败时及时恢复）、稳定、准确的跟踪（2）一般跟踪遇到的问题： 光照变化、物体的快速运动、物体和场景的外观变化等等（3）数据传输速率，网络延迟等等Thanks for listening
