《当人工智能遇上虚拟现实技术》由会员分享，可在线阅读，更多相关《当人工智能遇上虚拟现实技术（27页珍藏版）》请在金锄头文库上搜索。
1、当人工智能遇上虚拟现实技术 VR/AR中的核心技术 沉浸感 交互 位置 跟踪 手柄手势 显示 视角分辨率 移动性 价格 VR/ARVR/AR InteractionInteraction HCIDisplay VR GestGestu ur re eViewView DirectionDirectionPositionPosition TrackingTracking AR VR/AR中的核心技术 VR/AR未来需要解决的三个问题 产品碎片化 01 02 03 内容缺乏 技术进步 显示技术 FOV 01 02 03 分辨率 硬件尺寸 交互技术 Type of Interaction Gestu
2、ral Communication Direct Manipulation indirect Manipulation w/tools Gestural CommunicationDirect Manipulation Indirect Manipulationw/ Tools GamePad 6DOF Controller 3DHand Tracking 交互技术 Gestural CommunicationDirect Manipulation Indirect Manipulationw/ Tools HoloLens uSens Fingo 交互技术 3D UI Public Disp
3、lay Intelligent Home Game c1/7bv7_image007.jpg Drive Medical 交互技术 t 情 、 ， 屯 Q , B . 、 n.3 o 8 1 . I Q 恤 一 ， r i q . 一 交互技术 基于人工智能的交互技术 人 脸 语 音 图像 文 字 炒股 博弈 Deep Learning Jonathan Tompson, etc. Real-Time Continuous Pose Recovery of Human Hands Using Convolutional Networks. Siggraph 2014 Use CNN netwo
4、rk, input is depth map, output heat maps of every joint. 军事 智能 驾驶 机器 人 无人 机 空间定位技术 空间定位技术 1 空间定位 已知：3D点 (x,y,z)，2D投影 (u,v) 未知：相机姿态 (R，T) 三角化 已知：相机姿态 (R, T) 未知：3D点 (x,y,z) SLAM 已知：2D投影 (u,v) 未知：R、T、(x,y,z) 空间定位技术/视觉方法 空间定位技术/视觉方法 Tracking：已知3D点位置，求解每帧图像的相机pose Mapping ：更新3D点的位置 视觉SLAM方法包含两个模 块 基于图像特征
5、点的方法，如PTAM, ORB 直接法，比较像素灰度差，如LSD-SLAM，DSO- SLAM 两种视觉特征 基于滤波的算法 基于优化的算法 两种优化求解方法 Mechanic Gyroscope Laser Gyroscope MEMs Gyroscope 空间定位技术/传感器 空间定位技术/传感器 States：R（Rotation），p（Position），v（Velocity），b（bias） 4. IMU和图像的采集时间不一致 3. IMU和相机的相对位置和方向影响很大 2. IMU得到的加速度是包含重力的 a a+G G 1. IMU数据是有偏差和漂移的 空间定位技术/传感器 22
6、 IMU frequency is much higher than camera. Apply Pre-Integration technology IMU-Camera calibration is VERY important 空间定位技术/传感器+视觉融合 Rendering and display time 23 Last images time stamp, we can get precise pose here With known IMUdata, integratedpose Rendered time, know nothing from last time Algori
7、thm time 空间定位技术/ATW 相机图像采集, SLAM算法, 渲染, 这些过程都需要处理时间，统称为“Motion to Photon Latency”。VR应用中，需要小于20ms，才能保证用户不会眩晕 ATW 是一种有效减小延迟的技术, 它是通过预测未来的双眼位置来提前渲染 Hardware 20123013 2015 2015 2016 2016 2017 2017 24 Hardware Spec. 25 Product Dimensions V1 12.9mm(H) 37.5mm(W) 102.4mm(L) V2 6mm x 15mm x 70mm PCB Dimensio
8、ns V1 8.4mm(H) 24mm(W) 85mm(L) V2 5mm(H) 12mm(W) 65mm(L) Image Sensor VGA, Global Shutter Hardware Sync. Frame Rate: 60 fps 120 fps Shutter Speed: 0.01ms 10ms Viewing Angle Lens: Horizontal: 140 Vertical: 120 Power Consumption Active Motion Mode: 1.0W Non-tracking Mode: 0.6W Data Interface Micro-B SS USB 2.0 / USB 3.0 Illumination 3 850nm LED 3 33mW average ： 雪 FVT digital Signal - 忑 夕 ） 三厮 - 一二 、飞尽 . 沁气 一 一 HUD Car I lntellegent Eyes . Eye for RobotVision Drone
