《向“原生”视觉和自动驾驶前进 直击特斯拉AI DAY》由会员分享，可在线阅读，更多相关《向“原生”视觉和自动驾驶前进 直击特斯拉AI DAY（9页珍藏版）》请在金锄头文库上搜索。
1、向“原生”视觉和自动驾驶前进 直击特斯拉AI DAY作者：李实来源：微型计算机2021年第19期特斷拉的目的是实现左全葩良动菇驶持禹拉C EQ马肝克荼临现场.车过地幷没有之爭镜头，只暹担封幵场和壬持册用，所有的沁讲人试部王程师，i3沐班了硅習圧:理J币立忧。阳腑任认向古徑視姒人脑JN刃贰宝的方法嵌妄现剤尚汨坏境吃 也式；.）浙宜応乔了训谊潯咙去却适墜上为匚心点行识别匕总吒在此之旬，摄傑头对昨捆苍比如适瞇边绿醴口址曜.迴是现在特炳拉已经聲边 了远个冋2”持胡拉杲fflSpahal ANN对此賈旌（亍上戛.可収拦枣史祈谢啜头可见豆1E内的 各科信息”椅斯垃爰用逼像头识别怀境的整体架构酬】一些密例辰
2、示站斯拉的数？g显示，拇像头经过处理后能够识别的信忌和细节，与澈光密 达、来米波as达的表况总公处于同一水平。TesUAIDayData Labeling Growthi目前道詔上需烫标注的故居越來14多如何史有效地处迎它们J8个关链,持靳拉将整个挽觉信息转化为矢空沏加入了距髙信息.同时増加了时间 维滾（D）,将其转化为4D炀象讲行标注And the Fleet Giveth Back10k Such Clips Collected &Automatically Labelled in One Week在经过加岳学习民系统可以正确地识别速路上的绝大部分待殊情况. 特斯拘馬示自己在路径观划方面的
3、特色，包塔不断地瘦室、预判周15的情况,至可以判詬件么时候痛爱停生竟让。在获窄询甲向通行逍題上汽车可以自动停下来特斯拉展示了一个典型的左转穹睦径优化收效过程362 TFLQPs .：-22#6 TFLOPe pjj10TBp$/dlf.4TBps/edgie. OftChlD Ihntmdh400W TOPAo mU-ilrnm* ?mn Tci一 口1苫片还可農铠成计貨丛薛对却卜帝童你迂都定QTEd总计去达3fiTB：a.!b *凹特卑拉EE全新肚D I计穿二片.黨电了皑过蚣応律監*好斯拉展页D4计H年秣的隸握相性电瑾决特IW拉己经有丁实际可以运行的D1芯片计廿群特斯拉是一家特立獨行的企业，
4、不到20年时间，它从大众眼中的新能源车企，变成了一 家高科技企业。2019年特斯拉自动驾驶日，展示它在自动驾驶方面的研究。2020年特斯拉电 池日，它带来了大量电池技术方面的创新，并将电动车的续航里程持续推高。2021年8月， 特斯拉全新的Al DAY （人工智能日）粉墨登场。这一次，特斯拉又带来了哪些新的技术和产 品呢？特斯拉在电动汽车上的努力有目共睹，如果仔细剖析电动汽车的话，可以发现它的架构分 为车身和操控、驱动部分、电池部分以及电气系统部分。其中，车身和操控部分相对传统汽车 而言变化不算特别大，且这部分材料和设计都已经到达了目前材料和物理规律的极限，进步空 间有限。驱动部分主要是电机和
5、相关电路，这部分设备的进步空间也基本上很小了。现在，电 池部分和电气系统部分被认为是电动车上进步最大、最容易超越传统燃油车的地方。其中电池 部分的进步对应着更长的续航，能够彻底解决电动车最核心的“里程焦虑”问题。电气系统部分较为复杂，目前最重要的发展方向是智能化、数字化的座 舱体验和自动驾驶系统。特斯拉在之前的自动驾驶日、电池日上已经展示了一部分自己在自动 驾驶和增强电动汽车续航方面的研究和展望，但最终自动驾驶技术的发展依靠的还是强大的算 力和全新的技术，尤其是AI技术的发展，这也是2021年特斯拉召开AIDAY这场大会的最大 目的。在 AI DAY 上，特斯拉带来了自己利用人工智能技术的发展
6、，在自动驾驶方面的进展，包 括在自动驾驶的视觉、数据标注和模拟、规划和控制以及硬件方面的创新。整个发布会长达3 个小时，不过前面的等待和后期的问答占据了一部分时间，真正的持续时间大约为一个半小 时，马斯克和特斯拉的工程师包括Andrej、Ashok、Ganesh等都亲临现场进行了讲解。从讲解 内容来看还是比较艰涩难懂的，尤其是涉及一些计算模型和应用方面的处理。本文将尽量简单 明了地解释这些内容。感知道路信息：从图像空间转为矢量空间在自动驾驶的视觉方面，特斯拉和现在业界呼声比较高的激光雷达方案存在很大差异。根 本原因并不是某些设备或者采用摄像头与否的问题，而是形成立体视觉空间的问题。众所周 知，
7、摄像头在采集信息时会丢失几乎所有空间信息，最终计算机识别的信息中并不包含距离内 容。相比之下，激光雷达在一定程度上可以解决这个问题，能够识别部分物体和车辆之间的距 离。特斯拉一开始就鲜明地提出，他们计划模拟大脑的工作方式，只通过摄像头完成对事物本 身以及空间信息的识别，也就是从图像空间转变为矢量空间。为了达到这个目的，特斯拉使用了一名为transformer的计算模块，这个模块采用注意力 机制，可以在多个摄像头拍摄的画面之间建立联系，并且形成相对固定的空间关系，此外还包 括摄像头矫正等。所谓注意力机制，实际上也是源自人脑和人眼的一种工作机制。简单来说， 注意力机制就是人类的视觉系统倾向于在观察
8、中关注图像里辅助判断的信息，而对那些不是特 别相关的信息选择性忽略。这样一来，画面中有关判断、决策的内容或者关键的一些结合点就 会被筛选出来。比如在道路画面中，有关地面的信息会被忽略，道路边缘的路肩、警示信息以 及道路上的一些物体会被认为是关键信息。通过这样的机制transformer模块能够将摄像头给 出的图像信息进行筛选比对，进一步处理后就能将平面的图像空间转换为立体的矢量空间。特斯拉也展示了摄像头在自家汽车上应用发展的历程，比如早期采用的是单摄像头单帧模 型。随后由于单个摄像头范围比较窄，后期使用了多摄像头单帧模型予以改善。但是多摄像头 单帧模型主要是画面未能很好地融合拼接，因此依旧采用
9、的是孤立图像来判断，效果不好。现 在加入了 transformer模块后，特斯拉终于可以将所有的画面进行统一处理并矢量化了，进入了 多摄像头多帧模型的新阶段。在这个阶段中，特斯拉可以保持连续多帧信息融合，实现对道路 连续、不间断地监控。在实现了多帧信息融合后，特斯拉选择了 Spatial RNN对视频进行处理。经过Spatial RNN 的处理，特斯拉的汽车可以持续更新摄像头可见范围内的各种信息，并且还可以对物体的速度 和距离进行估计。特斯拉的数据显示，他们的模型和方案相比毫米波雷达，效果基本相同。识别道路状况：4D标注关键信息当汽车通过摄像头完成了对空间结构的重现后，接下来一个重要的工作就是
10、数据标注了。 所谓数据标注，就是采用人工智能手段，将画面中那些需要特别重视的部分以不同的形式或者 等级凸显出来。比如摄像头拍摄到了过马路的人、前方的汽车、道路边沿、固定障碍物以及道 路标识和警示信息等，都需要及时识别并处理。特斯拉将自己的数据标注功能称为4D。相比传统2D图像化标注，特斯拉已经将整个视 觉信息转化为矢量空间，加入了距离信息，因此单帧2D画面也成了 3D场景。但是特斯拉并 非仅仅依靠3D场景进行标注，而是加入了时序信息，增加了时间维度（D）,将其转化为4D 场景进行标注。简单来说，之前的数据标注是利用一张张图片或者仅仅是一个静态的3D场景 进行标注。现在特斯拉是在一个重建后的视频
11、中进行标注，并且能够将标注后的信息反馈回摄 像头，并进行跟踪，后续就不用重复标注了，这在很大程度上节约了计算资源。不过，虽然4D标注在功能实现和最终结果上表现优秀，但是也非常耗费计算资源，依靠 传统的标注方法是难以处理的。为此，特斯拉专门开发了特别的4D自动标注工具，这个工具 在展示中显示出了非常不错的效率，不但能够标注场景内的关键个体，还包括这些个体的运动 速度、距离等内容，甚至可以预测它们未来的运动轨迹。特斯拉宣称新的4D标注功能相比传 统的2D图像化标注效率提升了 100倍。发布会上，特斯拉展示了通过在道路上行驶的大约 100万辆特斯拉车辆，收集的250万个长度1分钟的片段，这相当于单个
12、汽车驾驶1500年的时 间，然后特斯拉使用上千个GPU和2万个CPU在一周内处理完了这些标注并且生成了模型。 相比我们印象中单车或者数十车辆上路收集数据而言，特斯拉展示出的成长能力是相当惊人 的。总的来看，特斯拉在自动驾驶的数据收集和处理能力已经远远抛开了绝大部分传统汽车厂 商和部分相关企业。现有的自动驾驶技术如何收集海量数据并生成有效的模型，对很多企业来 说是非常困难的。因此才不断出现激光雷达、毫米波雷达等各种方式，希望在汽车的决策端就 能收集到更多数据，比如激光雷达就可以直接生成矢量空间。但是特斯拉展示了另一个方法， 就是利用现有特斯拉汽车上的摄像头不断地收集数据并用于改善自动驾驶算法。随
13、着收集的数 据越来越多，它的自动驾驶模型也会越来越成熟可靠，这是特斯拉的商业模式带来的核心竞争 力。完成路径规划：算法优化寻求最优解在会上有一个有趣的比喻，那就是特斯拉认为他们从头开始做了一个“动物”，这个“动物” 能够感知周围的环境，明确周围的信息，最重要的是还可以根据这些内容对接下来的路径进行 规划和优化。此前在规划方面，特斯拉很少披露相关信息，而在本次AI DAY上，它展示了不 少新内容，值得一看。由于之前已经明确了环境和环境内人的信息，因此特斯拉在道路规划上就显得顺理成章 了。凭借强大的算力，特斯拉宣称自己的自动驾驶规划算法可以在1.5ms内完成2500种不同 的行驶轨迹判断，并且从中
14、选出能够确保安全和舒适的“最优解”。特斯拉给出了一个案例：一 辆汽车在经过一个十字路口后需要左转，这个时候变道和左转的时机就显得非常重要，因为对 汽车在道路上行驶这个场景来说，道路上的所有东西都不是一成不变的，而是动态的。随着时 间流逝，整个道路的条件和状况都在不断变化。特斯拉要做的是在这种动态约束条件下的最优 化求解。这面临两个问题，一个是Non-Convex也就是非凸的解空间，另一个则是高维度解空 间。其中非凸是一个运筹学概念，是指集合中任意两点连线后，部分线段不在此集合中，就是 非凸，否则就是凸集合。凸集合的特点是局部最优解就是全局最优解，但是非凸集合并非如 此，非凸集合的局部最优解不能
15、直接导出全局最优解且全局最优解算法复杂度极高。对应在自 动驾驶中，这种算法面临的是由于不断变化的场景，在当下确定的最优方案到了下一刻可能就 不适用了。另外，高维度解空间的概念也使得计算量过大导致算法难以完成。比如汽车需要计 划未来1015秒的路径，且在这段时间中还有大量数据和参数产生，计算量相当大。有鉴于此，特斯拉选择了一个折中的混合算法。它首先利用粗粒度的离散搜索非凸集合， 提取出一个凸集合“通道”，利用凸集合最优解进行连续优化并快速收敛，最终选择出最优秀的 运行轨迹。特斯拉给出了一个例子是汽车通过一个单行道道路，中间不断有对向车辆行驶过来。在这 种情况下，自动驾驶需要不断地搜索、预判周围的情况，尤其是面临对方高速对向行驶的时 候，特斯拉会判断是否需要停下来避让。从这个案例可以看出，特斯拉的自动驾驶在变化的条 件下能够自动选择合适的做法。另一个案例是在路口左转，当临近路口时，它选择了一个比较 宽泛的区域进行预判断，然后随着车
