一篇很不错的技术解析。
分析FSDV14是怎么实现的,主要是靠特斯拉自动驾驶总监Ashok在一个计算机顶会的PPT分享得出的。
端到端自动驾驶的三大挑战:
——端到端模型纬度诅咒
端到端系统要解决的是一个从极高维度到极低维度的映射问题,而高维到低维的映射本质上是多对一的,这个映射还要反馈正确逻辑,这就好比要从一团乱麻中要找到最终指引向出口的那唯一的一根,其训练难度可想而知。
Tesla通过强大的数据引擎(Data Engine)来应对此挑战,致力于采集大量高质量数据。Tesla采用了复杂的触发机制来回传长尾场景数据,如使用专用模型采集特殊车辆数据、基于预测偏差回传bad cases、收集所有用户接管数据,以及感知状态突变的场景。
——VLA架构端到端保障可解释性和安全性
端到端系统作为“黑箱”,在问题分析、行为解释和安全验证方面存在隐患。Ashok介绍说,Tesla的端到端系统并非彻头彻尾的“黑箱”系统。
特斯拉的端到端系统不仅输出了下一个驾驶控制指令,还在决策规划信号前输出了很多中间结果,包括了带速度信号的3D占据网格,3D高斯特征等动态障碍物,交通信号灯,信号牌,等静态物体,还有限速,道路属性,以及语言模式表达的决策信息。
Tesla FSD V14很可能采用的就是基于VLA的端到端技术方案、
——评测体系是实现端到端系统的核心壁垒
Ashok本次分享的最重要的观点莫过于完善的评测体系对于端到端系统的重要性了。
Tesla完善的评测体系中的核心就是基于神经网络的闭环仿真系统。
包括: 利用闭环仿真验证端到端Policy的正确性、利用场景编辑生成能力生成对抗样本检验模型能力、 利用模拟器在闭环仿真系统中获取人驾真值。
最后Tesla的强大闭环仿真引擎同样可以迁移到机器人领域,而机器人Optimus和自动驾驶FSD技术栈的统一,也为后续Cross Embodiment带来的更泛化的具身AI发展带了巨大的想象空间。
原文链接: