端到端模型:当AI开始掌握驾驶艺术
端到端模型:当AI开始掌握驾驶艺术

端到端模型:当AI开始掌握驾驶艺术

AI技术的每一次突破都像是巨轮驶入未知的海域。

2023年初,大语言模型ChatGPT横空出世,全球陷入通用人工智能狂潮,全球最聪明的脑袋、最滚烫的热钱、最庞大的算力群流向这块热土。

一年过去,科技公司OpenAI的AI魔法再现。视频生成模型Sora无需真实演员、拍摄与场地,只需几个关键词,就能生成电影级画面。

AI展现出惊人的进化速度。

OpenAI的两次成功,让同行探究到其背后的秘诀——Scaling Law法则。Scaling Law是OpenAI 在2020年一篇论文中提出的概念。如同摩尔定律之于芯片行业,Scaling Law指出,通过更多数据量训练、扩大模型规模以及延长训练时间,大模型性能可以持续提升。

简单来说,就是给大模型喂足够多数据,AI会不断认知、学习世界,直到大力出奇迹。

不只OpenAI摸到了窍门。在AI技术与传统制造结合的最大落地场景——智能驾驶领域,也正在出现一个能够颠覆行业过往的大模型架构——端到端模型。

近日,特斯拉就在美国向拥有HW4.0硬件的车主,全量推送了智能驾驶软件FSD v12 Beta版。更新日志上依旧是FSD v12的标志性介绍:FSD Beta v12 将城市街道驾驶功能升级为单个端到端的神经网络,该神经网络由数百万个视频片段训练而成,取代了超过 30 万行的 C++ 代码。

端到端模型,也被视为下一代自动驾驶方案:抛弃冗长的代码、抛弃工程师定义规则的方式,让AI自主学习人类的驾驶模式,直到智能涌现。

01.传统自动驾驶模式,翻篇了

在天平倒向特斯拉之前,谷歌旗下子公司Waymo一直是中国智能驾驶公司追捧的对象。

从2009年开始,谷歌旗下自动驾驶公司Waymo不遗余力地探索自动驾驶,希望打造出完全代替人类驾驶的驾驶系统。

Waymo的方案实现,依赖着感知、预测、规划和控制等多个独立模块的相互配合。然而这个方案有着明显的天花板,因为方案基本依赖于工程师们一行行代码制定的规则,来驯化自动驾驶车辆。

但有限的规则,难以应对无限的道路场景。尤其中国城市道路红绿灯千奇百怪,路口复杂且参与者众多,如果自动驾驶车辆行驶到高精地图之外的区域、遇到规则之外的道路障碍物,可能就会束手无策,陷入困境。

如果要解决corner case(长尾场景)、迭代方案,需要工程师人工挨个处理。据国内自动驾驶公司元戎启行统计,“一位工程师一天只能处理10多个案例。”元戎启行CEO周光总结道。

周光是自动驾驶行业最早一批创业者,他深知独立模块方案已经遭遇天花板。“模块化模型之下的车,驾驶动作的‘机械感’很强。”

天平的另一边,特斯拉选择技术辅助人类驾驶的路线。最早,特斯拉也采用过传统多模块方案,因为感知能力有限,2016年特斯拉曾将道路前方的静止白色货车错认为天空,导致一起致命车祸发生。

但从2021年开始,特斯拉开始重构底层系统代码。2021年AIDAY上,特斯拉就将Transformer大模型技术架构引入了感知领域,使得摄像头的2D图像可以转化为3D图景,也称鸟瞰图 BEV。ChatGPT中的”T”正是指Transformer大模型。

随后,特斯拉持续用AI神经网络重塑规划控制模块,端到端模型方案雏形渐成。端到端的核心是指直接从输入数据到输出结果,但此前因决策过程缺乏可解释性,没有被广泛应用。

但大模型、大数据、大算力的出现,改变了端到端技术方案的命运。

去年,马斯克找Meta创始人扎克伯格“决斗”时,就开着特斯拉FSD。他在直播中表示:“FSD v12是有史以来第一个端到端AI自动驾驶系统。”在他看来,端到端自动驾驶方案是更接近人类驾驶的模式,把感知与驾驶决策都交给了AI。“人类就是这么做的,图像输入,控制输出。”

目前,有超40万用户使用过FSD,但v12版本此前只对部分用户开放。从海外用户评测来看,即便是绿灯通行状态,FSD v12也会等待一群人通过斑马线,再起步进入右转车道;遇到路边停放的消防车时,FSD v12也可以识别并绕行。演进势头良好。

元戎启行CEO周光也表示,端到端模型的精髓在于,用海量数据去训练系统,让AI模型自己找到藏在数据中的驾驶规则。

元戎启行端到端技术路径

“依照Open AI已经验证过的Scaling Law的定律,在数据集规模以及计算资源不断增长的情况下,模型的性能将会单调提升。所以我们只需要喂给它大量的人类老司机的驾驶数据,它就能学习到驾驶方法。”周光说道。

在实际驾驶过程中,端到端模型也会更流畅,“不会机械地遇到障碍物就刹停或者画龙,而是会考虑人类的驾驶文化做出决策。”

02.国内智驾,将迎端到端模型之战

特斯拉的进展,也受到在大洋彼岸的中国同行的密切关注。端到端也成为行业技术、产业进展的热门词汇,一场端到端的战斗已经山雨欲来。

而此前国内智能驾驶公司基本都追随谷歌Waymo路线,要追上特斯拉并不容易。

端到端方案如何实现?

元戎启行CEO周光认为,端到端并不是一个突然转变,而是一个循序渐进的过程,需要经历传感器前融合、去高精度地图、感知决策控制三个模型一体化等环节。

例如,在过往多模块方案中,高精度地图的一把不可缺少的“拐杖”。“但高精度地图是通过人去标注好道路结构和场景信息,系统根据人的标注去识别道路。这其实就是规则驱动。”周光说道。

而依赖人工规则的方法也决定了,高精度地图无法大规模使用:为了保持地图的更新,车企必须付出高昂的成本。高精度地图的采集制作成本大概在3000元/公里,如果一个城市按一万公里城市道路来计算,建图成本在3000万左右。

搭载端到端模型的智驾系统在路口主动让行后车

就连华为车BU董事长余承东去年也公开表示,高精地图覆盖全国的难度太大,中国道路几乎实时在变动,只有不依赖高精地图的智驾系统,才具备大规模上车使用的价值。

于是2023年,国内智能驾驶公司就开启了一场轰轰烈烈的“去高精地图”运动。一众公司纷纷效仿特斯拉,全面提升感知能力,大力学习基于Transformer的BEV、及Occupancy network(占据栅格)等技术。而升级后的感知算法模块,基本是全新的神经网络架构了。

换句话说,沿着BEV等感知技术方向,继续重构下游的规划控制等模型,智能驾驶公司有机会抵达“疗效更好”的端到端模型。据了解,到今年末,国内头部智驾玩家基本都有端到端方案推出。

但就目前而言,元戎启行是国内最快官宣端到端模型进展的自动驾驶公司。

近日,在英伟达主办的GTC大会上,元戎启行CEO周光表示,公司已经把端到端模型应用于量产车上,该批量产车将于今年投入消费者市场。

同时,元戎启行还与英伟达合作,将于2025年使用英伟达的DRIVE Thor芯片适配公司的端到端智能驾驶模型。

这得益于元戎启行对前瞻技术的高度关注。察觉到传统多模块方案的弊端后,元戎启行从2023年就推出了不依赖高精地图的智驾路线,让模型感知道路拓扑结构,让预测和规划由规则驱动变成了数据驱动。更早之前,元戎启行也已将多个传感器进行前融合,将感知数据放到一个神经网络里。

搭载端到端模型的智驾系统灵活避开违停

底 层 架构 的变革,也为端到端模型的出现打下基础。 周光告诉36氪,公司设计的端到端模型可以将感知、预测、规划三个模型一体化。 “不再需要人类规则编写接口,将原本三个独立模块深度整合,输入原始感知数据后直接输出执行指令。 所见即所得。 ”

03.是自动驾驶公司,更是AI公司

从2023年8月开始,元戎启行就在深圳的城中村开始了自动驾驶端到端方案的实车测试。

端到端方案展现出的应对能力让内部团队感到惊喜。在路况复杂的城中村狭窄路段,车辆也能流畅行驶。如果遇到前方违停车辆,车辆也能判断前车行驶意图,主动绕开前车。

但端到端模型的落地,也考验着行业玩家的基本素养:大数据、大算力群、以及云端训练的大模型如何落到量产车上?

首先面临的棘手的问题是,如何获得海量的行车数据。特斯拉曾判断,完成一个端到端自动驾驶的训练至少需要1000万个视频案例,才能有不错效果。

周光也认为,1000万段视频数据并非已有数据的线性增加,而是要找到高质量、分布多样的视频数据。这只能依赖量产车型。

他向36氪表示,此前元戎启行已经向车企收集了真实的脱敏行车数据,涵盖场景很全面。但他也承认,模型效果想要更好,需要更多数据。随着元戎启行量产车推入市场,公司会收集到更多数据训练算法。

但将海量的数据喂养给大模型,还需要大量算力。不仅特斯拉,国内的华为、小鹏、理想、蔚来等都在积极扩建智算中心。

周光也表示,公司内部也在构建端到端模型训练所需的 GPU算力群, 包括云计算资源租赁等,大股东阿里也可以提供部分支持。

但云端的大模型训练完毕,还需要经过精简优化,才能下放到量产车上。毕竟,云端的大模型训练使用的参数量巨大,而目前量产车上主流的自动驾驶芯片英伟达 Orin,AI算力为 254 TOPS。

周光表示,元戎启行修剪后的端到端模型,仅用一颗Orin 芯片就可以运行。未来随着英伟达具备1000 TOPS 算力的芯片 Thor落地,元戎启行也会进一步与Thor 适配,端到端模型效果会更高。

当然,周光也认为,端到端模型的未来上限很高,但在车端的有限算力硬件配置阶段,端到端模型的“下限还有点低”。这也是行业普遍担心的地方:端到端模型的过程不可被解释,如何保证驾驶安全?

对此,周光谈到,端到端模型刚开始上车阶段,还是会有很多安全兜底策略。比如预测到碰撞可能发生,系统会启动安全模型,让车采取偏保守的驾驶策略,避免安全事故。“随着我们的模型表现越来越好,我们的兜底策略会越来越简化。”

尽管一些行业人士仍然认为,端到端模型在车端落地的做法相当激进,但在他看来,ChatGPT、Sora等通用AI模型的进步是按周来计算的,行业不能假装没看到。

与36氪的沟通中,周光多次提到了“Tech Vision”的重要性。“这是AI公司的命脉,核心是要对技术有准确的预判,以及具备终局思维。耗费精力去做一些过分雕花的事情,其实没有解决用户真正的痛点。”

周光提及,未来智能驾驶的定位不仅仅是在汽车产业链,而是在整个AI产业。“端到端模型是一把钥匙,而且我认为是最优的钥匙去打开物理世界通用人工智能的大门。”

在AI技术快速向智能汽车、机器人以及更大的制造业渗透时,元戎启行也将自己定义为AI公司。元戎启行希望,公司既能够打造一套高性能的智能驾驶系统,又能创造一套物理世界通用的人工智能系统。

AI技术的每一次突破都像是巨轮驶入未知的海域。而置身其中的公司能做的,就是保持警惕、奋力向前。

原文地址: 端到端模型:当AI开始掌握驾驶艺术-36氪 (36kr.com)

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注