端到端模子：当ai入手下手负责驾驶艺术

李洋 2024-03-29 05:52 283

"端到端模子：当ai入手下手负责驾驶艺术,这篇新闻报道详尽，内容丰富，非常值得一读。这篇报道的内容很有深度，让人看了之后有很多的感悟。作者对于这个话题做了深入的调查和研究，呈现了很多有价值的信息。这篇报道的观点独到，让人眼前一亮。新闻的写作风格流畅，文笔优秀，让人容易理解。 " 账号设置我的关注我的收藏申请的报道退出登录登录搜索36氪Auto数字时氪将来消费智能涌现将来城市启动Power on36氪出海36氪研究院潮生TIDE36氪企服点评36氪财经(Finance)职场bonus36碳后浪研究所暗涌Waves硬氪媒体品牌企业号企服点评36Kr研究院36Kr创新咨询企业服务核心服务城市之窗行政部门服务创投发布LP源计划VClubVClub投资机构库投资机构职位推介投资人认证投资人服务寻求报道36氪Pro创投氪堂企业入驻创业者服务创投平台首页快讯资讯推荐财经(Finance)科技(Technology)创新城市最新创投汽车(Car)企服专精特新直播视频专题活动搜索寻求报道我要入驻城市合作端到端模型：当AI开始掌握驾驶艺术晓曦·2024-03-28 17:28关注AI技术的每一次突破都像是巨轮驶入未知的海域。

2023年初，大语言模型ChatGPT横空出世，全球陷入通用人工智能狂潮，全球最聪明的脑袋、最滚烫的热钱、最庞大的算力群流向这块热土。

一年过去，科技(Technology)公司OpenAI的AI魔法再现。视频生成模型Sora无需真实演员、拍摄与场地，只需几个关键词，就能生成电影(Movie)级画面。

AI展现出惊人的进化速度。

OpenAI的两次成功(Success)，让同行探究到其背后的秘诀——Scaling Law法则。Scaling Law是OpenAI 在2020年一篇论文中提出的概念。如同摩尔定律之于芯片行业，Scaling Law指出，通过更多数据量训练、扩大模型规模以及延长训练时间，大模型性能可以持续提升。

简单来说，就是给大模型喂足够多数据，AI会不断认知、学习世界，直到大力出奇迹。

不只OpenAI摸到了窍门。在AI技术与传统制造结合的最大落地场景——智能驾驶领域，也正在出现一个能够颠覆行业过往的大模型架构——端到端模型。

近日，特斯拉就在米国向拥有HW4.0硬件的车主，全量推送了智能驾驶软件FSD v12 Beta版。更新日志上依旧是FSD v12的标志性介绍：FSD Beta v12 将城市街道驾驶功能升级为单个端到端的神经网站，该神经网站由数百万个视频片段训练而成，取代了超过 30 万行的 C++ 代码。

端到端模型，也被视为下一代自动驾驶方案：抛弃冗长的代码、抛弃工程师定义规则的方式，让AI自主学习人类的驾驶模式，直到智能涌现。

01.传统自动驾驶模式，翻篇了

在天平倒向特斯拉之前，谷歌旗下子公司Waymo一直是祖国智能驾驶公司追捧的对象。

从2009年开始，谷歌旗下自动驾驶公司Waymo不遗余力地探索自动驾驶，希望(Hope)打造出完全代替人类驾驶的驾驶系统。

Waymo的方案达成，依赖着感知、预测、规划和控制等多个独立模块的相互配合。然而这个方案有着明显的天花板，因为方案基本依赖于工程师们一行行代码制定的规则，来驯化自动驾驶车辆。

但有限的规则，难以应对无限的道路场景。尤其祖国城市道路红绿灯千奇百怪，路口复杂且参与者众多，如果自动驾驶车辆行驶到高精地图之外的区域、遇到规则之外的道路障碍物，可能就会束手无策，陷入困境。

如果要解决corner case（长尾场景）、迭代方案，需要工程师人工挨个处理。据国内自动驾驶公司元戎启行统计，“一位工程师一天只能处理10多个案例。”元戎启行CEO周光总结道。

周光是自动驾驶行业最早一批创业者，他深知独立模块方案已经遭遇天花板。“模块化模型之下的车，驾驶动作的‘机械感’很强。”

天平的另一边，特斯拉选择技术辅助人类驾驶的路线。最早，特斯拉也采用过传统多模块方案，因为感知能力有限，2016年特斯拉曾将道路前方的静止白色货车错认为天空，导致一起致命车祸发生。

但从2021年开始，特斯拉开始重构底层系统代码。2021年AIDAY上，特斯拉就将Transformer大模型技术架构引入了感知领域，使得摄像头的2D图像可以转化为3D图景，也称鸟瞰图 BEV。ChatGPT中的"T"正是指Transformer大模型。

随后，特斯拉持续用AI神经网站重塑规划控制模块，端到端模型方案雏形渐成。端到端的核心是指直接从输入数据到输出结果(Result)，但此前因决策过程缺乏可解释性，没有被广泛应用。

但大模型、大数据、大算力的出现，改变了端到端技术方案的命运。

去年，马斯克找Meta创始人扎克伯格“决斗”时，就开着特斯拉FSD。他在直播中表示：“FSD v12是有史以来第一个端到端AI自动驾驶系统。”在他看来，端到端自动驾驶方案是更接近人类驾驶的模式，把感知与驾驶决策都交给了AI。“人类就是这么做的，图像输入，控制输出。”

目前(Currently)，有超40万用户使用过FSD，但v12版本此前只对部分用户开放。从国外用户评测来看，即便是绿灯通行状态，FSD v12也会等待一群人通过斑马线，再起步进入右转车道；遇到路边停放的消防车时，FSD v12也可以识别并绕行。演进势头良好。

元戎启行CEO周光也表示，端到端模型的精髓在于，用海量数据去训练系统，让AI模型自己找到藏在数据中的驾驶规则。

元戎启行端到端技术路径

“依照Open AI已经验证过的Scaling Law的定律，在数据集规模以及计算资源不断增长的情况下，模型的性能将会单调提升。所以我们(We)只需要喂给它大量的人类老司机(Driver)的驾驶数据，它就能学习到驾驶方法。”周光说道。

在实际驾驶过程中，端到端模型也会更流畅，“不会机械地遇到障碍物就刹停可能者画龙，而是会考虑人类的驾驶文化(Culture)做出决策。”

02.国内智驾，将迎端到端模型之战

特斯拉的进展，也受到在大洋彼岸的祖国同行的密切关注。端到端也成为行业技术、产业进展的热门词汇，一场端到端的战斗已经山雨欲来。

而此前国内智能驾驶公司基本都追随谷歌Waymo路线，要追上特斯拉并不容易。

端到端方案如何达成？

元戎启行CEO周光认为，端到端并不是一个突然转变，而是一个循序渐进的过程，需要经历传感器前融合、去高精度地图、感知决策控制三个模型一体化等环节。

例如，在过往多模块方案中，高精度地图的一把不可缺少的“拐杖”。“但高精度地图是通过人去标注好道路结构和场景信息，系统根据人的标注去识别道路。这其实就是规则驱动。”周光说道。

而依赖人工规则的方法也决定了，高精度地图无法大规模使用：为了保持地图的更新，车企必须付出高昂的成本。高精度地图的采集制作成本大概在3000元/公里，如果一个城市按一万公里城市道路来计算，建图成本在3000万左右。

搭载端到端模型的智驾系统在路口主动让行后车

就连华为车BU董事长余承东去年也公开表示，高精地图覆盖全国的难度太大，祖国道路几乎实时在变动，只有不依赖高精地图的智驾系统，才具备大规模上车使用的价值。

于是2023年，国内智能驾驶公司就开启了一场轰轰烈烈的“去高精地图”运动。一众公司纷纷效仿特斯拉，全面提升感知能力，大力学习基于Transformer的BEV、及Occupancy network（占据栅格）等技术。而升级后的感知算法模块，基本是全新的神经网站架构了。

换句话说，沿着BEV等感知技术方向，继续重构下游的规划控制等模型，智能驾驶公司有机会抵达“疗效更好”的端到端模型。据了解，到今年(This Year)末，国内头部智驾玩家基本都有端到端方案推出。

但就目前(Currently)而言，元戎启行是国内最快官宣端到端模型进展的自动驾驶公司。

近日，在英伟达主办的GTC大会上，元戎启行CEO周光表示，公司已经把端到端模型应用于量产车上，该批量产车将于今年(This Year)投入消费者市场。

同时，元戎启行还与英伟达合作，将于2024年使用英伟达的DRIVE Thor芯片适配公司的端到端智能驾驶大模型。

这得益于元戎启行对前瞻技术的高度关注。察觉到传统多模块方案的弊端后，元戎启行从2023年就推出了不依赖高精地图的智驾路线，让模型感知道路拓扑结构，让预测和规划由规则驱动变成了数据驱动。更早之前，元戎启行也已将多个传感器进行(Carry Out)前融合，将感知数据放到一个神经网站里。

搭载端到端模型的智驾系统灵活避开违停

底层架构的变革，也为端到端模型的出现打下基础。周光告诉36氪，公司设计的端到端模型可以将感知、预测、规划三个模型一体化。 “不再需要人类规则编写接口，将原本三个独立模块深度整合，输入原始感知数据后直接输出执行指令。所见即所得。 ”

03.是自动驾驶公司，更是AI公司

从2023年8月开始，元戎启行就在深圳的城中村开始了自动驾驶端到端方案的实车测试。

端到端方案展现出的应对能力让内部团队感到惊喜(Surprised)。在路况复杂的城中村狭窄路段，车辆也能流畅行驶。如果遇到前方违停车辆，车辆也能判断前车行驶意图，主动绕开前车。

但端到端模型的落地，也考验着行业玩家的基本素养：大数据、大算力群、以及云端训练的大模型如何落到量产车上？

首先面临的棘手的问题是，如何获得海量的行车数据。特斯拉曾判断，完成一个端到端自动驾驶的训练至少需要1000万个视频案例，才能有不错效果。

周光也认为，1000万段视频数据并非已有数据的线性增加，而是要找到高质量、分布多样的视频数据。这只能依赖量产车型。

他向36氪表示，此前元戎启行已经向车企收集了真实的脱敏行车数据，涵盖场景很全面。但他也承认，模型效果想要更好，需要更多数据。随着元戎启行量产车推入市场，公司会收集到更多数据训练算法。

但将海量的数据喂养给大模型，还需要大量算力。不仅特斯拉，国内的华为、小鹏、理想(Ideal)、蔚来等都在积极扩建智算中心。

周光也表示，公司内部也在构建端到端模型训练所需的 GPU算力群，包括云计算资源租赁等，大股东阿里也可以提供部分支持。

但云端的大模型训练完毕，还需要经过精简优化，才能下放到量产车上。毕竟，云端的大模型训练使用的参数量巨大，而目前(Currently)量产车上主流的自动驾驶芯片英伟达 Orin，AI算力为 254 TOPS。

周光表示，元戎启行修剪后的端到端模型，仅用一颗Orin 芯片就可以运行。将来随着英伟达具备1000 TOPS 算力的芯片 Thor落地，元戎启行也会进一步与Thor 适配，端到端模型效果会更高。

当然，周光也认为，端到端模型的将来上限很高，但在车端的有限算力硬件配置阶段，端到端模型的“下限还有点低”。这也是行业普遍担心的地方：端到端模型的过程不可被解释，如何保证驾驶安危？

对此，周光谈到，端到端模型刚开始上车阶段，还是会有很多安危兜底策略。比如预测到碰撞可能发生，系统会启动安危模型，让车采取偏保守的驾驶策略，避免安危事故。“随着我们(We)的模型表现越来越好，我们(We)的兜底策略会越来越简化。”

尽管一些行业人士仍然认为，端到端模型在车端落地的做法相当激进，但在他看来，ChatGPT、Sora等通用AI模型的进步是按周来计算的，行业不能假装没看到。

与36氪的沟通中，周光多次提到了“Tech Vision”的重要性。“这是AI公司的命脉，核心是要对技术有准确的预判，以及具备终局思维。耗费精力去做一些过分雕花的事情，其实没有解决用户真正的痛点。”

周光提及，将来智能驾驶的定位不仅仅是在汽车(Car)产业链，而是在整个AI产业。“端到端模型是一把钥匙，而且我认为是最优的钥匙去打开物理世界通用人工智能的大门。”

在AI技术快速向智能汽车(Car)、机器人以及更大的制造业渗透时，元戎启行也将自己定义为AI公司。元戎启行希望(Hope)，公司既能够打造一套高性能的智能驾驶系统，又能创造一套物理世界通用的人工智能系统。

AI技术的每一次突破都像是巨轮驶入未知的海域。而置身其中的公司能做的，就是保持警惕、奋力向前。

本文由「晓曦」原创出品，转载可能内容合作请点击转载说明；违规转载必究。

寻求报道

本文图片来自：企业授权

+10

好文章，需要你的鼓励

晓曦资深作者0收藏+10评论打开微信“扫一扫”，打开网页后点击屏幕右上角分享按钮微博沉浸阅读返回顶部参与评论评论千万条，友善第一条登录后参与讨论(Discuss)提交评论0/1000你可能也喜欢这些文章奇怪的胜利——祖国汽车(Car)席卷俄国市场别只盯着车企降价，“购车补贴战”已在多城打响最前线｜FE电动方程式CEO杰夫·多兹：更多车企仍然坚持电动化被“网暴”的理想(Ideal)MEGA，还能救一救吗普拉多回归，但已物是人非？36氪独家 | 宁德时代加速“to C”战略，将开上万平形象店、做抖音(Tik Tok)直播最前线｜哈啰打车宣布新开二十城，发起“春耕计划”为司机(Driver)增单增收危险的旅程，马斯克和余承东共同的挑战不是所有的老板，都适合拿来切片最新文章推荐人工智能的尽头还真是发电Claude 3再次登顶，化学专业一骑绝尘，全面碾压GPT-4亚马逊分仓，打响米国物流提速战抖音(Tik Tok)酒旅再传大消息：人事地震，放弃OTA模式？《周处除三害》锁定三月票冠，但它最大的价值不止于票房份额增盈利降，锂电老三都扛不住价格战了降价风暴中的平行进口车产业何去何从？就问一句：酒店品牌敢和加盟商共担风险吗？核心产品被仿制药企业盯上，百济神州诉外企侵犯专利营收连降，投行承压，券商“一哥”中信证券“有点愁”

晓曦资深作者

看你所看的行业体坛

发表文章419篇最近内容端到端模型：当AI开始掌握驾驶艺术31分钟前解密新能安，打造新一代的能源巨擘2024-03-26当职场精英决定「夺回」生活(Life)掌控权2024-03-25阅读更多内容，狠戳这里下一篇海底捞、瑞幸、绝味成绩单曝光，释放4个赚钱信号

向有成果者学习

35分钟前

热门标签财付通仇富心理官僚资本网站春晚首都吉因加科技(Technology)有限公司小人国匿名举报东方卫视极限挑战收视率跑男收视率捷豹suv话语权后会无期珠海格力集团虚拟交易foxmail复活营销力电话客服陈勇伟大的博弈运动服瑜伽课程险峰长青盗墓笔记被遗忘权双引擎客运淘宝分销平台星图关于36氪城市合作寻求报道我要入驻投资者关系商务合作关于我们(We)联系我们(We)加入我们(We)网站谣言信息举报入口热门推荐热门资讯热门产品文章标签快讯标签合作伙伴