新智元报道  


憋了整整两年多,百度终于亮出了自己的重磅杀手锏!

今天,百度Apollo正式发布了「ApolloWorld」——首个面向物理AI的Agent驱动全模态世界模型。

它直接把整座城市的路网、多模态传感器和车流博弈搬上云端,支持毫秒级实时交互与连续几十分钟的完整接单推演,一举打破了以往世界模型只能模拟「几十秒孤立片段」和「单向放录像」的瓶颈。

有了这个虚拟「大考场」,无人车在云端平均可做到「日行十万公里」。

1天跑完的虚拟里程,顶得上1辆配安全员的真车连续测试约3年,把自动驾驶测试效率提升了数百倍!

靠着ApolloWorld在云端24小时陪练,萝卜快跑L4级全无人端到端大模型如今已正式上车。

上百辆无安全员真车,每天靠端到端大模型上街跑单——全球能做到这一步的,只有它和特斯拉两家。

最关键的是,云端特训出来的成绩,真上了路确实能打。

这次我们在深圳街头实测打车,就被这位没有安全员的「AI司机」秀了一把什么叫老练——

大晚上视线不好的路段,左边快车道突然冒出黑衣路人占道、右侧又挤满单车与电瓶车,或是路口左转时外卖骑手从车头前1秒闪过……

换作是新手司机早就慌了,但无人车总能提前预判、平顺减速让行;遇到夜间多车流掉头或窄道连续避障时,绕行与会车更是丝滑得像十年驾龄的「老司机」。

左右滑动查看


世界模型赛道火热
光会「拍电影」可救不了无人车


能让无人车在街头把复杂路况处理得如此老练,很大程度上正是得益于世界模型在幕后的高强度特训。

最近一个多月,全球世界模型赛道热闹非凡。从李飞飞团队World Labs的三维空间模型,到谷歌DeepMind的Genie系列,再到Waymo基于Genie 3推出的自动驾驶世界模型——甚至把龙卷风、洪水和大象都放进了虚拟测试场。

如果只是生成一段酷炫的街头视频,看着确实过瘾;可要是拿来给L4无人车当训练场,就不够用了。

原因在于,目前市面上大多数吸引眼球的演示,其实还停留在「视频渲染器」阶段,虽然镜头在变、风景在动,但外面的世界并不会因为你的动作发生改变。

大会现场,百度智能驾驶事业群组首席架构师、技术委员会主席王亮博士称,世界模型不能只做「生成炫酷视频的画师」,更要成为验证无人驾驶安全性的「考官」。

因此,百度这次没有去拼单纯的画面特效,Apollo World从一开始就瞄准了能互动、能推演路况变化的「世界模拟器」,专门给无人车造云端训练场。

之所以必须跨过这道坎,是因为无人车开上街头,面对的是容错率极低的真实物理世界。

家务机器人在屋里叠衣服、做饭,就算失手把碗摔了,大家最多一笑而过;可一台近两吨重、时速几十公里的汽车开在马路上,一旦遇到行人突然横穿或旁车加塞,根本没有试错的余地。

因此,用来训练无人车的世界模型,不能只是单向放录像的「电影院」,而必须像一场随时接戏的「舞台剧」——你稍微减速,旁边的车立马插进来;你往前探出半个车头,对方可能就踩刹车让开了。

想在真车上路前把罕见险情全部练熟,百度的解题思路正是「用AI训练AI,让AI教AI开车」:

  • 车端的「学生」:装在无人车上的萝卜快跑新一代L4端到端AIDriver基础模型(ADFM),直接输入多模态传感器信号并输出驾驶轨迹;


  • 云端的「AI教练」:具身世界模型ApolloWorld,专门负责在云端构建闭环仿真环境,给学生出题、陪练和打分。


训练时,「教练」会生成逼真的街景与雷达点云,并根据「学生」每一次打方向或踩刹车的动作,实时推演周围车流的下一步反应,一秒接一秒地闭环过招。

一旦「学生」在某个罕见险情里反应慢了或发生擦碰,「教练」马上就能抓出短板,变着花样生成上千道同类长尾难题反复特训,直到彻底练成「老司机」再装上真车。

相比之下,目前主流的世界模型大多聚焦于静态3D空间漫游、局部场景模拟或单一视觉推演。

而Apollo World则成为了业内首个同时打通「全员独立Agent交互博弈、相机与点云全模态同步生成、城市级完整订单闭环」的L4实战训练场。


三关实测现场验货
暴雨天点云减半、连鬼探头都能实时过招


在这座云端虚拟城市里,旁车随时可能变道加塞,路口会突然冲出外卖电瓶车,现实街头最让人头疼的复杂路况,24小时不间断地换着花样给无人车出题。

王亮博士表示,「开放世界容错空间几乎为零,安全决策周期要严格限定在1/30秒内」。

如今「世界模型」这个词被用得越来越泛,却始终没有统一的定义。

为了衡量这个训练场到底好不好用,也为了把这个新概念真正「做对」,百度坚持想清楚再动手的正向设计思路,先提出了一套世界模型「2+3」标准。

其中,前两项「2」是区分「视频生成器」和「真世界模型」的基石门槛:

  • 因果性:基于因果自回归机制,严格遵循时间单向性,只能根据过去和当前状态推演下一秒,不能提前预知结局再倒推画面;


  • 交互性:支持动作条件生成(Action-Conditioned),无人车每次打方向或踩刹车,周围车流都得跟着实时改变。


跨过这道门槛后,后三项「3」则是检验L4训练场的实战指标:

  • 物理准确性:严格符合真实的光学成像与车辆力学规律;

  • 持久性:能连贯跑完几十分钟的完整行程,长时不断片;

  • 实时性:实现毫秒级响应,推演速度跑赢驾驶系统的决策时间。


这套「2+3」标准放进实际路测里,对应的正是物理规律、车流博弈和长途连贯性三道关卡。不妨结合实测画面,逐一看看ApolloWorld的表现。

不搞「表面滤镜」,雨天打滑和水柱冲锥桶都得算准


第一关先测物理常识,看它只是给画面加了层滤镜,还是真的懂现实世界的物理规律。

把同一段城市道路依次切换成晴天、暴雨、雪天和夜晚,最明显的变化就在激光雷达点云图里。

一旦切到暴雨模式,不光摄像头画面有了积水和反光,激光雷达点云也因雨水散射一下子少了一大半,连左前车后轮溅起的水花和前车后方的激光无回波区都清晰可见。

切到雪天时,路边的落叶树会自动掉光绿叶;到了夜晚,车辆连续驶过路灯时,车身下的阴影还会随着光源位置周期性拉长与缩短。

工程师并没有在代码里写任何光学或自然公式,全是模型学习超10亿帧真实数据后,自己摸清了这套物理规律。

雨天路滑还会直接影响刹车距离。两辆无人车以同样的速度同时踩下刹车,晴天干地上的车稳稳停在前方货车后,雨天湿滑路面上的车则会继续往前滑出一段距离才停下。

在真实路测中还曾遇到过这样一幕:洒水车喷出的高压水柱把路边的锥桶冲到了马路中间,正好挡在无人车正前方。

传统模拟器里的锥桶固定不动,根本算不出这种意外;而懂物理规律的ApolloWorld却能把「水柱冲走锥桶」的全过程推演出来,专门训练无人车遇到突发障碍时及时避让。

告别「重放录像」,让整条街的车活过来陪练


过了物理细节这一关,第二关要面对的,则是路上随时变主意的其他车辆和行人。

传统的仿真测试大多采用「实车日志回放」,也就是把真车录下的历史数据重放一遍。一旦无人车临时决定提前变道,录像里的旁车根本不会配合,还是照着原来的死路线往前开,测试结果自然就失真了。

为了让周围环境真正响应无人车的动作,ApolloWorld构建了「智能体驱动(Agent-Driven)」的推演架构,把场景里的每一辆车、骑手和行人都建模为具备独立感知与决策能力的AI智能体。

测试人员还能在系统里直接调高车流密度或旁车抢道的激进程度,实时生成不同风格的交通博弈分布,主动给无人车增加考试难度。

比如在高架匝道口,如果无人车选择驶上高架、给右侧留出足够空间,支路上的白车就会顺势汇入主路。

而如果无人车改走地面辅路,右侧白车看到会车空间不够,就会主动停在支路等待。

在一场路口骑行者「鬼探头」的高压测试中,一名骑车人突然从路侧视线遮挡处猛冲出来,无人车第一时间急刹停住。

更有意思的是,这名骑车人看到车头近在咫尺,竟然像真人一样往后退了一小步,主动让出安全距离,随后无人车才重新起步。

而在另一组测试里,骑车人只是顺着路边平行骑行,无人车便不再猛踩刹车,而是稍微减速后平顺通过。

告别「几十秒短片段」,在香港虚拟城一口气跑完一整单


光能躲过单次险情还不够,真实打车往往要连续跑上几十分钟,前一个路口的变道选择,会直接改变后面整趟行程遇到的路况。

这就引出了第三道关卡——长时间连续推演的稳定性和实时性。

以往行业里的世界模型大多只能模拟几十秒的单一独立场景,一旦拉长到跨路段的连续行驶,画面细节和道路结构就容易发生漂移甚至崩塌。

而Apollo World则支持无人车在虚拟城市任意起终点之间连续行驶十分钟以上,一口气跑完从接单、载客到送达的完整行程。

在实测中,4辆虚拟无人车从香港机场附近的万豪酒店同一个起点出发,分别开往航站楼、购物中心、机场行政大楼和停车场4个不同目的地。

前半程路线相近,过了岔路口后则拐进不同道路,各自面对不同的红绿灯和车流,最终全都平稳跑完了整趟行程,画面从头到尾没有崩塌。

在同一条路线上,系统还能同时设置低、中、高三种不同密度的车流进行倍速并行测试。

车流稀疏时无人车快速通行,车流密集时则耐心跟周围车辆博弈汇入,充分检验早晚高峰等不同路况下的连续通行能力。

之所以能在虚拟世界里一直稳定开下去,背后靠的是两项关键技术突破:

第一是「多模态联合生成」与「三维静态地图先验」。

普通视频模型只生成2D平面画面,跑久了车道和街景就会走样;而ApolloWorld在生成多视角相机画面的同时,会同步联合生成3D激光雷达点云,并引入高精度三维道路结构先验。

哪怕连续跑上几十分钟再经过同一地点,街景建筑也不会变形漂移;一旦两车在三维空间里发生擦碰,系统还会当场判定测试失败,不会像普通视频模型那样「穿模」混过去。

第二是基于因果自回归架构的「多步知识蒸馏」实时加速。

无人车每走一帧,模型都要同步渲染多路环视相机的超千万像素画面与数十万级三维激光点云。

通过将多步扩散大模型蒸馏为少步推理的轻量学生模型,系统成功将实时响应控制在33毫秒(约1/30秒)以内,让虚拟路况的生成速度完全跟得上车载控制信号的响应节拍。


1天跑完真车3年的路
把百万公里试错留在云端


把上面三道难关全部打通之后,Apollo World给实际业务带来的改变就非常直观了。

自动驾驶系统对安全要求极高,每一次模型大版本迭代,平均都要经历超70万公里配备安全员的真实路测才敢上线。

哪怕安排专职安全员每天轮班上路,扣掉吃饭休息时间也得连续跑上好几个月;遇到高速急刹、盲区横穿这类高危场景,现实中更不可能找真人去冒险试错。

如今有了「日行十万公里」的Apollo World,绝大部分路测和高危场景都可以放到云端大规模并行跑完,真车上路只需完成最后的实车验证,就能把测试周期从原本的几个月大幅缩短到几天之内。

这套「先在云端探路」的办法,在开拓新城市时也派上了大用场。

以采用「右舵左行」的香港为例,当地路窄弯多、环岛密集,而且对实车测试管得极严,靠真车上路慢慢磨根本行不通。

于是,百度团队依托高精地图和前期采集的一部分道路数据,直接在云端搭起了「虚拟香港」。无人车在里面把环岛让行和窄路会车反复练熟,短短几个月就拿下了香港首个右舵左行全无人测试牌照。

当然,虚拟考场要想越建越真,也离不开真实路测数据的持续输入。

目前萝卜快跑已落地全球28座城市,累计提供超2300万次出行服务,自动驾驶总里程突破3.5亿公里,其中全无人驾驶里程超过2.4亿公里,也是全球唯一在左右舵市场均开展无人驾驶实践的平台。

上千辆无人车每月带回上千万公里的真实路况,让虚拟考场越来越贴近现实;反过来,ApolloWorld又能把真实运营中遇到的偶发险情扩充成海量测试题,在云端24小时训练车端的L4驾驶大模型。


打破无人驾驶「不可能三角」
物理AI迎来「AGI时刻」


随着这套「真车收集数据、云端强化训练」的双向循环跑通,自动驾驶底层的技术范式也迎来了彻底洗牌。

过去自动驾驶普遍依赖人工编写的专家规则,每进驻一座新城市,工程师都得针对当地路况一点点修改代码,不仅扩展僵化,遇到规则之外的未知场景还容易卡壳。

如今,萝卜快跑新一代AI Driver基础模型(ADFM)采用端到端自回归架构,直接将多模态感知转化为转向与加减速动作,通过吸收海量人类优质驾驶数据,学会了在不同城市的复杂车流里自然博弈。

而ApolloWorld在云端千万公里级的极限施压,则解决了端到端大模型最难的「黑盒安全验证」难题,给了百辆级无安全员车队直接上路运营的底气。

更深远的变化在于,这套「AI教AI开车」的体系,一举打破了困扰无人驾驶十年的「安全、智能、规模」不可能三角,改写了整个赛道的竞争壁垒。

以前外界看一家自动驾驶公司的实力,往往看它买了多少测试车、招了多少安全员、在马路上熬了多少年。说到底,那还是一门靠堆人力和重资产缓慢扩张的传统生意。

而ApolloWorld把这套重资产试错彻底搬进了机房,变成了由「真实运营数据+云端算力」驱动的规模化训练。

就像AlphaGo在棋盘上左右互搏一样,从此以后,谁手里的真实数据越多、云端「AI教练」越强,谁的模型迭代和规模化落地速度就会呈指数级拉开差距。

更广阔的想象空间还在于,Apollo World这套技术底座不仅能教汽车开车,还能广泛适配机器人等各类物理AI场景。

据Grand View Research预测,全球物理AI市场规模将从2025年的约816亿美元,增长到2033年的约9604亿美元,成为一条近万亿美元的庞大赛道。

世界模型不再停留在「生成画面」,而是真正走向「验证行动」,无人驾驶乃至整个物理AI产业期待已久的「AGI时刻」,也就此到来。

编辑:摩西 桃子


秒追ASI
⭐点赞、转发、在看一键三连⭐
点亮星标,锁定新智元极速推送!

Source:http://weixin.sogou.com/weixin?type=2&query=%E6%96%B0%E6%99%BA%E5%85%83+%E5%85%A8%E7%90%83%E5%94%AF%E4%BA%8C%EF%BC%8C%E7%99%BE%E5%BA%A6%E6%8A%A2%E5%85%88%E4%BA%A4%E5%8D%B7%EF%BC%81%E9%A6%96%E4%B8%AA%E7%89%A9%E7%90%86AI%E4%B8%96%E7%95%8C%E6%A8%A1%E5%9E%8B%E6%9D%A5%E4%BA%86

Related posts

川普革命尚未成功,而两院中道崩盘

川普革命尚未成功,而两院中道崩盘

虎嗅
数据中心上太空后,人类仰望星空时看到的卫星数量或达星星的100倍?

数据中心上太空后,人类仰望星空时看到的卫星数量或达星星的100倍?

虎嗅
日企守了四十年的印尼重卡市场,中国车四年拿下四成

日企守了四十年的印尼重卡市场,中国车四年拿下四成

虎嗅
大明王朝在美国的再观察

大明王朝在美国的再观察

虎嗅
高通 2026 财年归母净利润 136.28 亿美元同比增长 146%,与苹果、华为续签长期技术授权许可协议

高通 2026 财年归母净利润 136.28 亿美元同比增长 146%,与苹果、华为续签长期技术授权许可协议

IT之家
OpenAI 扫描 Linux 内核发现 948 个可提权漏洞,2308 个候选问题中有 1724 个成功复现

OpenAI 扫描 Linux 内核发现 948 个可提权漏洞,2308 个候选问题中有 1724 个成功复现

IT之家