群发资讯网

特斯拉 AI 工程师 Patrick Cho 在 CoRL 上的演讲,很短的一个视频,世界模型用于训练和评估

特斯拉 AI 工程师 Patrick Cho 在 CoRL 上的演讲,很短的一个视频,世界模型用于训练和评估,这个之前在 FSD 上也都见过了。

不过其中有一个细节,说特斯拉世界模型已经实现了策略在环实时控制(policy in the loop),这个感觉进度还是挺快的。

也就是说特斯拉的世界模型不只是生成一段视频,而是在接受真实策略每一步输出的关节动作,再生成下一帧画面,策略看到画面后再出动作,完全闭环了。

现在很多世界模型只能输入往前走、往右走这种高层指令,特斯拉已经打通了关节信号。那这个世界模型就得推理出动作和物理结果之间的关系,理解多关节之间的耦合控制影响,包括一些姿态补偿的细微变化,实现长时间的闭环运行。

其他的一些,PPT 上写的「追求物理上的准确,而不是画面好看」,这个基本上和 FSD 的世界模型是一脉相承的,特斯拉的世界模型从来就没有做出类似 Seedance 或者 DeepMind 世界模型的一些惊艳视频,但很早就模拟出了 FSD 多机位的物理耦合关系乃至一些低成本车规摄像头的色彩特性甚至缺陷。

说白了一个服务生产力,一个服务娱乐,最终产出的东西是不一样的。

Patrick Cho 之前一直在做 FSD,现在转战机器人了。这也是小鹏、小米、理想这些公司的好处,不想搞辅助驾驶想搞具身智能,内部转岗就可以,不一定要跳槽。