反对Agent，反对RSI，杨立昆新模型反对当下一切AI叙事

文 | 字母 AI

《复仇者联盟：终局之战》里有这样一幕，美国队长跟神盾局特工们在电梯里小声地说了一句 ” 九头蛇万岁 “。

仅仅是这样一句话，伪装成神盾局特工的九头蛇成员就把镶嵌心灵宝石的权杖交给了美国队长。

这还没完，正是由于九头蛇成员把美国队长当成了自己人，这才让同一时间钢铁侠等人偷走空间宝石的计划没有暴露。最终，复仇者们成功消灭灭霸，拯救了宇宙。

你看看，哪怕只是一句话而已，就对整个宇宙产生了影响。而杨立昆的新世界模型 H-JEPA，就是想要通过分层推理的底层逻辑，来推理出后续的发展。

一个小小的动作，它在短期内会造成什么结果？到了中期呢？到了后期呢？

著名的蝴蝶效应便是如此，一只蝴蝶在巴西扇动翅膀，最终有可能在德克萨斯引发一场龙卷风。

H-JEPA 到底是什么

H-JEPA 的起点是杨立昆的 JEPA，全称为 Joint-Embedding Predictive Architecture，联合嵌入预测架构。

和咱们现在用的视频生成式模型不同，它不画下一帧画面，JEPA 是把画面压缩成一组抽象的向量（所谓潜在表征），然后在这个抽象空间里预测未来。

就像是两个人闭眼下棋。这时候根本不需要棋盘，只需要念出你要下哪一步棋，比如老将出宫帅五进一，身先士卒兵一进一之类的。对方就能根据听到的内容，在脑海中构想出这个棋盘的走势，然后进行回应。

理解了 JEPA 之后再来看这次的 H-JEPA，它的做法是把多个这样的 JEPA 一层一层堆起来。

每一层都有自己的观察编码器、动作编码器和潜在预测器，并且每一层在各自的表征空间里，预测不同时间跨度之后的状态。最底层管得最细、看得最近，往上的层则看得更远、更宏观。

规划时，顺序是反过来的。高层先给出一个粗略的目标状态，这个目标成为下一层的子目标，下层再把它细化，直到最底层输出真正的动作。

早在 2022 年的时候，杨立昆在论文《一条通往自动机器智能的路（A Path Towards Autonomous Machine Intelligence）》里就提出过分层 JEPA。只不过隔了四年，才第一次有了一个可以复现的完整实现。

分层的底层逻辑是杨立昆曾经提出过的一个概念，叫做 ” 从纽约去巴黎 “。

举个例子。你要从北京去上海，脑子里的规划一定是分层的。先想 ” 坐高铁 “，再想 ” 怎么去北京南站 “，最后才是 ” 先迈哪只脚 “。

你绝对不可能在订车票的时候去琢磨脚下台阶有多高。

不同的抽象层，要保留的信息本来就不同。订票的那一层，只需要知道 ” 时间、价格、车次 “；迈步的那一层，才需要知道 ” 重心、台阶、地面 “。

这恰恰是 Transformer 最头疼的地方。如果是按每个 token 进行预测，等于把订票、去车站、下楼梯这三件事放在一起去想，步骤越多，就越容易出错。

要想实现更长远的目标，那就得把中间所有的细节都过一遍。

论文提到，扁平的单层模型在长任务里，要展开许多细粒度的步骤，预测误差会累积，动作搜索空间也会变大。

关于分层后，论文以 Visual AntMaze 迷宫任务作为参照标准。单层的 LeWM 成功率只有 18%，加到三层的 H-JEPA 之后，成功率达到 73%。

这时候就有一个问题了。既然加到三层都这样了，那杨立昆干嘛不加到 100 层，甚至 10000 层呢？

在 Push-T 任务里，两层的表现较好，加到三层、四层之后，成绩反而下降。

论文的推测是，任务轨迹本来就短，限制了高层能用的训练数据。三层大约只能用到 LeWM 58% 的可迁移训练数据，四层只剩约 14%。

换句话说，层数不是越多越好。

杨立昆为什么反对 Agent？

H-JEPA 最有意思的地方在于，它分层的概念，恰好和当下主流的 Agent 叙事完全相反。

目前 Agent 的做法，是把一个长任务拆成更多步，花更多 token 去试。

也就是先规划，再调用工具，再检查，再重来。拆得越细、试得越多，似乎就越接近完成任务。

可杨立昆的论文提到，加层级，比单纯加步数更有效。分层之后，高层只需要在很少几步里决定 ” 往哪走 “，细节交给下层，规划的计算量也随之降低。

像是 OpenAI、Anthropic 这样的顶级大厂，他们模型提升能力的方法，是靠在同一个粒度上向外扩张。于是每个新模型的迭代，都有更长的上下文、更多的 token、更多次尝试，这也是他们喊了半天降价，到你真正用起来的时候却发现越来越贵。

H-JEPA 提出的是向上扩张。增加抽象层级，让模型在不同时间尺度上使用不同的表示。

在今年 1 月的达沃斯上杨立昆说，LLM 能通过律师考试，也能写代码，但并不能真正处理现实世界的复杂问题。因为今天没有家用机器人，也没有 L5 级别的自动驾驶。

他还说：” 我无法想象，一个不能预先预测自己行动后果的系统，能被造成 agent。” 题外话，杨立昆说这话的时候，阿莫迪就在旁边。

H-JEPA 是一个世界模型，每个动作在执行之前，都会先在潜在空间里 ” 演一遍 “，看看短期、中期、长期会通向什么状态，再选择动作。

所以杨立昆主张这样一个理念，真正的 Agent，不是 ” 说一句话、看反应、不行再换 “，应该是在说那句话之前，就大致知道它会引发怎样的连锁反应。

还有一点，今天的 Agent，尤其是编程 Agent，主要靠奖励训练，也就是靠 ” 做对了加分，做错了扣分 “。

代码之所以成为 AI 的主战场，其中很重要的一个原因是写代码有现成的对错信号。比如测试能不能通过，编译有没有报错，基准分数有没有上涨。

Anthropic 的官方文章里就曾提到，Claude 在预设了目标和评价标准的前提下，已经可以运行实验、优化代码，却在 ” 选择目标、判断什么问题值得研究 ” 上仍有差距。因此，可验证的标准越清楚，Agent 就越好使。

在这块 H-JEPA 走的也是相反的路。论文反复强调，它的训练 ” 不用奖励，也不用重建 “。既不需要外部给分，也不需要把像素一点点还原回来。

H-JEPA 从头到尾都是在表征空间里学习预测下一个状态。

著名的《湿猴理论》讲的就是这个事。

笼子里有 5 只猴子，上方挂香蕉，只要一有猴子爬梯子拿香蕉，全体猴子就会受惩罚。

猴子并不知道水枪是什么，但是被水喷多了，它就知道不能碰香蕉了。

杨立昆又为什么反对 RSI？

今年 5 月，一家名叫递归超级智能（Recursive Superintelligence）的公司结束了隐身状态。拿到了超过 6.5 亿美元的融资，投前估值约 46.5 亿美元。

这家公司的联合创始人之一，正是前 Meta FAIR 的研究总监田渊栋。他还有另一个身份，杨立昆在 FAIR 时代带出来的老部下。

递归超级智能公司所主张的，就是让 AI 递归地改进自己，毕竟人家公司名字就叫这个，属于是谜底就在谜面上。

RSI 这么火，连自己带出来的人都跑去做了，可杨立昆在 H-JEPA 里，却连一个字都没有提到。

因为杨立昆认为，当今无论是世界模型也好，还是他理想中的 Agent 也好，其所缺的东西，是 RSI 补不上的。

杨立昆的观点是，让 AI 反复改进自己，改进出来的依然是基础能力，比如让语言模型 RSI，那么到最后它提升的仍然还是语言能力。可语言模型缺的多模态、推理，不会因为改进的次数多了就自己长出来。

所以杨立昆觉得，RSI 只是一个放大器，它放大的是原本就有的东西。

从 JEPA，到 H-JEPA，RSI 破了天都不行。

同时，要想让 RSI 运作起来，需要可验证的判断依据。

正如前文所提到的，代码测试是否通过、基准分数是否上升，都是这样的信号，而 H-JEPA 训练时明确不用奖励。

杨立昆认为，物理世界压根就没有现成的判断标准给你。比如机器人把杯子推歪了，该拿多少分合适？一个没有分数可看的世界里，” 改进 ” 又要如何衡量呢？

杨立昆顺便还在论文里 Diss 了一把 RSI。

在 DROID 实验里，数据来自真实机器人的遥操作视频，场景、灯光、物体在不同的片段之间不停变化。

如果只让模型预测，它会学到 ” 这是哪个场景 “，而忽略画面里真正在动的机械臂，论文称之为慢特征坍缩（slow-feature collapse）。

研究者必须人为加上一个逆动力学约束，要求模型根据前后状态推断中间的动作。不加这个约束，模型性能直接掉到零。加了，规划能力才恢复。

也就是说，让模型学会 ” 动作造成什么 “，靠的是一个由人设计出来的约束，而不是模型自己越改越好。

此外，决定成败的并不是改进的次数。

古语有云，书读百遍其义自见。可杨立昆认为，真正决定模型成败的，并非 RSI 了多少轮，应该是每一层该保留什么、该丢什么，以及深层模型有没有足够的数据。

前文提到的 Push-T 里，三层、四层不进反退，就是最直观的例子。递归地加深，并不能自动地给模型带来能力上的增长。

在杨立昆的路线里，比起 RSI，AI 首先要学会正确地表示世界，然后才有 ” 改进自己 ” 的意义。