LLM 之后，究竟在争论哪一种“下一步”

这 12 组人不在参加同一场架构竞猜。有人研究经验从哪里来，有人研究怎样测“真正的新学习”，有人研究世界怎样存在于内部，有人研究模型怎样在运行时思考，有人研究谁来生成下一批任务和算法，还有人研究这一切怎样穿过 GPU 的内存层级。把他们压成十二句判断，必然扁平；真正有用的是看清每条路线位于智能系统的哪一层、它解决了上一代什么失败，又把困难推给了谁。

更新：2026-08-24

一、先给结论：他们不是在争一个答案，而是在争“瓶颈究竟位于哪一层”

可以把一个长期自主 AI 系统粗略写成下面这条回路：

数据与环境 → 表征/世界模型 → 工作与长期记忆 → 策略/搜索 → 工具与行动 → 现实反馈 → 数据引擎/课程 → 元改进 → 再回到模型

硬件、软件接口、评测和权限包围整条回路。

这 12 组人的位置大致是：

系统层	主要人物	他们认为被低估的瓶颈
经验与学习信号	Sutton / Silver；Levine / Finn	静态人类语料无法代替主体行动经验；真实反馈闭环仍太弱
智能测量	Chollet	技能库存被误当成新技能获取能力；开发者投入未计入
世界与对象表征	LeCun；Fei-Fei Li；Hinton；Bengio；Hassabis	语言流畅未给出可预测潜状态、三维、部件—整体、因果或任务相关状态
运行时推理	Brown；Hassabis / Silver	一次前向直觉不等于思考；需要搜索、价值与验证器
外环与开放创新	Clune；Karpathy 的 autoresearch	任务、agent、课程和研究循环仍由人手工生成
软件与系统接口	Karpathy	生成已便宜，验证、委托、数据和维护成为新瓶颈
计算底座	Dao / Gu	纸面 FLOPs 不决定可扩展性；IO、状态、KV cache 和 decode 才决定现实成本
目标与认知关系	Bengio	强世界理解不必绑定持续目标；预测与行动可以分层

因此，“Sutton 还是 LeCun”“Transformer 还是 Mamba”“LLM 还是 world model”多半问错了层。

一个模型即使有漂亮世界表示，也可能不会搜索；会搜索也可能没有可靠 verifier；有 verifier 也可能只会做形式任务；会做形式任务也可能缺少真实经验；拥有经验也可能被错误 reward 带偏；全部组件都存在，也可能因 KV cache 和工具接口无法经济部署。

更准确的问题是：

当前系统的失败究竟来自经验、表示、记忆、推理、目标、外环、评价，还是实现？不同路线解决的是同一个失败，还是不同失败？

二、为什么 LLM 的成功没有结束这些路线，反而把它们重新汇在一起

1. LLM 先证明了一件过去被低估的事

只用大规模 next-token learning、通用 Transformer 和互联网数据，可以获得：

广泛世界知识；
代码能力；
多语言迁移；
in-context adaptation；
某种算法行为；
跨任务统一接口；
自然语言控制。

这对 2018 年前的许多判断是一项巨大更新。

它说明：

分布式表示的容量远超早期预期；
大规模统计学习能吸收大量隐式程序；
语言本身是极强的世界知识压缩；
简单通用目标配合规模，常击败精巧专用模块；
人类文化语料可成为前所未有的先验。

Sutton 的规模/一般方法直觉、Hinton/Bengio 的分布表示、Karpathy 的 Software 2.0、Dao 的硬件扩展，均在这场成功中被验证。

2. LLM 又把一组缺口放大到无法回避

模型越强，下列问题越明显：

会说因果，不等于在干预中保持因果；
会描述空间，不等于维护公制三维状态；
能一次答对，不等于能长期行动；
会生成计划，不等于知道计划何时失败；
知识很多，不等于高效学会真正陌生规则；
多想能提高数学题，不等于开放现实都有 verifier；
能调用工具，不等于拥有权限、事务和回滚；
上下文更长，不等于拥有稳定长期记忆；
benchmark 更高，不等于开发团队没有把测试分布买进训练；
agent 更自主，不等于更可控或更值得信任。

于是这些老路线不是被 LLM 淘汰，而是被重新定位：

world model 不再与语言模型二选一，而要解释语言先验怎样接入物理状态；
RL 不再必须从像素随机探索，而可从 foundation model 起步；
symbolic search 不再独自生成候选，而由神经模型提供强 prior；
causal representation 不再能说“相关性模型绝不推理”，而要证明在真实机制变化中有增益；
SSM 不再只是旧 RNN，而成为 reasoning decode 的成本候选；
open-endedness 不再缺通用变异器，因为 LLM 会写代码和环境；
软件工程不再只问如何生成，而问怎样验证和长期委托。

三、从历史看：12 条路线其实是五次未完成的技术革命

第一幕：1980s–2000s，表示与 credit assignment

核心问题：

机器的知识是人写的符号，还是网络自己形成的内部变量？

Hinton 与 Bengio 代表连接主义主线：

distributed representations 让相似概念共享统计；
backprop 让最终误差塑造早期隐藏层；
neural language model 把离散词放入连续空间；
unsupervised pretraining 试图从无标签数据形成深层结构。

这一幕的胜利非常彻底：

手工特征被学习表征取代；
backprop 成为前沿模型共同训练机制；
word embedding 和深层 hidden state 成为标准；
大模型知识主要分布在参数中。

但未完成问题仍在：

内部变量是否对应对象与机制；
组合和因果怎样形成；
credit assignment 是否必须全局反传；
分布式知识怎样局部修改；
模型怎样在线持续学习。

Hinton 的 capsules/GLOM/Forward-Forward 与 Bengio 的因果/System 2，都是这场革命的后半场。

第二幕：2009–2015，规模、数据集与系统工程

核心问题：

算法上限究竟由模型公式决定，还是由经验世界和计算装置共同决定？

李飞飞的 ImageNet、AlexNet 系统会合、Karpathy 的大规模视觉/语言、DeepMind 的 DQN，共同改变了研究文化：

数据集可以是一项基础研究；
benchmark 可以形成连续选择压力；
GPU 不是实现细节，而是算法可行条件；
同一网络可从高维原始输入学习多个任务；
数据、评价和工程组合比单个优雅模块更重要。

这一幕后来在 LLM 预训练中达到极致。

未完成问题：

benchmark 会诱导什么捷径；
数据本体遗漏了什么世界结构；
静态数据怎样变成主体经验；
数据规模怎样计入智能测量；
线上闭环怎样避免放大自己的偏差。

Chollet、Sutton、Levine/Finn 与 Karpathy 数据引擎，分别接管这些问题。

第三幕：2015–2020，学习与搜索重新合流

核心问题：

学习得到的直觉，怎样在当前局面上通过额外计算变成可靠决定？

AlphaGo、AlphaZero、MuZero、Libratus、Pluribus 和 ReBeL 给出共同结构：

离线学习一个 policy/value 或 blueprint；
运行时只搜索最有前途分支；
用 value 截断；
让搜索结果反过来训练快速 policy；
在隐藏信息中维护 belief；
用对手/自我对弈暴露漏洞。

这一幕在 2024 年后 reasoning LLM 中再度爆发：test-time compute 成为新的 scaling 轴。

未完成问题：

verifier 从哪里来；
世界模型 rollout 是否可信；
开放任务怎样定义状态和行动；
多智能体中的目标冲突；
更多思考何时只是更长的错误；
search discovery 怎样安全回流为持续学习。

Brown 与 Hassabis 是这条线的最佳观察者。

第四幕：2020–2025，语言模型成为通用提案器与软件介质

核心问题：

当一个模型能读写自然语言、代码和工具轨迹后，哪些原本由人完成的外环可以自动化？

Karpathy 的 Software 3.0、Clune 的 OMNI/OMNI-EPIC/ADAS/DGM、Hassabis 的 AlphaEvolve/Co-scientist，以及各种 agent 系统共同展示：

LLM 可以生成候选程序；
可以写环境和 reward；
可以修改 agent scaffold；
可以用语言表达策略；
可以参与实验循环；
可以把自然语言变成运行时程序。

未完成问题：

“有趣”与“有价值”由谁评价；
benchmark 是否被自我改进系统利用；
自动研究能否提出重要问题；
多样 archive 是否真正产生新机制；
自改是局部 workflow 优化，还是基础能力复合；
自主性怎样与控制分离。

Clune 与 Bengio 在这里形成最尖锐分歧：一个希望开放生成过程不断扩大，另一个担心目标驱动外环形成不可控 agency。

第五幕：2023–2026，推理成本、空间世界与物理闭环

核心问题：

如果模型要思考更久、活在世界里、产生更多 token，现有表示和计算底座还能支撑吗？

三条线同时出现。

空间世界：

Fei-Fei Li 的 renderer/simulator/planner；
World Labs 的持久三维与机器人；
DeepMind Genie；
机器人 VLA / world model。

长时行动：

Levine/Finn 的 π0 系列、OpenPI、离线/在线 RL；
memory 与跨场景机器人；
Sutton 的 experience era。

高效计算：

FlashAttention；
Mamba/SSD/Mamba-3；
固定 state vs KV cache；
inference-first architecture。

未完成问题：

视觉逼真是否能跨到物理；
固定状态是否丢精确记忆；
机器人数据如何经济扩大；
world model 与 planner 是否共享正确状态；
reasoning token 增长是否抵消 kernel 进步；
持续 agent 怎样在线学习而不遗忘。

四、第一条根本分歧：智能的下一批“经验”从哪里来

1. Sutton / Silver：从人类数据转向主体经验

Sutton 的判断最强版本是：

互联网文本是人类经验的投影；
真正超越人类知识边界的 agent 必须产生自己的 observation—action—reward；
在线、持续、可扩展计算会最终胜过人写知识；
policy、value、world model 应从交互中共同成长。

Silver 用自我对弈和 learned model 给出最强工程证据。

优势：

经验针对当前主体；
可发现人类未记录策略；
reward 提供闭环；
自我对弈可无限生成课程。

边界：

现实 reward 不完整；
交互昂贵；
自我经验受模拟器限制；
不安全探索不可接受；
环境未必给出正确价值。

2. Levine / Finn：不能等真实经验无限到来，必须先借人类与互联网先验

机器人路线更现实：

先用视觉—语言预训练获得语义；
用人类示范与多机器人数据学通用动作；
用离线 RL 复用历史；
少量在线 RL 修复部署分布；
建 data engine 持续回流。

它是 Sutton 理想的工程桥：

不从零开始；
不把互联网知识当终点；
让静态先验进入现实动作后再受经验检验。

风险是：

示范把人类策略边界带进模型；
多机器人动作表示难统一；
真实数据长尾和安全代价高；
任务成功率容易被实验室设置美化。

3. Chollet：无论经验从哪里来，都应计算“学会新任务花了多少”

Chollet 不直接选择文本、示范或 RL。他把问题改写成资源核算：

系统预装多少技能；
开发者见过测试分布吗；
训练生成多少同类数据；
测试时花多少计算；
新任务只给多少例子；
获得的技能能迁多远。

这对所有路线构成测量约束。

AlphaZero “从零”仍有规则和模拟器；reasoning model “零样本”仍有海量同类 RL；机器人“通用”仍可能只覆盖训练厨房。Chollet 要求把这些先验显式写进账本。

4. Bengio：成功行动还不够，经验必须帮助识别机制

同一 reward 可被不同策略得到，其中一些依靠捷径。Bengio 更关注：

多环境变化；
干预；
稀疏机制改变；
adaptation speed；
posterior update。

经验的价值不只在“提高分数”，还在于揭示世界怎样生成观察。

综合判断

最可能路线不是四选一，而是四阶段闭环：

互联网/人类知识预训练提供巨大先验；
示范把先验接到任务与动作；
主体经验修复真实后果；
因果/世界模型把经验压成可迁移机制；
Chollet 式资源核算检验到底是新学习还是库存。

真正未知的是哪一层的边际收益最大。

五、第二条根本分歧：世界应该以什么形式存在

“World model”已成为最容易产生伪共识的词。不同人说的是不同对象。

1. Fei-Fei Li：世界首先是三维空间与可计算状态

她强调：

对象持久；
相机位姿；
几何；
材质；
动力学；
可编辑 3D；
renderer / simulator / planner 的接口。

其最强论证：语言可以谈论空间，却不能替代行动所需的精确状态。

其最大风险：从视觉一致 renderer 到物理 simulator 不是自然连续升级。

2. Hassabis / MuZero：世界只需保留决策相关结构

MuZero 不重建完整像素，只预测：

reward；
value；
policy；
latent dynamics。

其最强论证：生成全部感官细节浪费容量，规划只需任务相关状态。

其最大风险：今天无关的变量，换任务后可能关键；task-specific latent state 难成为开放世界通用知识。

3. Bengio：世界应分解为可独立变化的因果机制

几何位置本身不够。系统还需知道：

干预哪个变量；
哪些后代变化；
哪些机制保持；
新环境只需更新哪里；
不同假说有多少概率。

其最强论证：OOD 的困难不是画面不够逼真，而是机制变化破坏相关性。

其最大风险：高维无监督数据中“真实因果变量”不可轻易识别。

4. Hinton：世界应由对象、姿态、部件—整体动态组织

Capsules 与 GLOM 关心：

同一对象在视角变化中保持身份；
部件对整体 pose 达成 agreement；
固定网络怎样长出输入特定 parse tree。

其最强论证：分类和 invariant feature 丢掉对象怎样存在。

其最大风险：具体 routing/共识机制至今没有前沿规模优势。

5. LeCun：世界应在抽象潜空间预测可预测部分

LeCun 的 JEPA 立场是：

不必生成所有像素；
在 joint embedding 中预测；
忽略不可预测细节；
分层 latent state 支持规划。

与 MuZero接近，但更强调自监督世界表征；与 Fei-Fei 的显式三维形成有益张力。

这些不是互斥答案

未来系统很可能同时需要：

层级	回答的问题	可能表示
观察	从某视角看见什么	pixels / video / audio
空间	对象在哪里、怎样持久	3D geometry / pose / object slots
动力	行动后怎样变化	latent dynamics / simulator
因果	干预哪个机制会改变什么	modular causal variables
任务	当前目标应保留什么	policy/value-oriented latent state
语言	人怎样指定目标与解释	tokens / concepts

真正研究难点是这些层怎样对齐，而不是选一个词宣布为“真正 world model”。

六、第三条根本分歧：推理究竟是已经压进参数的技能，还是运行时的搜索

1. Amortized intelligence：参数提供快速直觉

预训练把巨大计算压进权重。一次 forward pass 可以：

完成常见模式；
给出候选答案；
识别相似问题；
提供 strong prior。

这是深度学习最大经济优势：训练昂贵，部署每题相对便宜。

2. Brown / Silver / Hassabis：陌生难题需要 unamortized compute

他们共同结构是：

policy 提案；
value 评价；
search 展开；
verifier 检查；
搜索结果训练 policy。

AlphaGo 在棋树中展开；Libratus 在 belief/subgame 中重求解；reasoning model 在语言/代码轨迹中搜索。

3. 为什么“更长 CoT”不是充分定义

有效 test-time compute 应具有：

分支多样性；
中间状态；
自适应预算；
回退；
工具；
独立评价；
停止准则。

模型为第一个错误答案写更长理由，不是搜索。

4. Verifier 是这条路线的隐藏中心

数学、代码、棋类先成功，因为有：

终局；
单元测试；
proof checker；
明确合法动作；
自动 reward。

开放科学、政策、长期机器人没有同样廉价 verifier。

因此 test-time scaling 的外推边界由 反馈闭合程度 决定，而不只由模型规模决定。

5. World model 与 search 的误差相乘

在真实环境中，搜索不访问真规则，而访问 learned model。Rollout 越深：

计划看得更远；
模型误差也累积更多；
planner 可能发现并利用 simulator 漏洞。

所以更多计算有时提高，有时会沿错误模型深挖。

综合判断

“直觉 + 搜索”是当前证据最强的中层结论之一。但应加上两个条件：

搜索状态和动作具有足够正确的表示；
evaluator 对真实目标足够一致。

没有这两项，test-time compute 只是放大器。

七、第四条根本分歧：下一代 AI 是人设计出来，还是由开放过程发现

1. LeCun / Hinton / Bengio / Dao-Gu：继续提出更好的结构偏置

他们分别押注：

JEPA 与分层规划；
capsules/GLOM/局部学习；
causal modules/GFlowNet；
SSM/SSD/硬件共设。

共同信念：架构结构仍重要，不能只靠无结构搜索。

2. Clune：人类手工设计本身可能是最终瓶颈

AI-GA 把：

architecture；
learning rule；
environment；
curriculum；

都放入自动外环。

MAP-Elites 保留多样精英；POET 共同生成任务和 agent；OMNI 用 foundation model 评价有趣；DGM 让 agent 代码分叉自改。

3. Karpathy：自动化应先从短周期、可验证实验开始

autoresearch 的收缩很重要：

小代码；
单 GPU；
固定墙钟；
清晰 metric；
自动保留/回退。

它没有解决开放科学，却提供了第一批可稳定复合的自动研究内环。

4. “设计”与“搜索”并非反义

任何开放搜索仍需人决定：

表示；
变异器；
evaluator；
sandbox；
资源；
何为新颖；
何为安全。

任何人工架构也会通过：

超参搜索；
数据；
SGD；
scaling；

在巨大空间中被发现。

真正分歧是外环有多大：

只搜权重；
搜超参；
搜层；
搜 agent 代码；
搜学习算法；
搜任务；
搜价值标准本身。

越向外，创新潜力越大，评价与安全也越难。

八、第五条根本分歧：强智能是否必须成为强 agent

这是 Bengio 与 Sutton/LeCun/Hassabis 之间最深的路线差异。

1. Agent-first 立场

Sutton：

智能由行动后果和 reward 塑造；
没有行动，因果和控制难学。

LeCun：

世界模型最终服务 actor 和 cost；
规划是智能中心。

Hassabis：

模型、搜索和工具应解决问题；
科学发现需要主动候选与实验。

Levine/Finn：

机器人必须在现实闭环中提高。

2. Predictor-first 立场

Bengio 的 Scientist AI 希望：

核心模型只估计 statement posterior；
不因输出导致某种世界后果而受奖励；
memoryless / stateless；
agentic search 放在外部可审计代码；
predictor 可作为 agent guardrail。

其核心分离：

理解一个目标导向系统，不等于自己拥有该目标。

3. 两种路线各自不能解决什么

Agent-first 的问题：

reward hacking；
隐式目标；
长期权力寻求；
线上反馈自我强化；
不可逆行动。

Predictor-first 的问题：

用户可反复查询把 predictor 当 optimizer；
内部预测可能模拟强 agent；
不行动难获得某些因果信息；
外部 scaffold 仍需目标；
真值 posterior 难训练。

综合判断

最可能系统是分层的：

一个尽量校准的 world/predictor core；
一个明确、可审计、权限有限的 planner；
工具和行动在传统软件约束下执行；
真实反馈更新世界模型，但对 on-policy 自我强化保持审计；
高风险领域让 predictor 与 actor 组织上分离。

这不会消除 agency，却能让它不再隐蔽地散布在所有组件里。

九、第六条根本分歧：记忆应该增长，还是应该压缩

1. Transformer / attention：保存历史，按内容随机访问

优势：

精确 recall；
变量绑定；
in-context examples；
任意 token 回看。

代价：

KV cache 随长度增长；
decode 读取成本增加；
上下文管理昂贵；
不是终身记忆。

2. SSM / recurrence：固定状态持续压缩

优势：

streaming；
固定 decode state；
长序列近线性；
适合 reasoning token 增长。

代价：

有损；
任意精确 recall 困难；
多约束可能漂移；
固定 state 有信息论上限。

3. 外部 episodic memory：写入可检索存储

Agent 可以把：

文件；
数据库；
向量索引；
事件摘要；
tool state；

作为外存。

难点：

写什么；
何时检索；
版本与矛盾；
隐私；
检索错误；
长期更新。

4. Sutton 的持续可塑性：记忆不只在 hidden state

长期 agent 还要更新权重和技能，但需避免 catastrophic forgetting 和 plasticity loss。Context、state、episodic store、weights 是不同时间尺度。

综合判断

未来记忆几乎必然是层级：

局部 attention 保留近期精确细节；
recurrent state 保留连续摘要；
稀疏 global attention 标记关键事件；
episodic retrieval 恢复历史；
weights 吸收长期规律；
外部文件/工具保存可验证状态。

“无限 context”与“固定 state”都不是单独终点。

十、算法与硬件：为什么 Dao/Gu 不是这份名单里的附录

一种理论若要通过规模检验，必须能被计算。

1. FlashAttention 的教训

它没有改变 softmax attention 的数学结果，却通过：

tiling；
online softmax；
SRAM；
重计算换 IO；

改变可训练长度和成本。

这说明：

算法的现实边界由数据流决定，不只由渐近 FLOPs 决定。

2. Mamba/SSD 的教训

更自由的 recurrence 未必更快；增加结构使计算可转成大 GEMM，反而能训练更多数据。

架构的“表达力”必须与：

墙钟；
并行；
数值稳定；
kernel；
decode state；

共同评价。

3. Reasoning 时代改变最优硬件目标

如果每个请求产生数万思考 token：

decode 比 prefill 更重要；
KV cache 成为容量瓶颈；
memory bandwidth 比训练 FLOPs 更关键；
speculative decoding、recurrent state 和 batching 改变经济性。

这会反过来影响哪种高层智能路线可承担。

4. Karpathy 与 Dao 的互补

microgpt 说明算法核可以很短；FlashAttention 说明从短公式到现实吞吐之间的系统工作足以改变领域。

只看前者，会低估工程；只看后者，会把框架复杂度误认成智能理论。

十一、把 LeCun 放在中心：其余 11 条路线分别是盟友、补丁还是反驳

用户最初关注 LeCun，因此可以把他的长期主张作为坐标原点：

纯自回归 token prediction 不是完整智能；
世界模型应在抽象潜空间预测；
不应浪费容量生成不可预测细节；
智能需要记忆、cost、actor 和分层规划；
物理世界的无监督/自监督经验比文本丰富；
当前 LLM 缺少稳定世界模型和长程规划。

1. 最接近的盟友

Fei-Fei Li

同意语言不是世界，强调空间、持续性和行动。

差异：

LeCun 更 latent / joint embedding；
Fei-Fei 更 explicit 3D / renderer / simulator 接口。

Hassabis

同意 world model + planning + memory。

差异：

LeCun 寻找较纯净的认知架构；
Hassabis 接受生成模型、搜索、符号工具和专门系统混合。

Bengio

同意当前表示需要更抽象、因果、模块化。

差异：

LeCun 把自主行动作为目标；
Bengio 当前把非代理 predictor 放在核心。

Hinton

共享连接主义、energy、内部表示根系。

差异：

Hinton 更关注 part—whole、生物学习和硬件；
LeCun 更关注 agent architecture。

2. 最强正面挑战

Sutton / Silver

他们会说：不要把希望主要放在先设计正确世界模型架构。长期胜利来自一般学习、搜索、reward 和海量经验；人类设计的结构最终常被计算吃掉。

LeCun 的反击是：

reward 太稀疏；
视频/物理经验需要好的自监督目标；
不学抽象状态，搜索不可能扩展。

这是真正有内容的分歧：model-first 还是 experience-first。

3. 工程上的桥

Levine / Finn

他们不等理论完成，直接把：

VLM；
diffusion/flow action；
offline data；
demonstrations；
online RL；
memory；

拼成机器人系统。

如果这条线成功，可能说明“足够好的混合堆栈 + 数据闭环”比先找到 JEPA 式统一理论更快。

4. 缺失的运行时层

Brown

即使 LeCun 世界模型正确，仍需：

belief；
search；
test-time compute；
verifier；
adversarial robustness。

Brown 补的是 deliberation，不是替代 world model。

5. 缺失的外环

Clune

Clune 会追问：

为什么 JEPA、cost module 和 hierarchy 必须由人最终设计；
能否让任务—agent 生态发现更好的认知结构。

他把 LeCun 的“设计一个架构”再抬高为“设计一个发明架构的过程”。

6. 缺失的软件与底座

Karpathy

无论内核是否 JEPA，系统都需要：

数据；
eval；
tool protocol；
human interface；
delegation；
recovery。

Dao / Gu

无论内核理论多好，都必须：

长时记忆；
高效训练；
低成本 decode；
适配硬件。

预训练提供起点；
现实行动修正；
offline replay 提高样本效率；
online RL 适应部署。

多语言、代码、图像、视频、音频；
大规模自监督；
人类知识与行为示范；
provenance 和数据版本。

对应：

Hinton/Bengio 的分布表示；
ImageNet / Karpathy 的数据基础设施；
foundation model。

2. 世界状态层

对象与部件；
三维空间；
latent dynamics；
因果机制；
不确定性；
任务相关抽象。

对应：

Fei-Fei；
LeCun；
Hinton；
Bengio；
Hassabis。

3. 多时间尺度记忆

local attention；
recurrent state；
sparse key memory；
episodic retrieval；
external files/database；
长期权重更新。

对应：

Dao/Gu；
Sutton continual learning；
agent memory。

4. 推理与规划层

policy proposal；
branching search；
value；
belief update；
tool call；
rollback；
adaptive compute。

对应：

Brown；
Silver；
Hassabis。

5. 行动层

VLA policy；
robot/tool adapters；
permission；
transaction；
simulation check；
human approval。

对应：

Levine/Finn；
Karpathy；
Fei-Fei。

6. 预测与安全核

calibrated consequence model；
multiple hypotheses；
explicit uncertainty；
independent evaluator；
actor/predictor separation。

对应：

Bengio Scientist AI；
GFlowNet；
verifier。

7. 经验与数据引擎

deployment failure capture；
offline replay；
counterexample generation；
regression suite；
online adaptation；
sim-to-real correction。

对应：

Sutton；
Levine/Finn；
Karpathy。

8. 自动研究外环

generate tasks；
generate environments；
modify agent；
maintain diverse archive；
short-cycle experiments；
human relevance review。

对应：

Clune；
Karpathy autoresearch；
Hassabis scientific agents。

9. 计算底座

FlashAttention；
SSM/SSD hybrid；
low-precision；
memory hierarchy；
train/prefill/decode co-design；
serving cost accounting。

对应：

Dao/Gu。

这张草图最重要的不是组件齐全，而是它揭示新的难题：组件接口可能比组件本身更难。

Hinton 四十年追内部表示与学习；
Sutton 长期追经验、预测与控制；
Fei-Fei 从对象走向场景和空间；
Clune 从 evolvability 走向开放外环。

稳定问题比频繁追热点更能说明判断来自哪里。

2. 每次转向是否由上一阶段失败推动

S4 的固定 dynamics 缺 content selection → Mamba；
Mamba-1 scan 不够硬件友好 → SSD；
单标签 ImageNet 不够场景化 → Visual Genome；
blueprint 抽象有漏洞 → Libratus 在线 subgame solving；
novelty 不等于质量 → MAP-Elites；
learning progress 不等于有趣 → OMNI。

这类因果转折才是“脉络”。

3. 是否提出可检验中间机制

比“AGI 会怎样”更有价值的是：

test-time compute 曲线；
sim-to-real gap；
skill acquisition efficiency；
mode coverage；
state size—quality Pareto；
calibration。

4. 失败是否被诚实保留

真正值得跟踪的人通常有未命中：

Hinton capsules；
Bengio 因果模块未规模胜出；
纯 SSM 尚未替代 Transformer；
POET 未证明无界开放性；
world model 未统一物理和渲染。

若一份整理只写命中，就会变成英雄传记。

5. 团队成果与个人判断是否分开

AlphaFold、Gemini、π0、World Labs、DGM 都是大型团队工作。可以把连续项目选择归纳为个人/组织押注，但不能把所有算法细节归功于一位领导者。

6. 当前组织叙事是否与论文证据分开

公司博客可以表达路线和产品状态，不能替代：

消融；
外部复现；
同等 compute 比较；
失败分布；
长期部署。

十七、如何按你的兴趣选择阅读路径

如果你最喜欢 LeCun 的“世界模型与物理智能”

建议：

Fei-Fei Li；
Hassabis；
Levine/Finn；
Bengio；
Hinton。

读法：

比较 explicit 3D、latent dynamics、causal variables、part—whole；
特别关注生成画面与可规划状态的差异。

如果你想理解 reasoning model 为什么不是“LLM 多说几句”

建议：

Brown；
Sutton/Silver；
Hassabis；
Chollet。

读法：

policy prior；
value；
search；
verifier；
belief；
测试时资源核算。

如果你想判断机器人是否会成为下一轮 scaling

建议：

Levine/Finn；
Sutton/Silver；
Fei-Fei；
Hassabis；
Dao/Gu。

读法：

数据闭环；
offline/online；
world model；
sim-to-real；
长时记忆与推理成本。

如果你关心 AI 能否自动做 AI 研究

建议：

Clune；
Karpathy；
Brown；
Hassabis；
Bengio。

读法：

变异器；
archive；
evaluator；
proxy overfitting；
重要性判断；
predictor/actor 分离。

如果你关心 Transformer 之后的计算架构

建议：

Dao/Gu；
Hinton；
LeCun 的 JEPA 材料；
Sutton 的持续学习。

读法：

序列算子；
state；
IO；
credit assignment；
长期可塑性。

如果你关心“我们到底有没有测到智能”

建议：

Chollet；
Bengio；
Brown；
Clune；
Karpathy。

读法：

developer-aware generalization；
calibration；
test-time compute；
open-ended novelty；
agent review cost。

十八、未来三年最值得跟踪的 20 个可证伪指标

这些指标比“谁说 AGI 2028/2032”更有技术信息。

经验与机器人

同一机器人 policy 跨家庭/工厂环境的中位任务成功率。
每获得一种新技能需要多少真实轨迹。
离线数据、示范、模拟与在线 RL 各自边际贡献。
多小时任务中错误恢复而非短视频最好案例。
sim-to-real 失败可归因到几何、物理、感知还是策略的比例。

世界模型

遮挡后对象身份与状态的长程保持。
动作干预下物理后果，而非被动视频画质。
新目标到来时 latent state 是否保留足够信息。
renderer 输出与 collision/physics state 的一致性。
world-model rollout 深度增加后的真实规划收益曲线。

推理

同模型增加测试时计算的质量—成本曲线。
自适应停止是否优于固定 reasoning token。
verifier 被 reward hacking 的频率。
数学代码之外、弱反馈任务的可复现收益。
对抗者能否利用固定推理策略。

自动改进

Agent 自改是否跨 benchmark，而非只在一个 validation 上提高。
每一代是否更会产生下一代，还是快速饱和。
Archive 多样性对最终新能力的因果贡献。

系统与底座

同等任务质量下每个正确答案的端到端能耗/美元。
混合 attention/SSM 的最优比例是否跨规模与硬件稳定。

十九、我对这 12 条路线的综合判断

1. 近期最可能继续产生决定性进展的，是三种闭环

推理闭环：

proposal → search → verifier → RL。

机器人闭环：

pretraining → demonstration/offline → deployment → failure data → online improvement。

自动研究闭环：

hypothesis/code change → short experiment → metric → archive/revert。

共同特点：反馈可以在机器时间尺度重复。

2. 中期最大瓶颈是“世界状态与评价”

我们不缺生成候选的模型，缺的是：

可靠状态；
真实后果；
校准评价；
对未来任务可复用的表示。

这就是 Fei-Fei、LeCun、Bengio、Hinton、Hassabis 路线重新重要的原因。

3. 长期最不确定的是开放性与 agency

若系统能：

生成新任务；
修改自身；
自主实验；
长期行动；

它也最难评价和控制。

Clune 的路线可能是能力外环，Bengio 的路线可能是认知安全核；两者能否共存，是比“Transformer 是否结束”更深的问题。

4. 最可能的赢家不是一个纯派别，而是结构化混合系统

当前证据支持的组合更像：

大规模多模态预训练；
对象/空间/因果 world state；
attention + recurrence + retrieval 的层级记忆；
policy/value/search；
外部工具和形式检查；
offline + online 经验；
人类兼容约束；
自动课程与实验；
硬件 co-design。

这听起来不如“一种新架构解决一切”优雅，但历史上的 AlphaGo、AlphaFold、CICERO 和机器人系统都说明，跨过复杂边界常依赖正确组合。

5. LeCun 最值得保留的不是对每个产品的嘲讽，而是层级诊断

他最深的贡献是持续提醒：

语言不是世界；
生成流畅不是理解；
智能需要可规划内部状态；
物理经验与自主学习不可缺；
当前成功不应停止架构研究。

其他 11 条路线让这套诊断更完整：

Sutton 给经验主发动机；
Chollet给测量；
Levine/Finn 给机器人桥；
Fei-Fei 给空间状态；
Brown 给 belief/search；
Clune 给外环；
Hinton 给对象与学习机制；
Hassabis 给组合系统；
Karpathy 给软件生态；
Bengio 给因果与非代理预测；
Dao/Gu 给计算底座。

二十、最终压缩

如果一定要用一段话概括 LLM 后的技术前沿，我会这样写：

LLM 已证明，大规模分布式表示可以把人类知识与大量隐式程序压进一个通用模型；下一阶段不再只是继续扩大这份库存，而是让模型拥有可持续经验、可复用的空间与因果状态、多时间尺度记忆、可自适应的测试时搜索、能给出硬反馈的工具，以及把现实失败变成新课程的闭环。同时，任务、agent 和研究流程会逐步自动生成，但越靠近开放自我改进，评价与控制越成为核心。所有这些能力最终还要通过 IO、KV cache、decode 延迟、权限、事务和人类审查成本的现实筛选。

因此最不值得追的是“某位大师一句话说 LLM 行/不行”。最值得追的是：

他在哪一层发现了瓶颈；
上一个项目为何迫使他转向；
新机制怎样被证伪；
它解决问题后把困难推到了哪一层；
他的失败是否比别人的成功更能暴露下一步。

这才是从这些人的研究脉络中获得“判断力”，而不是收集观点。