从 TD、Dyna 到 AlphaZero 与经验时代

这篇真正要解释的，不是“他们相信强化学习”这么扁平的一句话，而是：为什么 Sutton 从 1980 年代的时间差分学习一路走到 2025 年的“经验时代”，问题几乎没有换过；以及 Silver 如何把这套认识论从一个预测公式，逐步放大成 AlphaGo、AlphaZero、MuZero，再推到 LLM 之后的智能体路线。

一、先给结论：他们争的其实是一种“知识观”

把 Sutton 和 Silver 仅仅归类为 RL 学者，会漏掉他们工作中最连贯的部分。他们真正坚持的是一种关于知识从何而来的立场：

知识首先是对行动后果的可修正预期。 它不是静态事实表，也不是对人类说法的压缩；一个主体知道某件事，意味着它能预测在特定条件下采取某种行动会发生什么。
智能必须嵌在时间里。 一次输入—输出不是完整认知单位。主体在未结束的经验流里形成预期、行动、看到误差，再更新预期；目标可能跨越数月，世界也会在它学习时改变。
规划并不是学习的对立面。 规划只是把学到的世界模型当作“廉价经验发生器”，在真正行动前先经历若干内部未来。
高层认知最终要能落回后果。 语言、记忆、概念、推理和社会技能都很重要，但在他们看来，这些不是彼此独立的终极模块，而可能是一个主体为了长期获得更好结果而发展出的工具。

这四点把 TD learning、Dyna、options、预测知识、AlphaZero、MuZero、Reward Is Enough 和 Era of Experience 连成了一条线。所谓“经验时代”不是 2025 年看到 agent 热潮后才提出的营销口号，而是 40 年研究问题在 LLM 时代的重述。

二、Sutton 的起点：怎样在结局到来之前学习未来

1. 1980 年代的背景：监督学习需要答案，动态规划需要模型

早期机器学习容易把学习想成一张静态表：给输入、给正确答案、调整模型。可是一个持续行动的主体通常没有逐时刻的“标准答案”。棋手走出一步时，不会立即知道这步对最终胜负贡献多少；动物探索环境时，奖励可能很晚才到；很多真实任务甚至永远没有明确终局。

另一条传统是动态规划：如果已经知道世界的转移概率和奖励，就可以用 Bellman 方程从未来价值倒推现在价值。但真正的学习者恰恰不知道完整模型。

Sutton 在 1988 年系统化的时间差分学习位于二者之间。它用下一时刻自己的预测修正当前预测。最简形式是：

\delta_t = r_{t+1} + \gamma V(s_{t+1}) - V(s_t)

这里最值得注意的不是公式，而是它包含的认识论：学习信号可以来自“现实新发生的一小步”与“我原来对未来的估计”之间的差异。 主体不必等到整个生命片段结束，也不必从外部获得每个状态的正确价值。

这就是 bootstrapping：用一个仍不完美的预期去训练另一个预期，再不断让真实经验纠偏。它有风险——错误预测可能互相强化——但也提供了持续、在线、低延迟学习的可能。

2. TD 的深层意义：预测误差不是训练技巧，而是主体与时间的接口

如果只从算法课看，TD 似乎只是 Monte Carlo 与动态规划之间的偏差—方差折中。但对 Sutton 来说，它后来扩展成一种更一般的主张：

世界没有每一步都给标签，但每一次新观察都会检验旧预期；
“状态的意义”很大程度上来自它预示怎样的未来；
一个主体可以同时维护许多不同时间尺度、不同条件下的预测；
学习不需要被切成互相独立的数据集和训练轮次。

这也是为什么 Sutton 后来不满足于把 RL 理解成“选择动作拿分”。他越来越把它理解成：在连续时间里形成大量可操作、可证伪的预测知识。

三、Dyna：学习与规划原本就是同一个循环的两种采样方式

1. 为什么 model-free / model-based 的二分在 Sutton 看来过于粗糙

一个无模型智能体可以直接从真实经验学价值或策略，好处是不用准确复刻世界；缺点是每个更新都要花真实交互。一个有模型智能体可以先学环境动态，再在模型里规划；好处是复用经验，缺点是模型会错。

1990 年的 Dyna没有选边，而是给出一个循环：

在真实世界采取行动；
用这一步更新策略/价值；
同时更新世界模型；
从模型中采样想象经验，再更新同一个策略/价值；
回到真实世界检验。

真实经验和想象经验的区别不再是两套智能，而只是训练样本来自哪里。规划也不再需要一个独立的符号推理器；它可以被写成“从内部模型获得额外经验”。

2. Dyna 预示了后来几乎所有 world-model agent 的结构

今天常见的“环境交互 → replay buffer → 学动力学模型 → rollout → 更新策略”在概念上仍是 Dyna。区别主要是模型变成深网、状态变成潜变量、规划变成树搜索或生成轨迹。

这条线还有一个常被忽略的判断：世界模型的价值不在于生成一部逼真的世界纪录片，而在于它是否产生能改善行动的反事实经验。 这为 Silver 后来 MuZero 的“只学规划相关动态”埋下伏笔。

但 Dyna 也暴露了这条路线一直没完全解决的问题：模型错误会在多步 rollout 中累积。想象越长，未必越有用；一个在训练分布内看似准确的模型，可能让策略学会利用模拟器漏洞。经验主义并不等于幼稚地相信“只要有 world model 就能无限规划”，而是要求想象必须反复接受真实经验校准。

四、Options 与预测知识：智能不可能永远活在单步动作里

1. Options：把“去厨房”“打开抽屉”变成可学习的行动单位

如果代理每 20 毫秒选择一次关节力矩，那么“准备早餐”会成为长得不可处理的决策链。人类并不是这样思考：我们把已掌握行为封装成技能，在更高层选择“去厨房”“烧水”“取杯子”。

Sutton、Precup 与 Singh 在Options 框架中把一个时间延展动作表示为三部分：

在哪些状态可以启动；
启动后内部如何行动；
在什么条件下结束。

这不是给 RL 随便加一个层级模块，而是在回答时间尺度问题：一个系统怎样让昨天学到的一段策略，成为今天规划中的一个原子。 没有这种封装，长期规划的分支因子和信用分配都会失控。

Options 后来没有以原始形式成为所有主流 agent 的标准组件，但“技能库、子目标、宏动作、高低频控制、层级策略”无处不在。它更像提出了一个不可绕过的结构性问题，而非给出最终答案。

2. General Value Functions：把“知识”扩展为大量条件预测

Sutton 后来推动 general value functions（GVFs）和 Horde。传统价值函数只回答“遵循当前策略能得到多少奖励”；GVF 可以回答更广的问题：

如果保持这个方向，多久会撞墙？
在采取某种行为时，电量将在多快后下降到阈值？
如果转头，会看到某个物体的概率多大？
某个传感信号在不同时间尺度上的累计值是什么？

Horde展示了一个主体可从同一经验流并行学习大量这样的预测。这里的“知识”不是数据库里的陈述，而是由四件事定义的操作性问答：在什么条件下、遵循什么策略、累计什么信号、到何时终止。

这使 Sutton 的路线比“奖励最大化”四个字更丰富。奖励是选择行为的顶层接口，但主体的内部知识可以由成千上万个预测组成。它们既可以服务外部奖励，也能成为新任务的可复用状态表征。

3. 与 LeCun 的一个隐蔽交汇点

LeCun 强调从观察中学习世界结构，批评稀疏奖励承载不了儿童获得的信息。Sutton 的 GVF 路线其实并非认为所有表示都要等最终奖励来塑造；它允许从丰富传感信号学习大量预测。真正分歧在于表述方式：

LeCun 更希望学习一个抽象潜在状态，使可预测部分在其中一致；
Sutton 更倾向把知识拆成许多“在某政策与时间尺度下，某信号将如何累计”的问题。

前者像学习一张可供多任务使用的世界状态，后者像学习一组与行动条件绑定的预言。它们可能不是互斥的，但强调了不同的知识原语。

五、持续学习：经验流要求模型不是“每次部署后冻结的毕业生”

1. LLM 训练范式与 Sutton 所想的学习者几乎相反

当前大模型通常经历：收集固定数据 → 大规模离线训练 → 对齐 → 冻结权重部署。用户会话可以进入上下文或外部记忆，但核心参数很少根据个人长期结果持续改变。

Sutton 所设想的主体则没有清晰训练/测试分界。世界在变化，目标在变化，主体的能力也应不断改变。这带来两个相互冲突的要求：

保留长期有用的结构；
仍能迅速吸收新的规律。

传统讨论把它概括成灾难性遗忘，但 Sutton 团队近年强调另一侧：即使模型没有显著忘掉旧任务，长期梯度训练也可能使表征趋于僵化，对新经验越来越学不动。

2. “可塑性丧失”为什么比一个 benchmark failure 更根本

2024 年的《Loss of plasticity in deep continual learning》系统展示，标准深网在持续任务流中会逐渐失去学习能力；保持一小部分特征持续更新、重置低效单元等机制可以缓解。

这对“经验时代”是硬约束。一个 agent 即使拥有无限日志，如果新经验只能写进检索库而不能改变其技能形成机制，它仍更像带巨大笔记本的冻结模型，而非终身学习者。

更难的问题还包括：

新经验可能恶意或偶然，在线更新会不会污染核心能力？
旧知识与新规律冲突时，什么应被覆盖？
用户个性化与跨用户共享怎样分层？
持续学习如何接受可重复、安全审计？

Sutton 的路线在这里非常前瞻，也非常不完整：它正确指出了未来 agent 必须解决的训练制度，却尚未给出前沿基础模型可安全终身更新的成熟方案。

六、Silver 的路线：不是“越来越强的下棋程序”，而是逐层移除人类脚手架

1. 早期围棋研究：长期记忆与现场搜索必须分工

Silver 2009 年博士论文的主题就是围棋中的强化学习与 simulation-based search。他早期工作区分两类记忆：

永久记忆：跨局学习的价值、策略和形状知识；
临时记忆：当前局面搜索树里得到的局部计算。

这已包含他后来所有系统的骨架。神经网络负责把历史经验压成快速直觉；搜索负责在当前局面投入额外算力。没有学习，搜索空间太大；没有搜索，网络很难对每个新局面做精确战术修正。Silver 的论文年表可以看到，这种组合在 AlphaGo 前已持续多年。

2. AlphaGo：人类知识不是敌人，而是启动分布

2016 年 AlphaGo经常被概括为“深度学习打败围棋”，实际由几层组成：

从人类棋谱学习策略网络，缩小可能落子范围；
通过自我对弈继续优化策略；
学价值网络估计局面最终胜率；
用蒙特卡洛树搜索把策略先验、价值评估与模拟结合。

这说明 Silver 并不教条地拒绝模仿。人类棋谱让系统站上一个有意义的搜索区域，再由自我经验越过人类数据的平均水平。后来“经验时代”也不是要求删除所有人类数据，而是认为人类数据应从能力上限变成启动先验。

3. AlphaGo Zero / AlphaZero：在规则清晰的世界里，经验可以自己产生课程

AlphaGo Zero去掉人类棋谱，仅保留游戏规则。网络通过自我对弈产生数据；MCTS 生成比当前网络更强的改进策略；新网络再拟合搜索结果和最终胜负。这里存在一个不断上升的闭环：

\text{当前网络} \rightarrow \text{搜索改进} \rightarrow \text{自我对局} \rightarrow \text{更强网络}

AlphaZero 把同一原则用于围棋、国际象棋和将棋。真正突破不是“完全没有先验”——棋盘、规则、动作空间、胜负和对称性都由人类给定——而是不再把人类的解题轨迹当作最优分布。

这个区别非常关键。它验证的是：当环境可高速模拟、反馈无歧义、对手能随自己同步变强时，经验可形成自适应课程。它没有验证开放现实也具备这些条件。

4. MuZero：世界模型不必会画世界，只需保留规划所需的等价结构

AlphaZero 搜索时使用已知规则推进棋盘。MuZero 面对 Atari 等任务时不再接收显式转移规则，而学习三个功能：

把观察编码为潜在状态；
在潜在状态中根据动作推进，并预测即时奖励；
从潜在状态预测策略和价值。

MuZero不要求重建下一帧像素。它只需让潜在 rollout 在决策意义上正确。后来“value equivalence”工作进一步形式化：两个模型即使生成的表面世界不同，只要它们对相关策略产生相同价值，就可在规划上等价。

这是 Silver 与生成式世界模型路线最深的区别：

视频模型问“未来看起来怎样”；
MuZero 问“哪些潜在变化会改变奖励、价值和行动选择”。

它极大降低了建模负担，却可能丢掉未来新任务需要的信息。为打游戏学到的状态不一定支持解释、迁移或换目标。MuZero 成功证明“完整重建不是规划的必要条件”，没有证明“奖励相关潜变量是一般世界知识的充分条件”。

七、Reward Is Enough：它到底在声称什么，又没有声称什么

1. 这不是“只给一个数字，智能就会自动出现”的算法定理

Silver、Sutton、Precup 与 Singh 在 2021 年的《Reward Is Enough》提出一个强研究假说：在足够复杂的环境中，最大化累积奖励这一统一目标，可能诱导出知觉、知识、学习、泛化、社会智能、语言和模仿等广泛能力。

逻辑是工具性的。假设一个主体长期目标是维持健康，它为了做得好可能必须发展：

感知身体与环境；
记忆食物和行为的长期后果；
理解他人建议；
规划、实验和学习；
在社会中合作；
形成关于因果的预测。

这些能力不必各自成为终极目标，可以作为优化长期结果的手段涌现。

论文的“enough”主要指目标层面的统一性，不是说现有 Q-learning、一个随便写的 reward 或有限算力已经足够。环境复杂度、函数逼近、探索、归纳偏置和训练算法都仍决定能否学出来。

2. 最强版本为什么诱人

如果每种认知能力都要单独设计目标，我们会陷入模块清单：语言一个目标、常识一个目标、记忆一个目标、社会理解一个目标。奖励假说提供更简洁的解释：这些能力之所以共同存在于动物身上，是因为它们在开放环境中提升长期适应度。

它与进化论类比也很强：进化没有显式写下“发展视觉皮层”和“学会合作”，而是通过生存繁殖压力筛选产生它们的机制。

3. 最薄弱的地方：目标并不像棋类胜负那样自然给定

现实中的“健康”“幸福”“科学进步”不是一个无争议传感器读数。把多维价值压成标量，会遇到：

代理优化代理指标而非真实目标；
短期可测量量压倒长期不可测量量；
不同人的价值冲突；
reward model 自己被操纵；
探索产生不可逆伤害；
主体为提高奖励而改变评价过程本身。

更深一层，奖励告诉主体什么更好，却不直接提供世界结构中大量与当前目标无关、将来可能有用的信息。儿童看世界时并非每秒收到一个标量教学信号。LeCun 对这点的批评很强：高带宽的感知预测应承担大多数表征学习，稀疏成本只负责决策。

因此 Reward Is Enough 最合理的读法不是“奖励取代自监督世界学习”，而是：各种学习模块最终能否由一个统一的长期选择原则协调。 这是尚未证明的系统假说。

八、从“模拟时代”到“人类数据时代”，再到“经验时代”

1. Silver 与 Sutton 对 LLM 的评价并不低

2025 年的《Welcome to the Era of Experience》先承认人类数据路线完成了一件传统 RL 没做到的事：一个模型通过语言、图像和人类反馈获得极其宽广的能力。

在他们的历史叙事里，AlphaZero 式“模拟时代”拥有自主发现能力，却被困在狭窄、规则完备的环境；LLM 的“人类数据时代”获得广度，却主要重组人类已知知识。经验时代试图把二者结合：以大模型作为强先验，再让主体在真实或形式环境中产生超越人类存量的新经验。

这不是简单的“RL 派反击语言模型”，而是一个三段论：

模拟器中的 RL 证明自主经验可以超越人类示范；
人类数据预训练证明一个统一模型可以获得广泛先验；
下一阶段要让广泛先验进入持续环境，用经验继续增长。

2. 经验时代的四个必要变化

文章给出的四点彼此相扣。

第一，短 episode 变成长期 stream

当前聊天模型通常在一次请求内优化答案，跨会话仅有有限记忆。经验型主体需要在数月或数年里保持身份、积累后果、修正策略。教育助手的目标不是本轮解释听起来好，而是学生几个月后真正学会；健康助手的行为也应由长期指标校正。

这迫使算法重新处理未结束轨迹、跨周期信用分配、概念漂移与持续可塑性。

第二，文本接口变成丰富行动与观察

“行动”不能只是在对话框写一句话。它可以是运行实验、修改代码、控制设备、查询仪器、安排资源。观察也不只包括用户评价，而包括真实结果、传感器和环境变化。

语言仍然重要，但从世界本身退到人与代理协调目标的一种通道。

第三，人类预判偏好变成后果落地的奖励

RLHF 常让人看到一个答案后判断喜欢哪个；评价者并不知道建议执行数月后的真实效果。经验时代希望用考试成绩、实验结果、能耗、错误率等后果信号校正代理。

文章还提出双层结构：人类在高层规定目标，底层奖励函数把目标映射到大量可测环境信号，并根据后续反馈调整。这比“彻底不要人类反馈”细致得多，但 reward hacking 和价值冲突仍未消失。

第四，用经验学会“怎么思考”，而非永远模仿人类思维痕迹

文章承认语言模型可以把 token 序列当作通用计算，但质疑自然语言是否是最优内部思维介质。主体或许会发现连续、分布式、符号或可微的非人类计算方式。

这是一项非常激进的判断：今天的 reasoning model 多通过人类可读或类人链条训练；Sutton 与 Silver 预期真正超人系统会让思维过程本身接受行动结果优化，最终可能难以被人直接解释。

3. 经验不是与人类数据相反的纯净类别

文章特意指出，狗完全从经验学习，但与人的互动也是经验的一部分。经验时代不是把互联网知识删除，而是改变增量能力的主要来源：

人类语料提供起点和文化接口；
用户指导高层目标；
环境后果产生大量新数据；
代理自身强弱变化使课程不断升级。

真正区别是：数据分布不再由过去的人类固定，而由当前代理的行动共同生成。

九、把整条路线压成一套“心智模型”

1. 世界是什么

世界是一个主体可通过行动干预、通过观察部分了解的动态过程。状态不是为了描述而描述；状态表示应保留对预测和控制有用的信息。

2. 知识是什么

知识是大量带条件的预测：在某种行为政策下，某个可观察量或奖励未来如何累计。知识的真伪由后续经验校准，而非仅由与人类文本的一致性决定。

3. 思考是什么

思考是在真正付出代价前，通过内部模型、搜索或其他计算产生“替代经验”。它与行动同构，只是发生在模型里。

4. 抽象是什么

抽象不仅是把视觉压成概念，也包括把多步行为压成 options，把多个预测压成可复用状态，把一段搜索蒸馏成快速策略。

5. 一般性从哪里来

一般性不主要来自穷举人类所有任务，而来自同一个学习—规划循环可在不同环境、目标和时间尺度上重新获得技能。

6. 超人能力从哪里来

模仿只能逼近数据产生者的分布。若要发现人类未知策略，主体必须进入一个能验证新行动的闭环，让自己的能力改善数据质量；AlphaZero 的自我博弈是最纯粹原型。

十、与 LeCun 的分歧：不是“要不要世界模型”，而是哪个信号拥有解释优先权

问题	Sutton / Silver	LeCun
智能的基本单位	主体—环境—奖励的持续交互	世界状态的抽象表征与预测
大部分世界知识从哪里来	广义经验中的预测误差、行动和反馈	高带宽无监督/自监督观察
世界模型该保留什么	对奖励、价值和策略有用的动态；MuZero 是典型	可支持多目标规划的抽象、可预测结构
奖励/成本的角色	可能统一协调广泛认知能力	信息量太低，主要用于行动选择而非表征学习
对现有算法的态度	经验时代文章认为现有技术经适当算法选择已是足够强的基础	认为当前 LLM 核心范式有结构性不足，需要新架构
推理	可由经验优化，甚至发展非人类内部语言	在世界模型中做分层潜变量规划

双方共同反对把静态文本模仿当作智能终点，也都需要世界模型、记忆和分层行动。真正分歧可以写成：

是先学一个尽量通用的世界，再由目标选择行动；还是让行动目标从一开始决定什么世界结构值得被学？

LeCun 担心 reward-shaped representation 过早丢失信息；Silver 用 MuZero 反驳完整重建浪费容量。谁更对，可能取决于系统是否要频繁换目标：目标稳定时任务相关模型高效，开放终身主体则可能需要更通用的表征底座。

十一、他们的判断履历：哪些命中了，哪些仍只是强假说

已经被较强验证

1. 学习与搜索结合会超过二者单独使用

从围棋到推理模型，学习先验负责缩小空间，运行时搜索负责针对当前问题修正，已成为一条稳固系统原则。

2. 自我生成经验能在有验证器的世界里越过人类示范

AlphaZero、AlphaProof 以及代码/数学 RL 都支持：只要结果可快速检查，代理可以生产比人类轨迹规模更大的有效数据。

3. “苦涩教训”捕捉了 AI 历史中的长期结构

Sutton 2019 年的《The Bitter Lesson》指出，能随计算扩展的搜索与学习长期反复胜过手工领域知识。深度视觉、语音、棋类和 LLM 都强化了这点。

但它常被夸张成“算法与先验不重要”。实际上 Transformer、MCTS、自我对弈环境、优化器和数据课程本身都是人类发明。正确读法是：不要把人的领域解法硬编码成能力主体，要设计能够利用更多计算自行发现解法的方法。

4. 持续训练会出现独立于遗忘的可塑性问题

这一点已有跨任务实验支持，且与长期代理需求直接相关。

部分成立，但边界比口号窄

1. “去掉人类知识会更强”

在规则完备、自我对手可生成课程的游戏中成立。现实代理仍高度依赖语言、示范、工具和人类设计的环境接口。更准确结论是：人类知识适合做先验，不应被当作最终策略分布。

2. 任务相关潜变量足以做有效世界模型

MuZero 在其任务上成立；跨目标迁移、解释和开放科学是否仍成立未知。

3. 测试时思考可以继续扩展

AlphaZero 与 reasoning model 支持这一点，但模型误差、验证器质量和计算成本会限制收益。

尚未证明的核心押注

1. Reward is enough

没有开放世界系统证明单一长期奖励足以稳定诱导人类级认知，更没有解决价值规范问题。

2. Experience will eclipse human data

在形式数学、代码、游戏中已开始；在高成本、低反馈、不可逆的物理和社会环境中仍是未来式。

3. 现有基础已经足以快速走向真正超人 agent

经验时代文章在这里比 LeCun 乐观得多。持续学习、安全探索、长期信用和 reward design 中任何一项都可能要求根本性新算法。

十二、这条路线最强的论证与最脆弱的跳跃

最强之处：它解释了“能力怎样产生自己的下一批训练数据”

静态预训练的核心限制不是网页马上完全用光，而是更强模型仍在消费由较弱人类产生的固定分布。AlphaZero 式闭环则让更强策略遇到更强对手、产生更难状态、再继续改善。任何关于超人科学和长期 agent 的路线，最终都要回答训练数据怎样随能力共同升级；Sutton / Silver 给出了最清晰原型。

最脆弱之处：把规则清晰世界的反馈结构外推到现实

棋类中：

状态边界清楚；
动作合法性明确；
模拟廉价；
胜负没有歧义；
错误可以完全重来；
对手自然提供课程。

现实中的健康、教育、政治、科研都不具备完整条件。经验越真实，越昂贵、越含混、越不可逆。论文所说“世界充满可用信号”是事实，但可测信号丰富不等于目标可被正确表达。这是从 AlphaZero 到经验时代最大的逻辑跳跃。

Sutton 1988：Learning to Predict by the Methods of Temporal Differences
不必先推完所有证明；先看“用下一预测修正当前预测”如何改变监督信号。
Sutton 1990：Dyna
重点看真实经验、模型学习和规划为何能更新同一价值函数。
Sutton、Precup、Singh：Options
把它当作时间抽象问题，而不是一个旧式层级 RL 算法。
Horde / General Value Functions
理解 Sutton 如何把“知识”从奖励价值扩成大量操作性预测。
The Bitter Lesson
读完后反问：哪些人类设计属于它反对的领域知识，哪些属于可扩展方法本身？
AlphaGo → AlphaGo Zero → AlphaZero / MuZero
不要只看分数；逐步记录每代系统移除了哪一种人类脚手架，又保留了什么。
Reward Is Enough
区分“统一目标可能足够”和“现有算法/任意奖励已经足够”。
Loss of plasticity in deep continual learning
这是经验时代的工程前提，而非旁支。
Welcome to the Era of Experience
按四个维度读：streams、grounded actions/observations、grounded rewards、experience-grounded reasoning。再逐项问现实条件是否满足。

最后的判断

Sutton 与 Silver 最值得关注之处，不是他们是否“押中 RL 会赢”。更深的价值是，他们给出了一个静态大模型理论难以回答的问题：

当系统已经吸收人类现有知识后，什么机制能让它产生真正超出人类知识边界、而且可被现实纠正的新知识？

他们的答案是：让模型不再只是语料的读者，而成为一个有时间连续性、能行动、能承担后果、会在内部模拟并能由经验改写自身的主体。

AlphaZero 证明了这个答案在理想小宇宙中极其强大；经验时代的全部悬念，是现实世界能否被改造成足够可学习、又不会被目标和模拟器漏洞扭曲的反馈闭环。