从卷积网络、能量模型到 JEPA 与世界模型

导读

沿着卷积网络、端到端学习、能量模型、自监督学习与 JEPA，理解他为何判断仅靠自回归语言建模不足以产生可规划的世界模型。

LeCun 最值得研究的，不是他在社交媒体上对某个模型的胜负判断，而是一个持续近四十年的问题选择：怎样让机器把结构写进内部表示，而不是让人把每条规则写进程序；怎样让感知、预测、记忆与行动成为一套可训练系统；以及当世界包含大量不可预测细节时，学习目标究竟应该要求模型生成什么、忽略什么。卷积网络、端到端识别、能量模型、自监督学习、JEPA 与自主机器智能架构，并不是互不相干的项目。它们是同一条路线在不同时代对“哪些变量应该被学习、哪些不变量应该被保留、怎样在不确定世界中规划”的回答。

更新：2026-08-24（研究进展覆盖至 2025 年公开的 V-JEPA 2）

一、先给结论：他的主线不是“反对 LLM”，而是反对把一种成功的接口当成完整智能架构

把 LeCun 的长期工作压缩成一句话，可以写成：

智能系统应从高带宽感知中自监督地学到抽象、可预测、与行动相关的世界状态，再借助记忆、代价与分层规划选择行动。

这句话有五个彼此依赖的部分：

结构偏置。 学习系统不应把每种输入关系都当成同样可能；局部性、共享、层级与组合性可以极大减少样本需求。
端到端可训练。 特征、识别、上下文与决策应尽量由同一个目标协调，而不是由人手工拼接大量不可学习模块。
兼容性而非完整生成。 模型需要判断哪些状态与结果彼此相容，不一定要为每个观察建立归一化概率或重建所有像素。
潜空间预测。 世界包含纹理、噪声和多种可能未来；好的预测目标应保留可预测的结构，允许丢掉不影响行动的细节。
行动闭环。 表征不是终点。智能还需要短期记忆、世界模型、目标或代价、actor，以及跨时间尺度的规划。

LLM 的成功迫使这套路线更新，但没有使它失去问题意识。语言模型证明了：大规模自监督学习、通用架构与人类文化语料可以产生远超预期的知识、代码能力与上下文适应。LeCun 判断较准的部分，是流畅 token 生成仍不自动给出持久世界状态、物理预测、在线行动学习与可靠长程规划；判断较差的部分，是他经常把“缺少某种机制”说成“系统因此不可能出现某种能力”，低估了规模、工具、搜索与后训练能从现有架构中榨出的行为。

所以读他时要分开三层：

已被历史强验证的研究原则：学习表征、结构共享、端到端优化、利用无标签数据；
有强实验进展但尚未完成的技术押注：潜空间预测、JEPA、action-conditioned world model；
高方差的架构与产业判断：当前自回归模型是否很快触顶、哪条路线能到达人类级智能、模块化 AMI 是否是必经之路。

二、第一阶段：反向传播不是目的，目的是让机器自己形成特征层级

1. 1980 年代的背景：识别系统通常被拆成人工流水线

早期文档识别往往包含：

人工分割字符；
手工边缘与形状特征；
独立分类器；
规则式后处理；
语言模型或词典纠错。

每个模块都可能局部合理，但模块边界由人决定，最终错误很难反向告诉前端“应该看什么”。LeCun 早期工作的关键，不只是使用 backprop，而是把它视为一种跨模块信用分配机制：最终任务损失可以塑造更早的表示。

对参数为 $\theta$ 的多层系统，最普通的训练目标是：

\theta^\star = \arg\min_\theta \sum_i \mathcal{L}\big(f_\theta(x_i), y_i\big).

公式本身并不新奇。真正改变工程范式的是： $f_\theta$ 不再只是最后一层分类器，而包含过去由工程师分别设计的特征提取与识别过程。

2. 卷积网络的三项结构偏置

LeCun 团队在手写数字与文档识别中推动的卷积网络，把三个假设写进架构：

局部连接。 邻近像素的关系比任意远距离像素更直接，低层单元无需连接整张图。

权重共享。 同一种局部模式可能出现在不同位置；检测器不必在每个坐标重新学习。

层级组合。 边缘、笔画、部件、字符与字符串可以逐层形成。

一层卷积可写为：

h_{k,u,v}=\sigma\!\left(b_k+\sum_{c,i,j}W_{k,c,i,j}\,x_{c,u+i,v+j}\right).

这里最重要的不是符号，而是同一组 $W$ 在位置 $(u,v)$ 上重复使用。模型容量因此被限制到一个更符合图像结构的函数族。

1989 年的手写邮编识别工作与 1998 年的 LeNet/文档识别综述展示了这一路线如何从实验网络走向包含分割、识别与上下文处理的完整系统。后者特别值得重读：它已经不是“给一张裁好的数字图分类”，而是在讨论怎样把一个实际识别管线变成可联合训练的图变换系统。

3. 这段历史体现了他的第一个稳定判断

LeCun 很早就押注：

与其把所有不变量都交给数据和通用全连接网络，不如把可靠的世界结构写成可微、可复用的架构约束。

这与后来“规模可以吞掉人工偏置”的路线存在长期张力。卷积在视觉中的胜利说明结构偏置能显著改善样本与计算效率；Vision Transformer 的成功又说明，一些偏置可以在数据和规模足够大时被更通用的机制替代。

最稳妥的结论不是“卷积永远优于 attention”，而是：

架构偏置的价值取决于数据、算力和目标；被规模替代的往往是具体偏置，不是选择函数族这件事本身。

三、第二阶段：从分类器到端到端系统——他关心的是模块之间能否共同学习

1. Graph Transformer Networks 的含义

1990 年代文档识别中的 Graph Transformer Networks，不是今天的 Transformer。它指把若干处理模块组织成一个有向计算图，让结构化输入、候选解释、语言约束与损失能够联合优化。

这揭示 LeCun 一个常被忽略的工程偏好：他并非只相信一个巨大同质网络。更准确地说，他偏好：

模块可以承担不同功能；
接口必须允许学习信号穿过；
结构先验可以存在；
最终目标应协调全局行为。

这与 2022 年 AMI 架构中把感知、世界模型、记忆、cost 与 actor 分开，其实是同一种系统观。

2. DAVE：行动相关表征早于“具身智能”热潮

2005 年 DAVE 越野避障工作让车辆通过观看人类驾驶，把视觉直接映射到可行驶方向。它的重要性不在今天看来有限的性能，而在两个原则：

感知特征应被控制任务塑造；
真实世界数据闭环比离线分类精度更能暴露表示缺陷。

后来的端到端自动驾驶、机器人模仿学习和 vision-language-action 模型都沿用了这个问题结构，只是数据量、模型容量和预训练方式已完全不同。

3. 这一阶段留下的未解决问题

端到端训练解决“谁为最终错误负责”，却没有自动解决：

分布变化；
长期信用分配；
多种可能未来；
缺少动作覆盖的数据；
安全探索；
目标函数错误。

这也是 LeCun 后来没有停在“大一点的端到端网络”，而转向能量、世界模型与规划的原因。

四、能量模型：JEPA 不是突然出现的，它来自二十多年“兼容性学习”传统

1. 为什么不一定要先定义完整概率

给定输入 $x$ 和候选答案 $y$ ，能量模型学习一个标量：

E_\theta(x,y).

能量低表示组合更相容，能量高表示更不相容。推断是：

\hat y=\arg\min_y E_\theta(x,y).

如果需要，可以把能量转成 Gibbs 分布：

p_\theta(y\mid x)=\frac{e^{-\beta E_\theta(x,y)}}{\int e^{-\beta E_\theta(x,y')}\,dy'}.

但 LeCun 长期强调：很多决策问题只需要比较兼容性，不一定值得计算难处理的归一化常数。详见他与合作者的《A Tutorial on Energy-Based Learning》。

2. 学习的核心是“把正确答案压低，同时把错误区域抬高”

只降低训练样本的能量会得到平凡解：所有输入输出都低能。因而训练必须约束能量地形，例如：

对比损失；
margin；
negative sampling；
正则化模型容量；
让预测器承担信息瓶颈；
固定或缓慢更新目标分支。

Siamese 网络与对比度量学习同样位于这条谱系：把相似样本拉近、不同样本推远，学习的是表示空间中的兼容结构，而不是像素生成器。

3. 能量模型的深层价值与现实局限

价值在于它提供统一语言：分类、结构预测、度量学习、隐变量模型与控制都可被写成“寻找低能配置”。

局限也很明确：

高维空间中怎样覆盖“错误答案”很难；
负样本选择会主导训练；
推断可能需要昂贵优化；
能量值不天然校准为概率；
复杂隐变量容易形成平凡或不可辨识解。

生成模型在工程上常更直接，因为最大似然或 token 交叉熵给出清晰、可扩展的训练目标。LeCun 对 EBM 的长期坚持体现了他的风格：宁愿保留一个更一般但训练困难的框架，也不愿把“易优化”误当成“问题已经正确表述”。

五、第三阶段：为什么他把“无监督/自监督学习”看成智能的主发动机

1. 信息带宽论证

LeCun 经常用儿童学习作数量级直觉：人和动物在没有密集标签与奖励时，从视觉、触觉和动作后果中获得大量结构。语言与奖励都是稀疏通道，感知流才是高带宽通道。

这不是严格证明，但指向一种训练职责划分：

信号	更适合学习什么
大规模观察	对象、运动、空间、常态与可预测结构
少量标签/语言	概念命名、任务接口、人类知识与规范
奖励或 cost	偏好、目标与动作选择
真实行动反馈	可控性、因果后果与模型校正

他的关键判断是：用标量 reward 从头塑造世界表示，带宽太低；用逐像素生成保存全部感官细节，又可能把容量浪费在不可预测因素上。

2. “预测一切”为什么会失败

设未来画面 $x_{t+1}$ 同时由可预测状态 $s_t$ 、动作 $a_t$ 和不可预测噪声 $\epsilon_t$ 决定：

x_{t+1}=g(s_t,a_t,\epsilon_t).

如果训练要求输出单一像素答案，模型可能：

对多种未来取平均，得到模糊结果；
使用大量容量拟合纹理与随机细节；
引入复杂潜变量和生成器来描述所有可能性；
学到对渲染有用、对规划无用的状态。

LeCun 的路线不是说生成模型没有价值，而是问：规划所需的世界模型是否必须承担渲染器职责？

3. 自监督学习的历史判断如何评价

他在深度学习复兴早期反复认为，无监督/自监督学习将成为关键。这个方向后来被语言建模、对比学习、masked modeling 和多模态预训练强力验证。

但验证方式与他最初偏好的技术未完全一致：

最成功的大规模自监督目标之一恰恰是自回归 token prediction；
对比学习和 masked autoencoding 先于 JEPA 成为视觉主流；
语言监督为视觉表示提供了极强语义对齐；
纯视频观察到物理因果的迁移仍不充分。

因此，“自监督是主发动机”是强命中；“应由哪一种自监督目标驱动”仍是开放竞争。

六、从世界模型到 JEPA：预测表示，而不是重画世界

1. JEPA 的基本结构

Joint Embedding Predictive Architecture 接收两个相关输入：

context $x$ ：已经看到的部分；
target $y$ ：要预测的另一部分或未来。

编码器产生：

s_x=f_\theta(x), \qquad s_y=f_{\bar\theta}(y).

预测器根据 context 表示和条件 $c$ 预测 target 表示：

\hat s_y=g_\phi(s_x,c,z).

$z$ 可以表示未观测因素或多种可能未来。一个简化目标是：

\mathcal{L}=d\!\left(g_\phi(f_\theta(x),c,z),\operatorname{sg}(f_{\bar\theta}(y))\right),

其中 $\operatorname{sg}$ 表示停止梯度，目标编码器通常缓慢更新。

这与像素重建的差别在于，损失比较的是 $s_y$ 而不是 $y$ 。如果 target encoder 学会忽略树叶的精确抖动，却保留“行人正横穿道路”，预测器无需生成无关细节。

2. 为什么叫 joint embedding

目标不是把两个输入独立压缩后简单相似化，而是学习它们之间可预测的依赖结构。context 与 target 在同一表示空间中相遇，predictor 负责从已知部分跨到未知部分。

3. 最大风险：表示坍塌

若两个编码器都输出常数，预测误差可为零：

f_\theta(x)=f_{\bar\theta}(y)=c.

所以非生成式自监督并不免费。系统必须通过：

停止梯度与 EMA target encoder；
合理 masking；
表示方差/协方差约束；
predictor 瓶颈；
数据与架构设计；

避免平凡解。

这一点很重要：JEPA 没有消灭生成建模的困难，而是把困难从“怎样生成每个细节”迁移成“怎样迫使表示保留足够信息又不坍塌”。

七、I-JEPA：第一个关键实验不是通用智能，而是验证潜空间目标能学到语义

I-JEPA 的 CVPR 2023 论文从一张图中抽取大块 target，并让分散但信息充足的 context 预测 target 表示。

它的两个 masking 选择很有理论意味：

target 要足够大，迫使预测触及对象或语义，而非邻近纹理插值；
context 要空间分散且信息充分，避免任务变成局部复制。

实验表明 I-JEPA 可以在不依赖手工数据增强的情况下学习强视觉表示，并以较好的计算效率扩展到大 ViT。

但应准确描述它证明了什么：

已经证明：

feature prediction 可以成为可扩展的图像自监督目标；
不重建像素也能获得强下游表示；
masking 几何会决定表示抽象层级。

尚未证明：

表示包含可用于干预的因果变量；
模型能跨长时间尺度保持对象状态；
latent prediction 自然产生规划；
它比生成式多模态模型更接近通用智能。

把 representation benchmark 的成功直接外推到“世界模型已经完成”，正是读 LeCun 时需要防止的跨层跳跃。

八、V-JEPA：从静态缺块转向时间，但第一代主要仍是表征模型

V-JEPA 论文与 Meta 研究页让模型只通过视频特征预测训练，不使用文本、负样本、像素重建或预训练图像编码器。

它在冻结 backbone 后的动作和外观任务上取得强结果，说明潜空间预测能同时保留：

对象与场景信息；
运动线索；
时间上下文；
可迁移视觉特征。

Meta 在发布时也明确区分：第一代 V-JEPA 更接近感知与短时理解，离长时规划还有距离。官方介绍提到其有效时间尺度主要仍是短视频，并把 sequential decision-making 作为下一步。

这一区分很关键。一个模型在 Something-Something 上理解“把某物放进某物”，不等于它能：

预测动作造成的状态变化；
区分观察相关与干预相关；
在不确定性下比较动作序列；
发现预测错了并在线更新；
把十秒动作组合成数小时任务。

九、V-JEPA 2：研究路线第一次更清楚地跨到 action-conditioned planning

2025 年 V-JEPA 2把路线推进到三个连续层次：理解、预测、规划。

1. 两阶段训练

第一阶段使用大规模图像与互联网视频做 action-free 自监督预训练，学习视觉状态与动态先验。

第二阶段使用少量机器人轨迹，训练 action-conditioned predictor。Meta 公布的论文使用超过一百万小时的视频/图像预训练，并用少于 62 小时的 DROID 机器人视频进行后训练。论文摘要与作者信息给出了这一路径。

2. 潜空间模型预测控制

给定当前观察 $o_t$ 和目标图像 $o_g$ ：

s_t=f(o_t), \qquad s_g=f(o_g).

action-conditioned world model 预测候选动作后的状态：

\hat s_{t+1}=F_\theta(s_t,a_t).

规划器选择使预测状态接近目标的动作序列：

a_{t:t+H}^\star=\arg\min_{a_{t:t+H}}\sum_{k=1}^{H}D\big(\hat s_{t+k},s_{g,k}\big)+\lambda C(a_{t+k}).

系统执行第一步，再观察、重规划。这是典型 model-predictive control：模型不需要一次给出完整长期计划，而在反馈中滚动修正。

3. 它真正验证了 LeCun 路线的哪一段

V-JEPA 2 的重要性不在“机器人终于会抓取”。已有许多路线能抓取。更关键的是它建立了一条较干净的证据链：

大规模被动视频预训练 → 少量动作数据把表示接到控制 → 潜空间预测用于候选动作比较 → 在新环境中零样本执行目标图像任务。

这比单纯线性探针更接近 LeCun 的核心论证：观察学到的世界结构可以减少昂贵交互数据，并服务于规划。

4. 仍不能外推的部分

公开结果主要是短时、低维机械臂任务，目标由图像或子目标给定。尚未解决：

自动分解开放语言目标；
长时记忆；
隐藏状态与对象永久性；
接触丰富操作；
不可逆错误与安全约束；
在线持续学习；
跨机器人形态迁移；
在新物理机制下校准不确定性。

所以 V-JEPA 2 是“从表征跨到规划”的可信桥梁，不是 AMI 架构的终局证明。

十、2022 年 AMI 架构：把他分散多年的判断写成一张认知系统图

LeCun 的《A Path Towards Autonomous Machine Intelligence》不是已验证系统论文，而是一篇 position paper。它的价值在于把研究议程拆成模块与信息流。

1. Perception：把观察压成多层状态

感知模块不能只输出对象标签，而应产生多个抽象层级的状态。低层保留精确几何和快速变化，高层保留任务、对象关系和慢变量。

2. World model：在状态与动作条件下预测未来状态

世界模型回答：

如果当前处于状态 $s$ ，执行动作序列 $a$ ，未来哪些抽象状态可能发生？

它不必渲染未来每个像素，但必须保留会改变行动选择的信息。

3. Short-term memory：保存当前不可见但仍相关的状态

单帧观察不足以表示世界。记忆应保存：

刚刚离开视野的对象；
当前计划与子目标；
未完成承诺；
世界模型隐状态；
近期动作及其后果。

这比把全部历史塞进越来越长的上下文更有结构：系统需要选择什么进入状态、何时更新、何时遗忘。

4. Cost module：把“世界怎样”与“希望世界怎样”分开

LeCun 使用 cost 而不是单一 reward 语言，强调行动由多种约束共同评价：

hard-wired intrinsic cost：安全、基本驱动；
learned critic：预测长期后果；
task-specific objective：当前目标；
constraints：不可接受状态。

规划可以写成：

a^\star=\arg\min_a C\big(\operatorname{WM}(s,a),g\big).

5. Actor：快速策略与规划器的接口

actor 可以直接给出动作候选，也可以生成供 world model 评估的动作序列。熟悉任务由快速 policy 完成，新任务则投入更多搜索。

6. Configurator：任务上下文调节整套系统

同一世界状态在不同任务下需要保留不同细节。configurator 根据目标改变 perception、world model、memory 与 cost 的工作方式。

这是一项大胆但高风险的模块：它承担类似 attention、task conditioning、executive control 和路由的职责，却还缺少公认训练方案。

7. Hierarchy：不同抽象层在不同时间尺度规划

倒水可能被分解为：

高层：给客人一杯水；
中层：取杯、走到水源、注水、递送；
低层：手臂轨迹、抓握力与姿态控制。

高层无需预测每毫秒肌肉动作，低层也无需重新理解社交目标。分层模型减少规划深度，但难点转移到：

谁发现子目标；
层间接口怎样学习；
什么时候重新规划；
高层抽象是否遗漏关键约束。

十一、他为什么认为纯自回归生成不足：四个技术论证，而不是一句“LLM 不懂世界”

1. 错误累积与暴露偏差

自回归模型分解：

p(x_{1:T})=\prod_{t=1}^{T}p(x_t\mid x_{<t}).

训练时条件来自真实前缀，生成时条件逐渐包含模型自己的输出。一个早期偏差会改变后续分布。

但这不是 LLM 独有致命问题。搜索、重采样、外部工具、verifier、状态刷新和 diffusion/iterative refinement 都能缓解。因此它是架构压力，不是“不可能推理”的证明。

2. token 目标要求预测表达，而非直接维护世界状态

同一事实可以用很多句子表达，同一句话也可能在不同世界状态下成立。语言模型首先学习的是文本条件分布，世界状态只是有助于压缩文本的潜在结构之一。

LeCun 的担心是：没有显式训练压力保证内部变量在行动与干预下保持一致。

反方证据是，大规模语言与多模态模型确实会形成丰富线性可读表示，并能在上下文中模拟状态机。真正开放的问题不是“有没有内部状态”，而是：

状态是否足够持久、可校正、可干预，并能在超出训练文本套路时支持闭环行动？

3. 逐 token 生成把计算花在每个表面细节上

如果任务只关心杯子会不会掉落，模型不应先生成完整未来视频再判断。潜空间模型可以直接预测与目标相关的状态。

但生成也有反击：表面细节可能在未来任务中变得重要；生成目标提供密集、明确的学习信号；统一 token 接口方便扩展。最可能的系统未必二选一，而是潜状态负责规划、生成器负责语言/视觉接口与模拟可视化。

4. 被动语料缺少行动可识别性

仅观察相关性，往往不能区分：

$A$ 导致 $B$ ；
$B$ 导致 $A$ ；
隐变量 $C$ 同时导致二者。

动作数据提供干预信息。V-JEPA 2 也采用“海量无动作视频 + 少量机器人轨迹”的两阶段方案，等于承认被动观察不足以独立识别可控动力学。

十二、他的 LLM 判断：哪些值得保留，哪些需要打折

1. 值得保留：能力展示不等于学习机制完整

模型能描述物理规律，可能来自：

语料中见过类似描述；
参数中压缩了统计规律；
上下文检索与模式组合；
真正可迁移的内部模拟；
多者混合。

只看答案很难区分。LeCun 要求用干预、长时一致性、分布外动力学与行动后果验证，这是正确的评测方向。

2. 值得保留：可靠自主系统需要的不止模型本体

长期 agent 还需要：

可更新状态；
权限与约束；
失败检测；
事务与回滚；
不确定性；
现实反馈；
持续学习。

扩大上下文或参数不会自动提供这些系统属性。

3. 需要打折：从“机制不显式”跳到“能力不存在”

神经网络常以分布式方式近似过去被认为需要显式模块的能力。LLM 在代码、工具使用、in-context learning 与测试时搜索上的进展，多次超过悲观看法。

一个系统没有人类可辨认的 world-model 模块，不等于内部没有可用于预测的状态；没有符号规划器，也不等于不能近似短程规划。

4. 需要打折：把研究终局判断和近期产品判断混在一起

“当前架构不足以构成完整自主智能”可以与“当前架构未来五年非常有经济价值”同时成立。LeCun 的公共表达有时让两者看起来冲突。

5. 需要打折：把语言的信息含量与感知带宽直接比较

视频原始比特率更高，但大量比特是冗余、视角和噪声。人类语言是经过文化选择的高价值压缩，包含无法由单个主体亲历的科学、制度与他人经验。

正确比较不应只是 byte 数，而应问：

对目标变量的互信息有多少；
需要多少计算提取；
哪些因果结构可由观察辨识；
哪些知识只有语言传承能经济获得。

十三、LeCun 的稳定思考方法：看他的项目怎样一再重复同几种判断

1. 先寻找可复用不变量，再扩大模型

卷积把平移结构写入权重共享；Siamese 学习跨变换不变量；JEPA 让 target 表示丢掉不可预测细节。共同问题都是：

哪些变化不应改变内部语义，哪些变化必须保留？

2. 把困难放在表示空间，而非表面输出空间

像素、字符、动作和文本都只是观察接口。他倾向让模型先找到低维、平滑、可比较的内部空间，再在其中做推断。

这解释了他对：

distributed representation；
metric learning；
energy landscape；
latent variable；
joint embedding；

的持续兴趣。

3. 区分“理解世界”和“选择目标”

他认为大部分世界知识应由观察学习，reward/cost 主要负责选择。这与端到端 RL 把表示完全交给回报信号不同。

优势是能跨任务复用世界状态；风险是所谓“通用表示”可能保存过多无关信息，或漏掉未来任务所需变量。

4. 用多时间尺度压缩长程问题

如果每个高层动作都由若干低层动作组成，规划深度可以大幅缩短。LeCun 经常把层级视为长程推理的必要结构。

但历史也提醒：手工层级接口很脆弱。真正难点是让系统自动发现抽象动作、子目标与终止条件。

5. 接受模块，但要求接口可学习

他既不是纯粹“一个模型包办一切”，也不是传统符号模块主义。更准确的标签是：可微、可训练的功能模块主义。

6. 用物理世界而非 benchmark 作为最终审判

LeCun 对封闭 benchmark 一直不满足，因为真实行动会暴露：

状态遗漏；
不可逆后果；
长尾；
模型失配；
反馈延迟；
目标冲突。

这使他的路线在 LLM 时代仍有价值：它逼迫研究从“能答什么”走向“能在什么状态下可靠地做什么”。

十四、与 Sutton / Silver：不是“要不要世界模型”，而是学习信号的优先级

问题	LeCun	Sutton / Silver
主经验源	高带宽观察 + 少量行动	主体行动产生的持续经验
表征学习	自监督世界建模优先	价值、预测与控制目标可共同塑造
奖励	太稀疏，不能承载大部分世界知识	标量回报可组织长期行为，但可配丰富预测
规划	分层潜空间世界模型	搜索、value、policy 与 learned model
最大担忧	无抽象状态，搜索不可扩展	人工架构偏置最终被一般方法与规模替代

MuZero 已表明，世界模型不必重建观察，只需预测对 reward、policy 和 value 有用的量。这与 LeCun“不要生成所有细节”高度相似。

真正分歧是：

LeCun 更担心任务 reward 让表示过窄；
Sutton/Silver 更担心人预先定义的“通用状态”并不真正通用。

若 agent 频繁换目标，LeCun 式观察预训练更有优势；若目标稳定且可反复交互，MuZero 式 task-relevant model 可能更经济。

十五、与 Hinton、Bengio：同一连接主义根系，分歧在下一道瓶颈

与 Hinton

共同点：

内部表示应由学习形成；
反向传播虽有效，但未必是终局；
energy 与 latent variable 是统一语言；
智能需要层级结构。

差异：

Hinton 后期更关注局部学习、生物可行性、part—whole 与新硬件；
LeCun 更关注行动架构、世界模型与规划；
Hinton 愿意通过生成/重构解释观察；
LeCun 更强调预测抽象表示并主动丢掉细节。

与 Bengio

共同点：

深层分布式表示；
抽象变量与机制；
对单纯相关性外推不满足；
当前 LLM 不是完整答案。

差异：

LeCun 把自主行动视为智能目标；
Bengio 当前更强调非代理、可校准的 Scientist AI；
LeCun 的 cost module 直接服务行动；
Bengio 更担心强 actor 的目标追求和欺骗风险。

两条路线可能组合：用非代理 predictor 提供科学与因果模型，再由受限、可审计的规划器在短时域行动。

十六、与 Fei-Fei Li、Hassabis、Levine / Finn：都要世界，但接口选择不同

1. Fei-Fei Li：显式空间资产 vs 潜在可预测状态

李飞飞路线更强调：

3D geometry；
可编辑世界；
renderer / simulator；
人、机器人与创作者共享的空间接口。

LeCun 更关心：

哪个自监督目标学到抽象；
表示如何忽略不可预测像素；
潜状态怎样直接服务规划。

显式 3D 易被人和工具操作，但可能难覆盖语义与隐变量；latent state 更灵活，却可能不可解释、缺精确几何。实际系统很可能同时需要二者。

2. Hassabis：认知发动机 vs 发现机器整机

Hassabis 更愿意把：

生成模型；
搜索；
policy/value；
外部数据库；
符号工具；
专门验证器；

组合成能完成科学任务的整机。

LeCun 更想找到通用世界模型与分层规划的干净内核。前者可能更快产生成果，后者若成功则可能提供更统一、样本高效的 agent 底座。

3. Levine / Finn：先把强模型接进真实数据闭环

机器人学习路线更务实地混合：

互联网预训练；
人类示范；
offline RL；
diffusion/flow action model；
online correction。

他们不等待一种统一 world-model objective 胜出。LeCun 的优势是原则清晰；Levine/Finn 的优势是失败反馈更快。V-JEPA 2 的两阶段训练实际上正在向这种混合路线靠近。

维护 belief；
搜索候选；
在线重求解；
用 verifier 或 value 分配算力；
对抗策略性环境。

Brown 补的是 world model 之上的 deliberation 层。

3. Clune：谁来发现下一种 JEPA？

LeCun 给出强架构假说；Clune 会问能否让开放过程自动发明：

新任务；
新表示目标；
新 world model；
新层级；
新学习算法。

没有结构先验，搜索空间可能不可计算；结构先验太强，又可能锁死创新。二者构成内核设计与外环发现的互补。

十八、判断履历：哪些已经命中，哪些只命中了一半

判断	当前证据	评价
局部连接、共享与层级适合视觉	CNN 改写视觉与众多产品	强命中，但具体卷积偏置并非永恒唯一方案
最终任务可端到端塑造特征	深度学习成为主流范式	强命中
无标签数据将承担主要表征学习	LLM、对比学习、masked modeling、JEPA	强命中
能量/兼容性是一般建模语言	度量学习、EBM、现代判别/生成混合	理论影响深，工程主导地位有限
逐像素生成不是规划世界模型的最佳目标	I/V-JEPA 与潜空间控制提供支持	有力但未决
世界模型应预测抽象潜状态	MuZero、Dreamer、JEPA 等多线趋同	方向命中，最佳训练目标未定
纯语言训练不足以产生可靠物理 agent	机器人与长期 agent 仍需动作/反馈	目前得到支持
当前自回归架构很快会触顶	能力仍通过规模、工具、RL 与 test-time compute 提升	过度确定，时间判断多次需要修正
分层模块化 AMI 是必经架构	尚无完整系统验证	强假说
JEPA 会成为下一代主导底座	图像、视频、机器人结果持续进展	尚未证明

这里最值得学习的是：LeCun 的命中往往发生在问题表述和长期结构上；失误更常发生在时间尺度、排他性与对竞争路线工程进展的低估上。

障碍；
接触约束；
不可逆风险；
对象身份；
安全边界。

同等数据与计算下，JEPA 是否在分布外动力学任务稳定优于生成式/对比式目标？
frozen representation 是否保留对象身份、空间、接触与可控性，而非只提高动作分类？
换任务后，被压掉的信息是否导致系统必须重新预训练？

预测

多步潜状态误差是否与真实任务失败校准？
模型能否表达多种可能未来，而非回归到平均 embedding？
在物理机制改变时，模型多久发现失配并更新？

规划

相同成功率下，潜空间 planning 比 policy-only 或生成式 planning 节省多少交互与计算？
随 horizon 增长，成功率与模型误差怎样退化？
视觉子目标能否自动发现，而非由人提供？

迁移与持续学习

一个 world model 能否跨不同机器人形态和传感器复用？
在线学习新对象与新动力学时，旧任务遗忘多少？
表示能否在目标变化后继续服务，而无需大量标注？

与 LLM 混合

语言模型负责分解目标、JEPA 负责物理预测时，端到端收益来自哪一层？
纯多模态生成模型在相同真实交互预算下是否追平？
显式 world-state 接口是否显著提高可审计性、恢复和安全？

如果 JEPA 在这些指标上长期不能超过强生成/混合基线，就应降低“潜空间预测是核心突破”的信念；如果它以显著更少动作数据跨长时任务成功，则 LeCun 的信息带宽与职责分工论证会得到强支持。

二十一、怎样读他的公开发言：一套防止被“暴论”带跑的方法

1. 先问他说的是哪一个时间尺度

现在的产品能力；
五年工程路线；
人类级自主智能的必要条件；
最终学习理论。

四者可以有完全不同答案。

2. 把“缺模块”改写成实验命题

“LLM 没有世界模型”太宽。可以改成：

在不可见对象持续性上是否失败？
在新动力学下是否保持校准？
能否用少量动作数据预测干预？
内部状态是否跨 paraphrase 一致？
多步计划错误是否随 horizon 指数增长？

3. 区分研究议程与胜负宣言

研究议程只需证明一个重要缺口存在，就值得投入；胜负宣言则要证明自己的机制优于所有混合替代。LeCun 在前者往往很强，在后者常过度外推。

4. 看项目是否越来越接近行动闭环

比一条帖子更有信息的是：

I-JEPA 从静态图像验证表示目标；
V-JEPA 加入时间；
V-JEPA 2 加入动作条件与规划；
下一步是否进入长时记忆、自动子目标与在线更新。

研究路线的可信度来自这种逐层补齐，而不是语气确定。

二十二、建议阅读顺序：从已验证工作走向高方差架构

LeCun 个人论文目录与精选说明：先看他如何描述自己的工作，而不是二手“CNN 之父”标签。
Gradient-Based Learning Applied to Document Recognition：理解卷积、端到端与完整识别系统怎样连在一起。
A Tutorial on Energy-Based Learning：理解 compatibility、energy landscape 与后来的 JEPA 关系。
A Path Towards Autonomous Machine Intelligence：把它当研究议程，不当已验证论文。
I-JEPA（CVPR 2023）：看 masking 怎样充当语义偏置。
V-JEPA（2024）：检查 feature prediction 在视频上的证据边界。
V-JEPA 2（2025）：重点看 action-conditioned 后训练、规划设置与失败范围。
2024 年长访谈：用于理解他怎样连接 LLM、开源、world model 与产业判断；不要把口头类比当实验结果。

阅读时最好做四列笔记：

原文主张	已有实验	尚缺证据	可替代解释
潜空间预测更高效	I/V-JEPA 表征与视频结果	长时开放规划	masking、数据或 backbone 贡献
被动观察可提供物理先验	视频预训练后少量机器人数据	新机制与接触丰富任务	互联网数据已含动作语义偏差
模块化层级规划必要	认知架构论证	完整端到端系统	大模型 + 工具 + 搜索可能涌现近似模块

二十三、最终压缩：LeCun 真正提供的是一套“不要把表面预测误认成世界建模”的检查表

他的工作脉络可以压成四次扩大：

从手工特征到学习特征。 卷积与 backprop 让任务损失塑造内部层级。
从分类到兼容性。 能量模型让推断成为在结构空间中寻找低能配置。
从重建观察到预测抽象。 JEPA 把学习目标移到潜空间，允许忽略不可预测细节。
从表示到行动。 AMI 与 V-JEPA 2 把世界模型接到记忆、cost 与规划。

他最深的判断不是“Transformer 会失败”或“某个产品不是真智能”，而是：

系统输出得像人，不足以说明它拥有能在干预、时间与目标变化下保持一致的内部状态；智能的关键不只是压缩过去，还要预测行动后果、发现预测失配，并把新的现实经验写回模型。

这套判断即使最终不由 JEPA 实现，也仍然成立。

而对 LeCun 本人最公平、也最严格的评价是：

他极擅长在当前成功之下指出下一层尚未解决的结构问题；
他会把几十年的表示学习经验连接成少数清晰原则；
他提出的最佳问题常比他给出的唯一答案更耐久；
他对时间、排他性和竞争路线的公开判断需要持续打折；
真正值得跟踪的不是下一条“暴论”，而是 JEPA 是否继续从表征、动作条件预测走向长时、可校准、可持续学习的现实闭环。