从 Keras、几何泛化到 ARC

Chollet 最重要的工作不是 ARC 这套彩色方格题本身，而是他持续十余年追问的测量学问题：当一个系统已经在训练阶段看过几乎整个人类互联网，我们怎样知道它答对一道题，是因为现场构造了新抽象，还是因为开发者早已用数据、架构和算力把答案空间买进了模型？

一、先把他的核心命题说准确

外界经常把 Chollet 的立场压缩成几句容易攻击的话：“LLM 只会插值”“深度学习不会推理”“ARC 才是真正的 AGI 测试”。这三句都不能准确概括他今天的立场。

更稳妥的表述是：

技能与智能是不同变量。 技能是此刻能完成什么；智能是面对未被准备过的新问题时，用多少先验、样本、计算和风险获得新技能。
不能只从系统自身的训练集定义“没见过”。 如果开发者已经研究测试分布、手写算法、生成海量同类题，再把最终程序交给机器，那么真正发生广义泛化的主体可能是“开发团队 + 机器”，而不是部署中的模型。
深度学习最自然的能力是连续空间中的几何泛化。 它极强，但系统性变量绑定、离散组合、程序重写和远距离迁移未必会仅靠把同一目标放大而自动解决。
一般智能的核心不是一份越来越全的技能目录，而是现场生成新程序的效率。
任何公开静态基准最终都会被训练分布吞没。 因此好的智能测量必须随着模型能力变化，从静态题目走向秘密任务、测试时适应和交互式环境。

这些命题之间有一条清晰逻辑：如果智能是技能获取过程，那么研究的目标函数、基准的结构、允许使用的先验和测试时资源，都必须被纳入测量。ARC 只是这套测量哲学的第一个具体装置。

二、Keras 不是无关的工程履历：它暴露了 Chollet 对“抽象”的基本理解

1. 在他的世界里，好的抽象不是隐藏复杂度，而是扩大行动空间

Chollet 2015 年创建 Keras，通常被写成“做了一个易用的深度学习框架”。但如果结合他后来的研究，它更像一项关于抽象的早期实践。

一个坏的高层 API 只是把底层细节包起来，用户一旦偏离预设路径就无能为力；一个好的抽象则应：

把重复细节压缩成少数稳定概念；
允许这些概念重新组合；
在简单任务上减少认知负担；
在复杂任务上仍能逐层下潜；
让更多人能迅速形成、检验和修改自己的模型。

这与他后来定义智能的方式有相似结构：抽象的价值不是记住更多例子，而是用更少描述和经验覆盖更多新情况。

这当然是一种归纳，不应说 Keras 是为 ARC 理论预先设计的。但从他的个人主页可以看出，“自主抽象”与“让人获得更大技术能动性”一直是并列兴趣。Keras 的以人为中心 API、他对软件工程和教育的写作，以及 ARC 对技能获取效率的关注，共享同一种价值偏好：评价一个系统，不只看它完成了多少，还看它让主体多容易跨到下一个任务。

2. Keras 也让他站在“规模成功”的内部，而非外部批评

Chollet 不是没做过大规模深度学习、因此坚持符号主义的旁观者。他在 Google 参与 TensorFlow 生态，提出 Xception，也参与神经机器翻译、自动机器学习和定理证明数据工作。他对深度学习边界的判断来自亲手构造和推广其工程栈。

这一点影响如何读他的批评：他从未否认梯度学习和连续表示的巨大价值；他认为问题在于，研究界容易把一种非常成功的技能获取机制，外推成完整的一般智能理论。

三、Xception、DeepMath 与早期定理证明：他一直在神经几何与离散结构之间移动

1. Xception：把一个操作拆成更清晰的结构假设

2016 年的 Xception把标准卷积理解为同时学习空间相关和通道相关，然后用 depthwise separable convolution 将二者近似解耦。

它的重要性不只在后来成为高效网络常见组件，也反映 Chollet 的方法风格：先问一个成功算子隐含混合了哪些不同结构，再重新分解，以获得更清楚、更可组合的归纳偏置。

这与他后来对智能的分析类似。他不满足于“一个模型总分很高”，而要拆开：

先验贡献了多少；
训练经验贡献了多少；
开发者提前知道了多少；
测试时系统真正重新组织了多少；
每获得一单位新技能花了多少资源。

2. DeepMath 与 HolStep：他并非等到 ARC 才关心程序式推理

Chollet 参与过 DeepMath、HolStep 等神经定理证明/前提选择工作。这类任务的张力很典型：

神经网络善于从大量证明中发现哪些前提看起来相关；
形式系统善于执行严格规则并验证结论；
单靠盲目符号搜索组合爆炸；
单靠连续相似性又不能保证证明正确。

2017 年他预期“几何直觉模块 + 形式算法模块”的混合，并不是凭空想象。定理证明正是这种分工的早期样本：学习系统给搜索提供强先验，离散执行器确保结构和正确性。

后来推理 LLM + 代码执行器、定理验证器、搜索和测试时训练的组合，某种程度上重演了这一判断，只是“形式模块”未必以传统符号 AI 的样子出现。

四、2017 年的转折：深度学习的力量来自连续几何，它的边界也由此产生

1. 什么叫“几何变换”

Chollet 在 2017 年的 The Limitations of Deep Learning 与 The Future of Deep Learning 中，把深网描述为在高维流形上学习连续几何变换。图像分类之所以适合，是因为训练分布提供了密集样本：猫的姿态、纹理和背景变化在连续空间中形成可插值结构。

这类模型擅长：

把复杂感知数据展开成更简单表示；
在已知分布附近平滑泛化；
从大量例子提取统计不变量；
用端到端优化替代手写特征。

他称之为“局部泛化”，不是说模型只能逐像素复制训练样本，而是说新输入必须与训练经验共享足够密集、连续的结构。

2. 为什么算法式认知看起来不同

程序可以把已经学会的离散部件重新组合到远离训练分布的情形。一个排序程序不需要看过每一种列表；一个递归规则可以适用于长度变化；变量允许同一关系绑定到从未见过的对象。

人类在少数例子后也能做类似事情：

把一个新工具纳入旧目标；
理解一个虚构规则世界；
将熟悉关系映射到新对象；
从极少证据形成可执行假说；
修改原计划而不重新训练整个知觉系统。

Chollet 由此认为，仅靠连续几何模块很难自然获得离散、系统、可重写的程序行为。未来系统需要把神经直觉与形式算法融合，而且这些算法模块本身最好也由学习产生，而不是退回专家手写规则。

3. 这项判断哪里强，哪里说过头了

强的部分是，他在 Transformer 和 LLM 爆发前就准确指出：同分布 benchmark 不能检验极端组合泛化，模型需要某种搜索、执行和测试时重组。

说过头的部分是，“只能局部泛化”容易被理解为严格能力边界。大模型后来展示了：

训练者没有逐项写入的算法性行为；
上下文示例可以临时改变任务；
语言和代码让连续模型操纵离散结构；
强化学习与测试时计算能形成自我纠错策略。

这些结果说明，连续神经网络能承载比 2017 年最强表述更丰富的程序行为。更准确的更新不是“Chollet 被彻底推翻”，而是：规模和数据可以让几何模型学到庞大程序先验，但它们在真正陌生问题上的技能获取效率仍可能很低。

五、2019 年《On the Measure of Intelligence》：把哲学争论改写成资源核算

1. 他先区分了 AI 史上的两种智能观

《On the Measure of Intelligence》不是一篇简单介绍 ARC 的论文。前半部先梳理两种长期对立：

技能集合观：智能就是能完成许多需要智能的任务；传统符号 AI 容易走向为每项技能写程序。
一般学习能力观：智能是获得新技能的通用能力；连接主义容易走向随机初始化的“白板”通过数据学会一切。

Chollet 认为两者都不完整。人类既不是预装所有任务程序，也不是无先验白板。婴儿拥有关于对象、数量、空间、代理等结构性先验；文化经验再在这些先验上快速建立大量技能。

因此，比较两个系统时必须同时考虑：

它先天或由开发者注入了什么；
它经历了多少训练数据；
新任务距离既有经验有多远；
它用多少计算、时间、能量和风险学会；
最终获得了多少可迁移技能。

2. 技能不是智能，因为技能可以被购买

论文最有穿透力的一点是：如果允许无限先验或无限训练经验，几乎任何任务技能都能被“买”到。

象棋程序击败人类，并不自动证明它像人一样聪明。人类棋手的象棋水平间接证明智能，是因为我们知道他不是进化时预装棋谱，而是用一种可迁移的学习能力掌握象棋。机器可能由开发者专门编码、搜索海量状态或训练数十亿对局。两者达到相同 Elo，形成技能的过程完全不同。

所以他把智能定义为技能获取效率，不是技能总量。

3. “系统没见过”还不够，必须考虑开发者是否见过

论文区分：

system-centric generalization：模型没见过测试样本；
developer-aware generalization：模型及其开发者都没有为该情况做过准备。

这一区分在大模型时代尤其尖锐。一个公开 benchmark 的测试集即使没直接进入训练：

架构可能根据榜单长期调整；
团队可能生成数百万同类合成题；
提示和工具链可能在公开题上反复开发；
基础模型可能见过题目讲解、格式、标签编码；
测试分布本身可能已成为训练目标。

从部署模型角度是“零样本”，从整个开发系统角度却可能是高度准备过的任务。Chollet 要测的是后者仍无法预见的新颖性。

4. 流体智能与晶体智能

他借用心理测量中的区分：

晶体智能：积累的知识、词汇和已掌握技能；
流体智能：在缺乏既有解法时发现结构、形成新技能的能力。

LLM 把这一区分推到极端。它可能拥有远超任何个人的晶体知识，却在一个儿童只需几次试验的新规则环境里反复失败。反过来，一个小型程序合成器可能不懂历史和医学，却能高效归纳某类陌生转换。

Chollet 的目标不是贬低晶体知识。真实智能需要两者；他的批评是 AI 评测常把巨大的知识库存直接算成一般学习能力。

5. 智能是“转化率”，不是一个绝对分数

论文受算法信息论启发，把任务难度与描述一个解所需信息联系起来。直观地说：

一个系统在已有先验和经验之外，必须再提取多少新信息，才能构造解决任务的程序？

智能更像把有限新经验转成广泛新技能的效率。这里不存在完全无先验的公平比较；关键是把先验明确写入核算，而不是假装模型从零开始。

这也解释为什么 Chollet 持续强调时间、数据、计算、能量和风险。如果一个模型用一百万次环境动作才达到人类十步学会的任务，即使最终成功率相同，它展示的技能获取效率也不同。

六、ARC 为什么被设计成彩色网格，而不是语言、游戏或现实任务

1. ARC 想隔离“现场抽象”，而不是模拟完整人生

ARC 每道题给出少量输入—输出网格示例，再要求对新输入产生输出。每题规则不同，可能涉及对象分割、平移、计数、对称、拓扑、排序、重复或多步组合。

选择小网格有几个目的：

避开自然语言中的海量文化知识；
让人类几乎不需专门训练即可理解接口；
使候选规则可执行、答案可精确验证；
限制感知噪声，把困难集中在抽象和程序归纳；
用少数例子迫使系统推断，而不是统计拟合大量同类样本。

ARC-AGI-1由此不是“视觉 IQ 题”，而是一个人工隔离实验：给定一组尽量接近人类早期认知的先验，比较谁能更高效地从少量示例生成新程序。

2. Core Knowledge：他既反对手写技能，也反对“真正白板”

ARC 明确假设测试者已有一些核心先验，例如：

对象是连续、可分离、可持久的；
基本数量和计数；
几何、对称、邻接、包含和拓扑；
简单目标导向和路径直觉。

为什么允许这些先验？因为人类也不是从随机像素到规则完全无偏学习。若给机器任何先验都算作弊，而人类可使用进化形成的对象直觉，比较本身就不公平。

Chollet 的方案不是消除先验，而是限制并公开先验集合。争议随之而来：哪些能力算“核心知识”仍由基准作者判断；网格界面的可读性也可能更符合人类视觉偏置。

3. ARC 测什么，不测什么

它较好测量：

极少示例中的规则归纳；
对象级和关系级抽象；
组合已知原语形成新程序；
在任务级别进行测试时适应。

它不直接测量：

自然语言知识；
真实世界感知和噪声鲁棒性；
社会理解；
长期记忆；
开放式目标选择；
物理控制；
科学实验。

因此 ARC 高分既不是 AGI 的充分条件，低分也不表示系统毫无经济或认知价值。它是针对一个被主流 benchmark 忽略的维度设计的“压力测试”。

七、LLM 的出现没有让他的框架失效，却迫使它变得更细

1. LLM 首先证明了“技能库存”本身可以产生惊人的通用外观

语言把人类知识、推理痕迹、程序和行为说明压在同一序列中。大规模预训练因此获得一个前所未有的任务先验库。模型可以通过提示在许多任务间切换，看起来像一个通用学习者。

在 Chollet 的框架里，这至少混合了三种东西：

训练中已覆盖的模式与知识；
基于相似问题的局部/广泛泛化；
测试时真正形成的新程序。

LLM 的突破不在于证明这三者可以轻易分开，而在于它们共同产生了过去没人预料到的广度。Chollet 后来的判断比“全是记忆”细致：推理模型确实展示非零流体能力，只是仍受知识覆盖和验证器强烈约束。

2. Prompt engineering 在他看来是“搜索向量程序”

Chollet 2023 年文章把提示理解为在模型内部可执行的“向量程序”空间中搜索。提示没有改变权重，却通过上下文激活不同计算路径。

这其实承认 LLM 不只是静态查表：它内部存有大量可组合程序片段，prompt 能编排它们。问题在于，编排范围仍由预训练形成的程序空间限制；一旦任务要求真正新抽象，单靠换措辞会失效。

3. 推理时计算改变了争论对象

基础 LLM 一次前向回答时，Chollet 可以说它主要在调用已有技能。o1/o3 类模型、搜索和强化学习把测试时过程扩展为：

生成多个候选；
执行中间程序；
根据验证反馈修正；
在任务上临时训练；
分配更多算力给困难题。

这已更接近“技能获取过程”，因此 ARC 也不再只是检验预训练模型的零样本回答，而成为测试时适应方法的竞技场。

八、2024：ARC 的突破不是某个更大模型，而是“在测试题上重新学习”

1. 三类方法开始汇合

ARC Prize 2024 技术总结指出，进展主要来自：

深度学习引导的程序合成：模型生成或指导搜索离散程序；
test-time training / transduction：针对当前任务的少量示例临时更新模型；
二者结合：连续模型吸收先验，程序搜索保证结构，任务内更新重新组织能力。

第一名在私有 ARC-AGI-1 上达到 53.5%。重要的不是数字本身，而是方法形态与 Chollet 2017 年的预期相似：几何模型提供先验和候选，算法过程执行、搜索和验证。

2. Induction 与 transduction 的差别

Induction：显式构造一个规则/程序，再把它应用到测试输入；
Transduction：不必写出人可读规则，直接根据当前任务示例学一个输入到输出的映射。

程序合成擅长精确组合，但搜索空间大；测试时训练能借助神经先验快速适配，却可能只在当前输入上找到捷径。二者解决不同题型，因此混合最强。

这也修正了一个过于二元的旧框架：未来不必是“符号程序战胜神经网络”，而可能是不同层次的连续与离散搜索相互提供候选和约束。

3. Chollet 对 o1 的评价是一次重要更新

ARC 团队把 o1 视为自 GPT-2 后商业模型泛化能力的一次重大跃迁，明确认为推理时适应带来了非零流体智能。这一点很关键：他没有在模型跨墙后继续移动目标，声称所有进展仍只是记忆。

他的保留变成了更可检验的问题：

这种能力需要多少测试计算？
是否依赖领域已有验证器？
若任务格式和概念远离训练覆盖，能力是否仍在？
大量 ARC 风格合成训练是否把“陌生任务”再次变成熟悉分布？

九、2025：ARC-AGI-2 不只是“更难”，而是在测推理复杂度怎样增长

ARC-AGI-1 经过多年研究后，一些题可由大量程序原语和合成数据覆盖。ARC-AGI-2 增加多步依赖、组合深度和符号解释，试图让简单模板匹配失效。

2025 年领先的 NVARC 系统在竞赛约束下达到约 24%，使用合成数据与测试时训练。这个结果有两面：

它证明小得多的专门模型经正确课程和测试时适配，可以显著超过直接提示巨大通用模型；
它也证明公开任务域一旦有强验证器，就会形成工程飞轮：生成题目、自动解题、筛选正确轨迹、继续训练。

这正好暴露静态 benchmark 的寿命问题。即使私有测试题未泄露，只要公开集和私有集来自相似任务分布，模型可以通过高密度覆盖整个“ARC 风格空间”减少真正现场适应。

Chollet 的反应不是把 ARC-1/2 永久神圣化，而是承认它们开始被能力和 benchmark optimization 共同侵蚀。

十、2026：ARC-AGI-3 把智能从“看例子猜规则”推进到“主动制造信息”

1. 为什么交互是理论上的自然下一步

静态 ARC 已经替测试者决定了最有信息量的示例。真实学习者却常不知道：

目标是什么；
哪个动作能揭示规则；
哪些观察是状态、哪些只是表象；
一次失败后应保留哪个假说；
怎样用最少风险验证。

ARC-AGI-3 技术报告把任务改成数百个原创、无语言说明的回合制环境。代理必须完成四件事：

探索：主动选择下一次观察；
建模：从转移中形成可预测世界模型；
目标发现：环境不明说胜利条件；
规划与执行：积累跨关卡知识，遇到反馈时修正。

人类在校准环境中可完成全部任务；截至 2026 年 3 月，前沿系统总体低于 1%，发布页报告约 0.51%。后续对 GPT-5.5 与 Opus 4.7 的轨迹分析显示，模型常能提出局部正确假说，却不能稳定保留、证伪和跨长程执行。

2. 行动效率比最终成功更接近他原始定义

ARC-AGI-3 用人类动作数作为效率基线。随机试几万步偶然通关，不等于高智能；少量行动构造模型、选择判别性实验再完成目标，才是高技能获取效率。

这里的关键变化是：经验不再只是喂给模型的数据，而是模型花行动成本主动购买的信息。

这让 Chollet 与 Sutton/LeCun 的研究空间真正相交：

需要经验流和行动后果；
需要能预测转移的世界模型；
需要在少量经验中形成抽象；
需要把模型用于规划；
还要计入探索成本。

3. ARC-3 仍不是现实世界

它是回合制、小动作空间、可重置、低感知噪声的人工游戏。人类能利用游戏文化、视觉对象直觉和设计者意图；“不使用文化知识”的目标只能近似实现。

因此它更像介于静态程序归纳与真实具身智能之间的实验台。它能暴露当前 agent 的假说管理与探索缺陷，却不能证明解决它就解决了家庭机器人、科学研究或社会智能。

十一、把 Chollet 的路线还原成一套完整的智能观

1. 智能的对象不是答案，而是适应过程

同一答案可由记忆、穷举、手写规则、检索、推理或现场学习得到。若目标是研究智能，必须观察产生答案的过程和资源，而不是只看答案。

2. 抽象是压缩，也是可重用程序

一个好抽象能用较短描述解释多个观察，并在新对象上重新实例化。它不只是向量相似性，而包含对象、变量、关系、操作和组合。

3. 先验不可消除，只能公开与核算

不存在完全公平的无先验智能。人类有进化先验，机器有架构、数据、工具和开发者知识。研究应尽量明确这些来源，并测它们如何转化为新技能。

4. 真正一般性表现为“未知的未知”

同分布测试是 known unknown：我们知道未来仍是猫狗图片，只是不知道哪一张。一般智能要处理 unknown unknown：任务结构本身没有被开发者穷尽。

5. 世界模型的价值在于支持高效实验

到 ARC-3，世界模型不只是被动预测下一帧。它应告诉主体：哪个动作最能区分当前竞争假说，怎样以最少风险发现目标。

6. AGI 更像一个能重写自己的程序合成过程

Chollet 不期待一份覆盖所有任务的静态程序；他期待一个系统能把已有抽象重新组合，为陌生情形快速产生新程序。这比“模型参数里装了多少技能”更接近他所谓一般智能。

十二、与 LeCun 的关系：一个在设计发动机，一个在设计测功机

维度	Chollet	LeCun
首要问题	怎样定义和测量新技能获取效率	怎样学到支持预测与规划的抽象世界模型
对 LLM 的批评	技能库存与训练覆盖掩盖现场适应能力	自回归生成缺少可靠世界模型、规划和物理理解
抽象的典型形式	可组合程序、对象、关系、变量	潜空间中的稳定表征与预测
先验	明确接受人类式 core knowledge	希望大量结构由自监督观察学习，辅以架构偏置
行动	用行动效率测探索、建模和目标发现	行动通过世界模型、成本模块和分层规划选择
贡献形态	定义、benchmark、压力测试	学习目标与系统架构

二人共同认为：

语言流畅不等于世界理解；
当前深网在分布外组合上仍脆弱；
抽象与规划是缺失层；
仅靠静态监督/模仿不足；
儿童式少量经验适应是重要参照。

分歧在于 Chollet 更愿意预设一组人类核心知识，并通过程序归纳测能力；LeCun 更希望从高带宽感知中学到抽象潜变量。一个 ARC 强系统可能完全不用 JEPA；一个 JEPA 强世界模型也可能在 ARC 上失败。前者说明测量和架构不能互相替代。

十三、他的预测履历：应该如何公允打分

判断 1：深度学习主要擅长局部几何泛化

命中部分： 同分布准确率长期掩盖组合、OOD 和任务适应缺陷；大量模型确实依赖密集覆盖。

需要修正： 规模化 Transformer 学到了比“平滑插值”更丰富的算法行为。局部/极端泛化不是二元边界，而受预训练覆盖、提示、搜索、RL 和工具共同影响。

判断 2：未来会是几何模块与算法模块混合

相当程度命中。 推理模型 + 代码执行、程序合成 + 测试时训练、策略网络 + 搜索、LLM + verifier 都符合功能上的混合。

但这不意味着传统符号 AI 复兴。很多“算法模块”仍由同一个神经模型生成，并通过外部执行器临时实现。

判断 3：仅扩大预训练无法解决一般智能

至今仍有支持，但证据不是终局。 ARC-1/2 的突破来自测试时计算、合成课程和任务适应，而非单纯基础模型变大；ARC-3 暴露主动探索缺陷。

另一方面，基础模型规模显著提升了所有这些方法的先验。所谓“scaling 不够”应理解为需要新的尺度轴和闭环，而不是预训练规模已无价值。

判断 4：ARC 能追踪一般推理进展

阶段性成功。 ARC-1 对 2024 年推理模型与测试时训练的变化很敏感，ARC-2 继续区分复杂度。

但不应神化。 ARC 风格本身已成为训练域，题目是小型人工程序世界。Chollet 主动推出 ARC-3，反而说明任何单一 benchmark 都没有永久效力。

判断 5：当前 LLM 没有真正流体智能

如果按 2019 年最强版本理解，已经需要更新。ARC 团队如今明确称推理模型表现出“non-zero fluid intelligence”。更准确的 2026 判断是：它们有真实但效率低、知识绑定、验证器绑定的流体能力。

这次修正提升而非削弱他的可信度，因为他允许自己的框架承认模型跨过某些门槛。

十四、这条路线最强的地方与最危险的偏见

最强处：它迫使所有能力声明附带一张资源账单

当模型厂商说“系统会做数学、编程、研究”时，Chollet 的框架会追问：

训练时见过多少同类题？
开发者根据 benchmark 调了多久？
测试时采样多少条轨迹？
用了什么验证器和工具？
每个新任务需多少环境动作？
失败风险和能源成本如何？

这能防止把预训练库存、工程投入和现场智能压成一个漂亮准确率。

最危险偏见：把“人类容易的极简程序世界”当成智能的中心切片

ARC 的设计天然偏爱：

对象中心表示；
离散规则；
最小描述程序；
人类视觉和游戏直觉；
少样本显式推断。

现实智能也包含庞大的隐性技能、连续控制、情感/社会协调和通过长期统计积累的知识。鸟飞行和人识脸未必先合成一个可读程序。若把程序归纳效率当作整个智能，会低估连续、身体化和文化累积。

Chollet 的测量是重要坐标轴，不应被升级成唯一坐标系。

十五、什么结果会真正支持或反驳他

强支持

一个小模型通过任务内学习，在秘密、结构变化大的新环境中以接近人类样本效率获得技能；
显式程序/模块搜索在控制总计算后持续胜过纯前向大模型；
前沿 LLM 在知识充分却规则真正陌生的任务上仍系统失败；
行动效率而非预训练规模更好预测现实新任务适应。

对其强版本构成反驳

单一规模化神经架构在没有专门程序模块和任务级更新时，跨广泛秘密环境达到人类式少样本适应；
模型的技能获取效率随预训练规模稳定提高，最终消除 ARC-3 类差距；
所谓 core knowledge 可完全从通用自监督目标中高效学出，不需显式先验；
ARC 高分与现实 OOD 适应长期缺乏相关性。

十六、未来观察指标

测试时资源曲线：不是最高分，而是准确率相对 token、采样、训练步和环境动作的曲线。
任务域距离：私有任务是否在机制上真正脱离公开集，而非只换颜色和布局。
假说管理：代理能否同时保留多个解释，主动设计判别实验，并在证据反驳时放弃。
跨任务抽象迁移：在环境 A 学到的对象/因果原语能否降低环境 B 的动作成本。
开发者投入核算：系统背后的人工规则、合成数据和 benchmark 调优是否公开。
现实相关性：ARC-3 的动作效率能否预测机器人、网页代理或科学实验中的新任务学习。

十七、带着问题读原始材料

Chollet 的个人主页与文章索引
按时间先读 2017 年 The Limitations of Deep Learning 和 The Future of Deep Learning，再读 2023–2026 材料，观察他的措辞怎样从“局部泛化”更新到“非零但受限的流体智能”。
Xception
看他如何把一个成功算子拆成更清晰的结构假设；这与后来拆解“技能总分”有方法论相似性。
On the Measure of Intelligence
重点不是 ARC 题例，而是技能/智能、system-centric/developer-aware generalization、先验与经验核算。
ARC-AGI-1
亲自做几题，记录自己调用了哪些对象、数量和几何先验。
ARC Prize 2024 技术报告与结果
重点比较程序合成、transduction 和 test-time training 各自解决什么。
ARC-AGI-2
看静态任务复杂度增加后，模型失败是知识缺口、搜索预算还是组合深度。
ARC-AGI-3 技术报告
重点看探索、建模、目标发现、规划四层，以及为何用行动效率而非仅成功率。
GPT-5.5 与 Opus 4.7 的 ARC-3 轨迹分析
这是比最终分数更有价值的失败材料：模型何时形成正确假说，又为何不能守住。

最后的判断

Chollet 最值得长期跟踪，不是因为他握有一套被证明正确的 AGI 架构，也不是因为 ARC 是“最后的测试”。他的真正贡献是给 AI 研究加入了一条经常被抹掉的分母：

系统获得这项新能力，究竟付出了多少先验、数据、开发者知识、测试计算和真实行动？

LLM 时代把技能的分子做得空前巨大；Chollet 坚持要求我们继续看分母。

他的旧判断已经被大模型修正：神经网络的程序性和测试时推理远比 2017 年看起来强。但他的核心问题反而更重要——当训练覆盖趋近整个互联网、benchmark 可被无限合成、推理可以花任意 token 时，不核算技能形成过程，我们就越来越无法判断系统究竟是在学习，还是在调用一座由人类和算力预先修好的巨大技能城市。