开放性与自动研究 · RESEARCH TRAJECTORY
Jeff Clune：不要只训练一个更强的模型，要设计一个会不断发明模型、任务和踏脚石的生态
从新颖性搜索、MAP-Elites 与 POET，走向自动发现任务、架构与学习算法的开放过程。
Clune 的核心判断不是“进化算法比梯度下降好”，也不是“让 AI 随机改自己的代码”。他持续二十年追问的是：为什么自然进化与人类文化能产生设计者没有预见的创新，而机器学习通常只会朝一个人类预先写好的分数爬山？他的答案逐步从间接编码、novelty search、MAP-Elites，推进到环境—智能体共同进化、AI-generating algorithms，再到让 foundation model 生成任务、评价“有趣”、设计 agent，乃至在可验证 benchmark 上演化 agent 自身。
一、先把他的主线说准：他研究的不是一个最优解，而是“产生新解的过程”
主流机器学习的典型形式是：
- 人定义任务；
- 人收集数据或写环境；
- 人选架构和学习算法；
- 人定义 loss / reward；
- 机器优化参数；
- 人看结果，再设计下一轮系统。
Clune 认为这里真正承担开放创新的，仍是人类研究共同体。机器只在被圈定的搜索空间里找一个高分点。
他的路线试图把越来越多外环也交给算法：
- 不只优化权重，也发明架构；
- 不只发明架构，也发明学习规则；
- 不只解决任务，也生成新任务；
- 不只保留当前冠军，也保留许多不同方向的高质量解；
- 不只改一次 agent，也让改进过程本身成为可继续改进的对象；
- 不只追一个固定目标，也让“什么值得继续探索”随过程演化。
这可以浓缩成三层。
第一层：目标可能妨碍创新
直接朝远方目标优化，往往找不到通往它的必要踏脚石，因为踏脚石在短期分数上可能更差。
第二层：多样性是一种搜索内存
保留许多行为上不同的高质量方案，不是浪费算力，而是在保存未来可能有用的材料。
第三层：真正的一般智能可能是一个开放生成过程
人类未必能手工列出一般智能需要的全部模块。更可扩展的方案可能是设计一个过程，让架构、算法、任务和文化彼此推动，像进化与科学共同体一样持续产生复杂性。
二、早期神经进化：先问“可学习的系统怎样被编码出来”
1. 权重不是唯一可以搜索的对象
在深度学习成为主流前，Clune 长期研究 neuroevolution。传统遗传算法可以直接把网络每个连接权重写进“基因”，但这种直接编码扩展性差：
- 网络有百万参数，基因组也要近似同样长；
- 对称、重复、模块等结构不能自动复用；
- 微小基因变化可能造成无组织的大量连接变化；
- 系统很难像生物发育那样用短规则生成复杂形态。
间接编码的想法是：基因不逐项列出网络，而描述一个生成网络的过程。类似少量发育规则能产生左右对称、重复分节和模块结构。
这形成 Clune 很早的一个偏好：
不要只优化最终产物；要优化能以紧凑方式生成一族产物的表示。
它后来直接延伸到 AI-GA：与其人手写一个 AGI 架构，不如找一个能不断产生学习系统的元过程。
2. 模块化、规则性与 evolvability
Clune 的早期工作还关注网络为什么会形成模块、怎样既规则又保持可变性，以及什么样的表示更容易进化出新功能。
这里的关键词不是单次性能，而是 evolvability：
- 一个方案能否在不破坏已有能力的情况下变化；
- 局部突变是否产生有意义的新行为；
- 模块能否在新任务中重组；
- 搜索是否积累可复用结构。
传统优化只问“当前个体多强”；evolvability 还问“它的邻域里有多少有前途的后代”。一个当前略弱、但易产生多种改进的系统，可能比脆弱的局部冠军更有长期价值。
这已经是对今天 foundation model 的重要提醒：benchmark 分数相同的两个模型，在可微调性、可组合性、工具适应和持续学习上可能完全不同。
三、Objective Paradox：明确目标为什么会把搜索带离真正目标
1. 直接优化隐含了一个强假设
假设我们想得到能力 Y，并定义一个分数衡量“离 Y 有多近”。梯度或进化选择会让系统不断提高这个分数。
这隐含假设：
从起点到 Y 的有效路径，大体沿着“看起来越来越像 Y”的方向前进。
在平滑凸问题中这很合理；开放创新空间却常不成立。
例如，要演化一个会走复杂迷宫的机器人，早期有用踏脚石可能是：
- 学会保持平衡；
- 学会后退；
- 学会探索死路并返回；
- 学会利用墙面定位；
- 发展一种当前速度较慢但可转向的步态。
如果 reward 只看与出口距离，许多能力在短期得分上没有优势，甚至更差。系统会收敛到贴着障碍、无法绕行的局部最优。
2. 创新史中的踏脚石通常无法事前识别
自然进化没有以“产生人类数学家”为固定终点。视觉、手、语言、社会学习分别在不同生态压力下形成，后来才被重新组合。
科学与技术也常如此：
- 为一种问题发明的工具成为另一领域基础；
- 一条失败路线提供关键材料或表示；
- 玩具系统暴露可扩展原则；
- 边缘兴趣在硬件变化后突然变成主流。
因此 Clune 与 Kenneth Stanley 一系提出的“目标悖论”不是反对目标，而是指出：当目标很远、路径高度非单调时，目标相似度是糟糕的局部导航信号。
3. Novelty search：奖励行为差异，而不是离目标更近
Novelty search 不直接奖励任务分数，而奖励新行为与历史行为档案的差异。
它的作用是：
- 防止种群全挤到同一局部峰值；
- 系统性覆盖行为空间；
- 发现设计者没想到的策略；
- 把中间产物保存为未来踏脚石。
但纯 novelty 也有明显问题：
- 新奇不等于有用；
- 行为空间怎样定义仍需人决定；
- 高维差异可能充满无意义噪声；
- 算力可能耗在不断制造奇怪但低质量的行为。
这促使路线从“只要新”转向 quality-diversity。
四、MAP-Elites：把一场冠军赛改造成一张“很多种好方案”的地图
MAP-Elites的目标不是输出一个全局最佳解，而是在用户选择的行为描述维度上，为每个区域保留最优个体。
1. 算法直觉
假设设计机器人步态，描述维度可以是：
- 触地脚数；
- 身体高度；
- 步幅；
- 能耗；
- 左右对称程度。
算法把这个行为描述空间离散成格子。每个新个体执行后得到：
- 一个任务质量分数；
- 它落在哪个行为格子。
若该格子为空，或新个体比格内旧个体更好，就成为该格的 elite。随后从整个 archive 中采样 elite 变异，继续填图。
最终不是一个冠军，而是：
- 低姿态但稳定的最佳步态；
- 高姿态且快速的最佳步态；
- 少足接触的最佳步态；
- 低能耗的最佳步态；
- 许多设计者未预料到的折中。
2. 为什么 archive 不只是结果展示
archive 同时承担搜索内存：
- 局部冠军不会因总体分数略低而消失；
- 一个区域的方案可突变进入另一区域；
- 多样父代减少早熟收敛；
- 环境变化后可以迅速选用另一种 elite；
- 不同模块可成为后续组合材料。
MAP-Elites 有时还会找到更好的全局冠军，因为更广探索帮助逃离局部最优。但这不是它唯一价值；真正变化是目标从“找最好”变成“照亮可行且高质量的多种方式”。
3. 它对 LLM 时代的直接启发
今天 agent 开发常只保留 benchmark 分数最高的一套 prompt、memory、tool scaffold。MAP-Elites 会建议至少考虑多个描述维度：
- 成功率；
- token 成本；
- 延迟；
- 风险；
- 可解释性；
- 长上下文使用方式；
- 适合的任务类型。
一个低成本、擅长短任务的 agent 不应仅因总分低于昂贵 agent 被删除；它可能是不同 niche 的 elite，也可能成为下一轮设计的踏脚石。
五、从固定环境到共同进化：POET 为什么必须同时生成问题和解
1. 固定任务最终会耗尽新颖性
即使在一个环境中保留多样策略，环境的可能性仍由设计者封顶。要产生不断扩展的能力，任务本身也需要变化。
POET同时维护一组“环境—智能体”配对：
- 从已有环境变异出新环境；
- 过滤太简单或当前完全不可学的环境；
- 为每个环境训练解决它的 agent；
- 定期尝试把别的环境里的 agent 迁移过来；
- 若外来 agent 更好，就替换当前解；
- 继续从多条路径生成新环境。
2. 最关键的不是课程变难，而是跨路径转移
普通 curriculum 通常沿一条人为或自动难度轴前进：任务 1 → 2 → 3。
POET 同时发展许多课程分支，而且允许某条分支上形成的解跳到另一条分支。论文发现，一些困难环境：
- 无法直接从零优化解决；
- 也无法由一条直达式 curriculum 解决；
- 却能被另一环境中偶然形成的策略跨越。
这就是 stepping stone 的计算版本。一个能力的价值不只由它在原任务上的分数决定，还由它能否解锁别的路径。
3. 为什么环境—智能体共同进化比只做 hard example mining 更深
hard example mining 通常在固定数据分布中挑模型最容易错的样本。POET 则允许：
- 环境结构本身变异；
- 不同任务家族并行存在；
- 学习者能力反过来决定什么任务适中；
- 任务创新与技能创新互相推动。
如果未来 agent 能自己发明实验、工具和协作协议，这种共同演化比单纯“生成更难题”更接近开放学习。
4. POET 的边界
原始演示环境仍很窄。环境编码、变异算子、可接受难度和行为指标都由人规定。所谓“endless”是研究愿景，不是已经证明无限复杂性增长。
它揭示机制，却没有解决开放世界最难的问题：
- 什么算真正新颖而非表面变体；
- 什么算值得学；
- 怎样跨模态生成可靠环境；
- 如何避免复杂性停滞；
- 怎样证明创新不是评价指标幻觉。
六、2019 年 AI-GA：把“人工设计 AI”本身定义为瓶颈
AI-Generating Algorithms是一篇研究纲领。Clune 把主流称作 manual AI approach：研究者分别发明视觉、记忆、规划、学习、架构等部件，期待未来有人把它们组合成一般智能。
他提出另一条路：造一个能产生 AI 的算法，三根支柱是：
- 元学习架构；
- 元学习学习算法；
- 生成有效训练环境与数据。
1. 第一支柱：不要只搜索现成模块的排列
传统 neural architecture search 常在人工定义的算子列表里挑层数、连接和超参数。AI-GA 的更强版本希望发明：
- 新神经元或模块；
- 新记忆结构；
- 新通信拓扑；
- 新的感知—行动接口；
- 随任务成长的网络。
如果搜索空间只含人已经想到的模块，自动化只是在加速人工设计，而非真正开放创新。
2. 第二支柱：学习规则也应由系统发现
今天大多数模型共享反向传播、梯度下降和少数优化器。元学习通常只学初始化或超参数。
AI-GA 的愿景更大：
- 哪些局部信号驱动可塑性；
- 不同模块怎样更新；
- 怎样解决长期 credit assignment；
- 怎样在一生中快速学习而不遗忘；
- 怎样根据硬件与环境形成不同学习机制。
这与 Hinton 寻找 backprop 替代、Finn 的 meta-learning 和 Sutton 的通用经验学习有交叉，但 Clune 把它们放进一个自动发明过程。
3. 第三支柱：没有丰富生态，再好的学习器也学不出一般能力
自然智能不是在单一 benchmark 上进化的。环境提供：
- 竞争与合作；
- 工具和身体；
- 变化的资源；
- 多时间尺度；
- 社会文化；
- 新 niche。
因此训练环境不是被动容器，而是一般智能的共同作者。POET 是第三支柱的早期实例。
4. 这篇论文真正前瞻之处
2019 年时，自动架构搜索、元学习和程序生成都很有限。LLM 后，foundation model 突然能：
- 写可执行环境；
- 修改 agent scaffold；
- 读论文和代码；
- 提出新组合；
- 评价自然语言的新颖性；
- 生成测试；
- 调用实验工具。
LLM 不一定是 AI-GA 的最终产物，却成为一个通用的变异和提案算子，使这套外环第一次工程上可扩展。
七、开放性最难的问题：谁来定义“有趣”
1. 可学不等于值得学
自动课程常用 learning progress：给 agent 选择那些既不太简单、也不完全学不会的任务。
但无限任务空间里存在无数“正好能学、却毫无意义”的任务：
- 随机改变颜色；
- 把同一动作重复更多次；
- 制造规则上新、语义上重复的迷宫；
- 利用 evaluator 漏洞获得虚假进步。
只按 novelty 也不够，因为噪声可以永远新。
2. OMNI：foundation model 作为人类“有趣性”的压缩器
OMNI提出用 foundation model 充当 Model of Interestingness。
其理由是：
- 人类文本天然偏向记录值得谈论的事；
- foundation model 压缩了文化中关于新颖、无聊、困难和有价值的概念；
- 它可以比较两个任务是否只是表面变体；
- 因而可在“当前可学”的候选中选择更值得探索者。
这是 Clune 路线对 LLM 最巧妙的利用之一。LLM 不直接充当最终智能，而把人类文化的偏好注入开放搜索，使系统不至于漂入无穷平庸空间。
3. 这同时引入一个根本张力
如果“有趣”由人类语料模型判断，系统的开放性仍受人类文化边界约束：
- 未被文字记录的创新可能被低估；
- 主流文化偏好可能压制异质路线；
- 模型把语言新奇误当机制新奇；
- 搜索可能学会讨好 evaluator；
- “有趣”与“有长期科学价值”不同。
所以 OMNI 解决的是开放性的一处 Achilles heel，同时把价值选择问题明确暴露出来。它并没有得到客观的 interestingness。
八、OMNI-EPIC：LLM 让环境生成从参数变异跃迁到程序空间
OMNI-EPIC让 foundation model 生成环境代码和 reward，而不只在一个预定义地形编码中调参数。
1. 为什么“环境以代码表示”很重要
参数化环境只能在设计者预留的维度上变化。代码则可以表达：
- 新对象；
- 新规则；
- 新目标；
- 多阶段任务；
- 不同物理和交互；
- 新奖励结构。
程序空间的表达力远大于固定参数空间，LLM 又能把自然语言概念翻译成可执行程序。这使“生成任意可模拟任务”第一次成为实际研究对象。
2. 系统仍需三道过滤
一个候选环境至少要满足：
- 可执行。 代码能运行，接口和 reward 正确；
- 可学。 对当前 agent 不太容易也不完全不可能；
- 有趣。 与已有任务有实质区别且值得继续。
LLM 负责提案和语义判断，RL 训练结果提供可学性反馈，archive 保留历史。
这正是 Clune 思想的汇合：
- 语言模型提供文化先验与程序生成；
- POET 提供环境—agent 共同课程；
- quality-diversity 提供档案；
- learning progress 提供能力边界；
- 开放性目标推动持续扩展。
3. 为什么它还远不是“自己创造学校”
生成的模拟任务仍受：
- 引擎能力；
- LLM 训练先验；
- 人写的系统提示；
- reward 可表达性；
- 训练预算；
- 有趣性 evaluator。
它能展示爆发式组合创造，但尚未证明长期产生越来越深的知识，而非不断生成花样更多的小游戏。
九、从生成任务到生成 agent：ADAS 与“研究过程作为搜索空间”
Automated Design of Agentic Systems提出：与其人工组合 chain-of-thought、memory、tool use、reflection 等模块，可让 meta-agent 直接用代码发明新的 agent scaffold。
1. 为什么 agent 时代让 AI-GA 更现实
一个现代 agent 不只是 base model 权重，还包括：
- prompt 与角色分工；
- 计划循环；
- memory 读写；
- 工具定义；
- 错误恢复；
- 并行/串行调度；
- verifier；
- 上下文压缩；
- 文件与终端操作。
这些大多是普通代码和文本，修改成本比重新训练基础模型低得多。foundation model 又擅长读写这类程序。
于是外环可以：
- 提出 agent 设计；
- 运行 benchmark；
- 保存行为和得分；
- 分析失败；
- 修改设计；
- 再评价。
这把 AI-GA 的第一批可行对象从“自动发明万亿参数架构”缩小为“自动发明 agent workflow”，但也因此更快产生实证。
2. 手工 scaffold 会不会像手工视觉特征一样被学习替代
Clune 的长期判断是：机器学习历史上，许多手工模块最终被学习系统替代。今天精心写的 agent loop 可能只是过渡阶段。
但替代有两种不同含义：
- base model 内化规划、工具和记忆，不再需要显式 scaffold；
- 外环自动生成更复杂 scaffold，人不再逐项设计。
ADAS 押注第二条至少会先发生。它不保证最终系统仍保持可读代码，也不保证自动设计总能跨 benchmark 泛化。
十、Darwin Gödel Machine：它到底“自我改进”了什么
Darwin Gödel Machine（DGM）在 2026 年 ICLR 展示的核心机制是：
- 从一个 coding agent 开始；
- 让 foundation model 修改这个 agent 的代码；
- 在 SWE-bench、Polyglot 等 benchmark 上实测；
- 把多样且高质量的 agent 保存在 archive；
- 不只从当前冠军出发，而从档案中抽样继续分叉；
- 让修改后的 agent 继续参与修改 agent。
论文报告 SWE-bench 从 20.0% 提高到 50.0%，Polyglot 从 14.2% 提高到 30.7%，并产生更好的编辑工具、长上下文管理、peer review 等机制。ICLR 2026 页面给出了同一摘要。
1. “Darwin”部分：保留分叉，而不是贪心爬山
若每次只保留当前最高分版本，系统很容易：
- 早期锁定某种 agent 风格；
- 删除暂时较弱但有潜力的路线；
- 在 benchmark 噪声中错误选择；
- 无法组合来自不同分支的创新。
DGM 使用 archive 构成多分支演化树。这是 MAP-Elites / open-endedness 思想在 agent 代码上的直接落地。
2. “Gödel machine”部分需要谨慎理解
理论 Gödel machine 设想系统只有在能证明自我修改有益时才修改自身。现实复杂软件几乎无法证明总体改动收益。
DGM 用经验 benchmark 代替形式证明：
- 运行测试；
- 比较成绩；
- 保存有效变化；
- 在 sandbox 和人类监督下实验。
这是从“可证明自改”转向“达尔文式经验选择”，因此名字同时强调两种来源。
3. 它没有做什么
DGM 并没有证明：
- 基础 foundation model 的权重递归变强；
- 系统可脱离人类 benchmark 自主定义终极价值；
- 改进能无限持续；
- 结果跨任意领域泛化；
- 自修改过程天然安全；
- agent 已能重写硬件、训练算法和完整研究组织。
它主要改进的是 coding agent 的代码与 workflow，变异提案仍依赖一个冻结或外部提供的强 foundation model，选择仍依赖人类 benchmark。
这一限定不削弱论文价值，反而让其贡献更清楚：它第一次把 open-ended archive 与 foundation-model code editing 结合成可实测的自改 agent 外环。
十一、2026 年的路线收束：从学术开放性到 recursive self-improvement
Clune 目前同时在 UBC/Vector Institute 与新公司 Recursive 推进 self-improving AI。他在个人研究页仍把 open-ended、quality-diversity 和 AI-generating algorithms 视为统一主线。
这不是突然追逐“AI 自己写 AI”的热词。脉络是连续的：
- 间接编码：搜索生成系统，而非逐项参数；
- evolvability：评价未来可变性；
- novelty：不让远方目标封死路径；
- MAP-Elites：保留多样精英；
- POET：任务与解共同生成；
- AI-GA：架构、学习规则和环境都进入外环；
- OMNI：让 foundation model 提供人类有趣性先验；
- OMNI-EPIC：让任务空间变成代码；
- ADAS：让 agent 设计变成代码搜索；
- DGM：让 archive 中的 agent 分叉并实证自改。
因此，Clune 的前瞻价值不在于某个单点预测，而在于他提前搭出了 LLM agent 时代最自然的外环理论。
十二、他的世界观：真正的智能可能属于生态，而不是单个模型
1. 个体冠军不是创新系统
一个 benchmark 第一名模型可以非常强，却仍依赖：
- 人类选择下一任务；
- 人类分析失败；
- 人类发明新工具；
- 人类维护多样研究路线；
- 人类判断什么有趣。
若这些外环不自动化，所谓“一般智能”仍嵌在更大的“人类 + 机器”系统中。
Clune 想把研究共同体的一部分结构搬进算法：
- 多个并行个体；
- 档案与文化记忆；
- 任务生态；
- 变异与重组；
- 局部评价；
- 跨 niche 迁移；
- 不断重定义前沿。
2. Diversity 不是审美价值，而是期权
保留多样路线意味着现在为未来未知需求购买期权。
一个当前分数不高的方案可能：
- 在环境变化后立即有用；
- 提供其他方案缺少的模块；
- 避开主流路线的系统性漏洞；
- 形成更易继续创新的表示；
- 为更远目标提供踏脚石。
这与金融投资组合、生态多样性和科学研究资助有相似逻辑。单一标量优化会把系统压成同质群体，短期效率提高，长期脆弱性上升。
3. 开放性不是随机发散，而是受约束的持续新颖
Clune 并不认为“任何新东西都好”。开放过程需要同时满足：
- 新颖；
- 有质量；
- 对当前或未来可用；
- 对学习者难度适中；
- 能与已有成果组合；
- 不停留在固定描述维度；
- 与人类价值或科学价值建立连接。
问题是这些条件本身难形式化。OMNI 用文化模型近似“有趣”，DGM 用 benchmark 近似“有用”；它们都是阶段性代理，而非最终定义。
十三、与其他人的关系
1. 与 Sutton：都相信规模化经验，但对“目标”态度不同
共同点：
- 反对长期依赖人工注入领域知识；
- 相信一般计算、搜索和学习最终胜过手工技巧；
- 重视真实或模拟经验；
- 希望系统持续学习而非一次训练冻结。
差异：
- Sutton 常从给定 reward 的 agent—environment 回路出发；
- Clune 追问 reward、任务和环境由谁生成；
- Sutton 的简约倾向是少数一般算法；
- Clune 更强调种群、档案、生态与多路径。
Clune 可被看作把 “Bitter Lesson” 再向外推一层：不仅特征和策略应被学习，连训练问题和学习算法也不应永远由人手写。
2. 与 Chollet：都反对把已积累技能当成一般智能
Chollet 关心面对新任务时的技能获取效率；Clune 关心产生无穷新任务和踏脚石的过程。
两者互相构成压力：
- 一个 open-ended 系统若每个新任务耗费巨大经验，未必智能；
- 一个 ARC 高效解题器若永远等待人出题，也未必开放；
- Chollet 强调开发者先验核算；
- Clune 试图把开发者外环本身自动化。
未来强系统可能需要同时通过两种检验：能主动拓展任务前沿，也能用很少新经验掌握真正陌生结构。
3. 与 LeCun：一个想设计认知架构，一个想设计“发明架构的过程”
LeCun 的路线包含明确模块：感知、世界模型、短期记忆、cost、actor 和分层规划，并押注 JEPA 式潜在预测。
Clune 会问：
- 为什么这些模块必须由人最后决定；
- 能否让元过程发现不同架构；
- 能否让环境共同塑造世界模型；
- 是否应保留多个不同认知体系而非一个冠军。
LeCun 提供强归纳假说；Clune 提供搜索这些假说的外环。真正挑战在于开放搜索空间太大，没有 LeCun 式结构先验可能完全不可计算。
4. 与 Brown / Silver：固定游戏内搜索 vs 生成游戏本身
Silver 和 Brown 的标志性成功有规则、目标和评价器。Clune 的问题是：
- 谁发明下一种游戏；
- 哪种游戏能逼出新能力；
- 一条游戏中学到的策略怎样迁移到另一条；
- 怎样避免只在现有 benchmark 上自我改进。
DGM 目前仍依赖 benchmark，因此尚未越过这一边界；POET 和 OMNI-EPIC 则试图让任务生成进入回路。
十四、判断记录：哪些已经命中，哪些仍是愿景
A. “保留多样高质量解会改善搜索和适应”
结论：在机器人设计、进化优化和 agent search 中反复验证。
MAP-Elites 已形成 quality-diversity 领域，archive 也成为 POET、DGM 等系统核心。但描述维度选择和计算成本仍限制规模。
B. “直接目标可能阻断必要踏脚石”
结论：机制真实，适用范围需具体判断。
在迷宫、开放探索和设计空间中有强证据。并非所有任务都应放弃目标；数学、监督学习和可微工程问题常从明确 objective 获益。
正确更新不是“目标有害”，而是：目标越远、路径越不单调、创新越难事前分解，越需要多样与间接搜索。
C. “任务和 agent 共同生成能产生普通 curriculum 无法到达的能力”
结论：POET 提供概念证明，规模仍小。
跨环境 transfer 的踏脚石效应很有力；尚未证明长期复杂性无界增长，也未在开放现实任务上复现。
D. “foundation model 会成为开放搜索的通用生成器和价值先验”
结论：快速命中。
OMNI、OMNI-EPIC、ADAS、DGM 和大量自动研究系统都验证 LLM 能生成任务、代码、agent 设计和评价理由。
未解决的是 evaluator 继承偏见、提案同质化和 benchmark overfitting。
E. “AI-generating algorithm 可能比人工拼装更快产生一般智能”
结论：尚无决定性证据。
我们已看到外环局部自动化，却没有系统自动发明全新基础学习范式、长期开放课程和跨现实领域一般智能。人类仍在定义算力、工具、安全边界和成功标准。
F. “自我改进能持续复合”
结论：DGM 证明有限范围改进，不证明无限递归。
一次或几十轮 benchmark 提升与长期复合增长差别巨大。真正递归要求：
- 系统改进变异器；
- 改进 evaluator；
- 改进实验速度；
- 扩大任务分布；
- 避免积累技术债；
- 对新版本保持可控性。
任一环节饱和都可能终止增长。
十五、他最强的论证与最弱的外推
最强论证：单一 objective 会丢掉未来需要的踏脚石
这既有算法证据，也符合创新史。对于远方、复杂、难分解目标，保留多种当前“还不错但不同”的方案，往往比把所有资源压到眼前冠军更稳健。
它对今天 AI 研究尤其重要：
- 所有模型围绕同一 benchmark 优化会同质化；
- 所有 agent 使用相似 base model 和 scaffold 会共享盲点；
- 榜单提升可能牺牲成本、可解释性和适应性；
- 没有 archive，失败路线中的有用模块会被遗忘。
最弱外推：一个开放过程会自然产生越来越有价值、越来越安全的复杂性
自然进化产生了智能，也产生寄生、欺骗、军备竞赛和大量浪费。开放性保证新颖，不保证：
- 对人类有用；
- 可理解；
- 可控制；
- 资源效率；
- 道德可接受；
- 持续提高而非循环或退化。
一旦用 LLM 评价“有趣”、用 benchmark 评价“有用”，系统又可能优化这些代理信号。开放性把 Goodhart 问题放大，而不是消除。
十六、怎样评价 open-ended / self-improving AI
1. 不只看最佳分数
应同时报告：
- archive 覆盖度；
- 行为/架构的实质多样性；
- 不同 niche 的局部质量；
- 跨任务迁移率；
- 删除 archive 后性能下降；
- 新分支对后续创新的因果贡献。
2. 检验新颖是否只是表面变化
- 新环境是否改变所需机制，而非只换颜色和布局；
- 新 agent 是否产生新算法，还是改 prompt 措辞；
- 语义 embedding 的距离是否对应行为差异；
- 人类专家能否指出真正新概念；
- 新能力能否迁移到未参与生成的外部任务。
3. 检验递归改进是否真正复合
- 每代改进幅度是否持续还是快速饱和；
- 改进是否跨 benchmark；
- 新 agent 是否更擅长发明下一代，而不仅更会做题；
- 代码复杂度与维护成本是否失控；
- evaluator 更新后，历史进步是否仍成立。
4. 检验价值与安全
- “有趣”模型偏爱什么、系统性忽略什么；
- 是否产生利用 benchmark 的投机行为；
- archive 是否保留危险但高分策略；
- sandbox 外能否限制工具与资源；
- 人类能否审计变异谱系和回滚；
- 多样性是否也用于红队和安全方案，而不只能力。
十七、按思想演进阅读原始材料
第一阶段：理解 quality-diversity
-
- 先看他怎样把 neuroevolution、open-endedness、AI-GA 和 self-improvement 放在同一图景；
- 用作路线地图，不替代具体论文。
-
Illuminating search spaces by mapping elites
- 掌握行为描述空间、cell、elite 与 archive；
- 重点理解为什么“许多不同的好解”本身是目标。
第二阶段：看任务与解共同演化
-
- 重点看多课程并行与 agent 跨环境 transfer；
- 注意哪些任务直接优化和单路径 curriculum 都无法解决。
-
- 看原始系统的局限怎样暴露 open-endedness 的通用测量难题。
第三阶段：读总纲
- AI-GAs: AI-generating algorithms
- 记住三支柱：架构、学习算法、环境；
- 再逐项检查今天 LLM agent 时代已经实现到哪一步。
第四阶段：foundation model 如何补“有趣性”和程序生成
-
- 看 foundation model 为什么被当作 human interestingness 的模型；
- 同时思考文化偏见和 evaluator hacking。
-
- 看代码表示怎样扩展环境空间；
- 区分“原则上任意可模拟任务”与实际生成任务的深度。
第五阶段：agent 设计与自我改进
-
Automated Design of Agentic Systems
- 看 agent scaffold 怎样变成可搜索代码；
- 比较人工组件与自动发明组件。
-
- 重点看 archive、分叉谱系、实证选择和具体改动；
- 明确 base model、benchmark 与 sandbox 的角色。
-
- 用于核对正式发表状态和摘要结果。
-
- 适合观察他怎样把各阶段连成统一研究问题；
- 仍应以论文消融和外部复现判断强度。
十八、最后的压缩：怎样长期跟踪 Clune
与其问“AI 会不会明年自我进化到超级智能”，不如持续问八个技术问题：
- archive 是否保存了行为上真正不同、未来可复用的路线？
- 新任务是否要求新机制，而非旧任务的表面变体？
- 任务生成、agent 生成和 evaluator 是否都能被改进？
- 系统能否跨 benchmark 复用自己发现的组件？
- 每轮改进是否提高下一轮改进能力，还是只提高当前得分？
- foundation model 的人类文化先验是在引导开放性，还是把它重新锁回主流偏好？
- 复杂性增长是否伴随可审计性、回滚和安全约束？
- 系统是否开始承担原本由研究共同体完成的“提出问题—做实验—保留分歧—重组成果”闭环？
Clune 最值得保留的判断不是“进化会赢”，而是：
如果我们只训练一个模型去最大化一个固定分数，就不应期待它自动重演自然进化与科学文化那种依靠多样性、踏脚石和任务创新产生的开放创造力。