从 CFR、Libratus 到测试时计算

Brown 的工作表面上跨越扑克、外交谈判和推理模型，底层却是同一个问题：当世界状态不完全可见、其他行动者会针对你、而搜索空间又大到无法穷举时，怎样把一个离线学得的策略先验，与针对当前局面的在线计算结合起来？他的核心判断不是“多生成一些思维链”，而是：智能的一部分是学会把额外计算分配给最值得想的分支，并用可验证反馈不断改进这种思考策略。

一、先把他的技术世界观说清

把 Noam Brown 只称作“o1 的研究者”会丢掉他最有解释力的十年背景。推理 LLM 中许多看似突然出现的概念，在他的博弈论工作里已有具体原型：

隐藏状态与信念。 扑克中看不到对手底牌；开放任务中也不知道哪条假设正确。
策略先验。 先离线学一个覆盖全局的 blueprint，不从每个新问题的零点开始。
局部搜索。 到达具体局面后，把额外计算集中在相关子树，而非平均处理整个空间。
对手建模与稳健性。 好策略不能只对训练对手有效，否则会被新对手利用。
价值估计。 搜索不可能走到终局，必须学习如何评价中间状态。
自我修补。 对手或评测暴露策略漏洞后，把失败纳入后续改进。
推理预算。 同一基础能力可以用更长搜索获得更好决策，但收益受模型和验证器质量限制。

这条路线与“让参数记住更多知识”不同。参数提供压缩后的经验；推理则是根据当前信息进行条件化重算。

二、为什么扑克比棋更接近现实推理

1. 完美信息游戏可以把一个局面当作单一状态

在围棋和国际象棋中，双方都看见完整棋盘。给定当前局面，搜索树中的每个节点都有明确状态；对手的行动不确定，但世界本身没有隐藏部分。

扑克则不同：

自己只看见底牌和公共牌；
同一个公开局面可能对应许多真实牌局；
对手下注既改变收益，也传递关于其隐藏牌的信息；
自己的行动反过来改变对手对自己的信念；
过于规律的策略会被对手识别和利用；
有时弱牌必须下注，强牌也不能总用同一方式行动。

所以决策对象不是“当前真实节点”，而是一个 information set：从行动者视角不可区分的一组世界状态。

2. 这使“正确行动”不再是一次分类

如果训练一个网络把公开牌面映射到最常见的好动作，它可能对平均对手有效，却暴露稳定模式。对手一旦识别，就能改变策略榨取它。

博弈论的目标通常不是预测“这次对手到底有什么牌”，而是找到一种混合策略，使任何对手都难以系统性获利。随机化在这里不是模型不确定的缺陷，而是战略稳健性的组成部分。

这对 LLM 推理有一个重要类比：在多步问题中，一开始不应过早锁定单一解释。系统需要维护若干可能状态或候选解，继续收集证据，再把计算集中到仍然合理的分支。

类比不能过度使用——普通数学题没有主动欺骗的对手——但它解释了 Brown 为什么长期重视搜索、信念、价值与策略分布，而不是一次前向传播的最大概率答案。

三、CFR：不是猜中对手的牌，而是反复消除自己本可避免的遗憾

1. Counterfactual regret 的直觉

Counterfactual Regret Minimization（CFR）把大型不完全信息博弈分解到各个 information set。

直观地说，在每个自己可能到达的决策情形里，算法反复问：

如果过去在这里更常选另一个动作，在对手与机会事件按当前策略发展的反事实条件下，我会多赚多少？

这种“本可做得更好”的差值被累积成 regret。正遗憾较大的动作在下一轮获得更高概率；长期平均策略在两人零和博弈中可趋向 Nash equilibrium。

重要的是它没有要求：

先精确识别对手类型；
为每张隐藏牌构造独立完整策略；
一次全局求出庞大均衡方程；
永远选择同一个当前最优动作。

它通过局部遗憾更新，逐步得到全局难以利用的平均策略。

2. 为什么“平均策略”而不是最后一次策略

CFR 的迭代会在不同反应之间摆动；最后一轮未必稳定，但迭代策略的平均可以收敛。这提醒我们，学习过程里的即时行为与最终部署策略不是一回事。

在推理模型里也有类似区别：

训练时可以探索大量错误轨迹；
部署时只保留从这些轨迹学出的思考策略；
多样候选的统计信息可训练价值模型；
单个最终答案不应暴露全部搜索过程。

这不是说 o1 直接运行 CFR，而是 Brown 的方法论长期把“训练中的反事实探索”与“执行时的稳健策略”分开。

3. CFR 的理论漂亮，但大规模扑克仍然不可直接枚举

无限注德州扑克的决策点极多，下注金额又近似连续。即使有收敛理论，原始游戏树也无法完整展开。

工程上的真正困难变成：

如何抽象相似牌力和下注尺度；
如何跳过当前明显无用的动作；
如何并行计算大量自我对弈；
如何在比赛中重新细化当前局面；
如何让局部求解不破坏全局策略的安全性。

Brown 的贡献因此从未只是“套用一个博弈论算法”，而是把理论保证、近似、搜索与系统工程组合到现实规模。

四、Libratus：全局 blueprint、在线重求解和赛后补洞

Libratus在 2017 年击败顶级单挑无限注德州扑克选手。最值得理解的不是胜负，而是其三模块结构。

1. 模块一：提前算出覆盖全局的粗策略

系统先在抽象游戏上计算一个 approximate Nash equilibrium，形成 blueprint。

blueprint 的作用类似预训练模型：

它压缩大量离线自我对弈；
给每类局面一个合理先验；
保证系统不会在每手牌从零开始；
但因抽象和计算限制，它并不精确覆盖所有实际局面。

如果只执行 blueprint，对手会寻找抽象误差和边界漏洞。

2. 模块二：比赛中对当前子博弈重新搜索

牌局走到具体阶段后，Libratus 会针对实际下注和信息重新求解一个更细的子博弈。

这里有一个在不完全信息游戏中特别难的问题：不能像围棋那样切下当前节点就独立搜索。对手到达当前公开局面时，可能持有许多不同底牌，而且其过去行动已改变这些牌的概率。若局部搜索随意重写策略，可能让对手在子博弈边界套利。

Brown 的博士论文 Equilibrium Finding for Large Adversarial Imperfect-Information Games系统讨论了：

子博弈起点应该使用什么信念；
叶节点价值怎样估计；
怎样反复重求解而保持策略安全；
怎样把强化学习和搜索统一到不完全信息博弈。

这一步最直接预示测试时计算：离线模型给出一个粗全局策略，在线搜索用当前信息和额外算力得到更精确的局部行动。

3. 模块三：自动识别对手暴露的漏洞并修补

Libratus 会分析比赛中哪些实际行动落在 blueprint 抽象薄弱处，并在夜间增加这些子博弈的计算。

这不是传统意义上简单“模仿对手”。其逻辑是：

对手像一个主动红队，寻找策略缺口；
实际交互把最危险的分布外局面暴露出来；
系统把计算集中到这些失败切片；
更新后的策略减少可利用性。

今天的 agent eval、对抗测试、合成难题和失败回放都在重复这个闭环。Brown 很早就展示：评测不是最后打一个分，而可以成为训练课程的生成器。

4. 为什么这比“更强的网络”更有前瞻性

Libratus 的能力来自系统组合：

全局近似策略；
局部高精度搜索；
反事实价值；
对手驱动的漏洞发现；
持续增加计算。

它给出的不是某个神经架构神话，而是一种可复用认知结构：记忆/先验负责覆盖，思考负责适配，失败负责决定下一轮学什么。

五、Pluribus：从两人零和走向多人非零和，理论保证开始变薄

Pluribus在六人无限注德州扑克中击败顶级人类。这个进展经常被理解为“Libratus 扩大到更多玩家”，但难点不是简单乘六。

1. 多人博弈没有同样整齐的均衡性质

在两人零和博弈中：

一方收益就是另一方损失；
Nash equilibrium 的策略价值相对清楚；
逼近均衡能给出可利用性保证。

多人扑克中：

两个玩家的行动可能间接帮助第三方；
局部合作和竞争动态共存；
多个均衡可有不同性质；
CFR 的经典保证不再直接提供同样安全结论；
对手分布比单个最强回应更复杂。

Pluribus 因此接受更强的近似，用高效自我对弈和有限深度实时搜索获得实用性能。

2. 这一转折展示 Brown 的研究风格

他不是只在理论保证最完整的环境中工作。路线通常是：

在结构清晰的博弈里建立原则；
找到可扩展近似；
把方法推进到保证较弱但更现实的环境；
用严格对战而非漂亮演示检验。

这也预示推理 LLM 的情况。数学/代码有可验证奖励，像两人零和游戏一样提供清晰反馈；开放写作、科学和社会决策则更像多人非零和：价值不唯一，评价者会变化，局部胜利可能制造系统性副作用。

测试时计算在前者中可直接优化，在后者中必须谨慎定义“更好”。

六、ReBeL 与博士论文中的统一目标：让搜索也适用于隐藏信息

Brown 的博士论文不只总结 Libratus/Pluribus，还把一个更一般的问题写得很清楚：

能否像 AlphaZero 在完美信息游戏中那样，把强化学习、价值网络和搜索结合，但又正确处理信念与隐藏状态？

ReBeL（Recursive Belief-based Learning）把公共信念状态作为搜索对象。在两人零和不完全信息游戏中，它试图统一：

自我对弈学习价值与策略；
在线搜索改进当前决策；
belief 表示隐藏状态分布；
训练过程趋近 equilibrium。

这一步连接了 Silver 与 Brown 的路线：

AlphaZero 搜索可见棋盘状态；
ReBeL 搜索关于隐藏世界的公共信念；
两者都用学习的价值截断搜索；
两者都让搜索结果反过来改进策略网络。

现实推理比扑克更难，因为“可能世界”没有现成枚举、行动和奖励也未必明确。但 belief-space thinking 是重要方向：高级代理不能把自己最先生成的解释当成唯一真实状态。

七、CICERO：语言不是策略本身，而是受策略约束的协作通道

扑克主要通过下注交流，Diplomacy 则允许自由语言谈判。玩家需要承诺、协调、推测他人意图，也可能背叛。

CICERO与 Meta 的技术说明把战略推理和语言模型结合，在 webDiplomacy 上达到人类水平。

1. 为什么直接让语言模型聊天不够

一个纯语言模型可以生成听起来合理的谈判话术，却可能：

提议在棋盘上不可能或明显有害的行动；
前后承诺不一致；
没有关于其他玩家行动的概率模型；
语言看似合作，实际策略不支持；
只模仿局部对话风格，不优化长期局势。

CICERO 因而先由战略模块根据棋盘和对话历史预测各方策略，计算自己与他人的意图，再让可控语言模型生成与计划一致的消息。

这里的原则是：

语言负责表达、协调和更新信念；规划模块负责决定什么计划值得表达。

这与后来“LLM 既是 planner 又是 speaker”的一体化代理形成对照。CICERO 更模块化，也更容易检查语言是否有战略依据。

2. piKL：不能只追求最优，还要与人类策略保持可兼容

Meta 的说明提到 piKL 规划会在提高期望价值的同时，让新策略不要离人类数据预测的策略太远。

为什么需要这个约束？

纯自我对弈可能形成对机器彼此有效、对人却难以理解的惯例：

非人类的开局分布；
人类看不懂的协作信号；
极端但均衡的威胁；
与现实玩家的预期完全不兼容。

Diplomacy 的成功标准不是只在机器联盟里自洽，而是和人类协作。因此人类策略先验不是需要被完全消除的“污染”，而是部署环境的一部分。

这是一项很有前瞻性的判断：agent 的最优性不能脱离它所处的社会协议。 一个编码代理若以人无法维护的方式重写系统，即使短期 benchmark 更高，也可能不是更好的协作者。

3. CICERO 暴露了语言代理的一个核心边界

游戏给 CICERO 提供：

明确地图和合法动作；
回合边界；
可计算的终局得分；
大量历史对局；
有限玩家和可枚举命令。

现实谈判的目标、事实和副作用更开放，也没有统一 reward。CICERO 证明“战略规划 + 受控语言”优于无根聊天，但不能直接证明系统已理解一般社会意图或道德承诺。

八、从 CICERO 到 o1：为什么测试时计算是第二条 scaling 轴

Brown 目前在 OpenAI 研究推理、强化学习、自我对弈和多智能体 AI，并称自己是 reasoning models 的奠基贡献者之一，见其个人主页。

OpenAI 在 Learning to reason with LLMs中公布了两条经验趋势：

增加强化学习训练计算，推理性能持续提高；
让模型在测试时花更多时间思考，性能也持续提高。

这把传统预训练的“参数与数据规模”扩展成另一维：

训练时计算学会一种更好的思考策略；
测试时计算按问题难度执行更长的搜索、验证和修正。

1. 测试时计算不等于重复采样

最弱的方法是同一模型独立回答很多次，再多数表决。它能提高 pass@k，却可能反复生成同一种错误。

更强的推理计算需要：

把问题分解成中间状态；
根据部分结果选择下一分支；
用价值或 verifier 排序候选；
发现矛盾后回退；
生成测试或反例；
学会什么时候继续、什么时候停止。

这与博弈搜索的区别在于：LLM 自己要生成搜索空间，状态与动作不是预先给定。但“策略先验 + 在线分支 + 价值评估”的结构高度连续。

2. 为什么强化学习是关键，而不只是 prompt 一句“请逐步思考”

预训练让模型学会模仿互联网上的解释和推理轨迹，却不保证它会把计算用在提高最终正确率的地方。它可能：

写出冗长但无效的理由；
在错误前提上继续自洽展开；
为迎合语言风格而非求解；
不知道何时检查或换方法。

强化学习若有可靠结果反馈，可以选择真正导致正确答案的推理行为，并让模型内化：

哪类分解有效；
何时调用工具；
何时验证中间结果；
哪些错误模式需要回退；
怎样在预算内分配思考。

所以 Brown 路线最核心的技术判断应表述为：

语言模型提供极强的先验和搜索提案器，但推理能力来自用结果反馈训练一个自适应计算策略，而不是让预训练文本模型机械地产生更长文字。

3. 为什么数学、代码和形式科学先受益

这些领域有相对便宜的 verifier：

数学答案或证明可检查；
代码可编译并运行测试；
化学/物理题常有明确数值或逻辑约束；
形式定理有 proof checker。

verifier 让系统可以探索大量轨迹而不依赖人逐步标注。成功结果反过来训练 policy 和 value。

开放问题则缺少同等反馈：

一篇战略建议可能多年后才知道对错；
科学假说的实验昂贵；
伦理和政策没有单一真值；
写作质量受读者和语境影响；
模型可能优化评价器的漏洞。

因此不能从 AIME 或代码竞赛的 scaling 直接推出“所有认知任务多想一会儿都同样提升”。

九、Libratus 与 reasoning model 的结构对应：不是同一算法，但有共同骨架

可以把这条研究脉络压成一张映射表。

不完全信息博弈	推理 LLM
抽象全局 blueprint	预训练与后训练得到的基础 policy
information set / belief	对题意、隐藏变量和候选解释的不确定状态
在线 subgame solving	针对当前问题的测试时搜索
counterfactual value	对中间推理分支成功概率的评价
对手利用策略漏洞	benchmark、red team 或 verifier 暴露错误
夜间补洞	用失败轨迹继续 RL / 数据迭代
混合策略	维持多个候选、避免过早塌缩
计算预算	思考 token、采样数、工具调用与搜索深度

必须强调：公开资料没有说明 o1 直接采用 Libratus 的具体算法，内部实现也未公开。这里是方法论连续性，不是算法归因。

真正值得关注的是 Brown 把“思考”工程化为一个可度量过程：

固定模型质量时，增加多少计算能提高多少成功率；
搜索是否根据当前状态自适应；
verifier 是否可靠；
失败是否能进入下一轮训练；
策略是否对新题和对抗输入稳健。

十、他的世界观：智能是对不确定性进行有选择的计算

1. 一次前向传播是摊销过的经验，不是全部思考

神经网络把大量训练计算摊销进参数，所以能迅速给出直觉。对于常见任务，这极其高效。

但陌生或高风险问题需要：

明确列出不确定变量；
比较互斥解释；
模拟不同动作；
检查结果；
在证据变化后重算。

Brown 不需要否认表征学习；他的路线把它放在搜索之前。直觉决定哪些分支值得展开，搜索纠正直觉，搜索结果再训练更好的直觉。

2. 推理的关键不是长度，而是计算的边际价值

一个好系统应该知道：

简单题无需长想；
哪一步最不确定；
额外一次工具调用能否减少不确定；
当前 verifier 是否足够可信；
继续搜索是否只是产生同质答案；
何时应请求外部信息。

所以更根本的指标不是“用了多少 reasoning tokens”，而是 每单位测试时成本换来多少可靠性。

3. 在有对手的环境里，稳健性比平均准确率更重要

扑克训练让 Brown 关注 exploitability：平均对手上表现好，不等于不会被针对。

对 LLM agent，这对应：

提示注入是否利用固定行为；
evaluator 是否可被 reward hacking；
工具输出是否能操纵模型；
长任务中的局部承诺是否可被反向利用；
模型是否能识别自己正在被测试。

传统静态 benchmark 的平均分无法完全捕捉这种战略脆弱性。

十一、与其他路线的关系

1. 与 David Silver：最接近的技术亲缘

共同点：

自我对弈产生训练课程；
policy/value 学习与搜索互相增强；
额外测试时计算可以提高决策；
成功依赖明确环境与可验证结果。

差异：

Silver 的标志性系统从完美信息游戏出发；
Brown 从隐藏信息、belief 和策略可利用性出发；
AlphaZero 在单一可见状态上搜索；
Brown 必须同时处理“世界可能是什么”和“别人认为我会做什么”。

如果 Silver 代表“在已知状态中规划”，Brown 代表“在信念和对手中规划”。

2. 与 Sutton：认同经验与 RL，但更依赖搜索结构

Sutton 强调持续交互、奖励与一般学习算法，担心人类知识工程成为瓶颈。

Brown 同样依赖自我对弈和结果反馈，却愿意大量利用：

明确博弈结构；
equilibrium 概念；
搜索树；
belief state；
verifier 和人为任务接口。

他的成功更像“经验 + 正确计算结构”，而非让一个极简通用学习器完全自行发现推理。

3. 与 LeCun：解决的是世界模型之上的 deliberation 层

LeCun 会问模型如何从感知学到可预测的世界状态，怎样形成分层潜在世界模型。

Brown 的工作通常假设：

游戏状态和动作已定义；
或 LLM 已有强世界知识和语言表征。

然后他问怎样在此之上分配在线计算、维护信念和选择行动。因此二者更多互补而非竞争。一个具身代理可能需要 LeCun 式世界模型，外加 Brown 式 belief search 和 test-time deliberation。

4. 与 Chollet：都重视现场适应，但测量对象不同

Chollet 关心系统能否从极少新证据构造此前未准备的程序，并警惕开发者把测试分布买进训练。

Brown 路线表明测试时搜索可显著提高新题能力，却可能使用大量：

预训练先验；
合成同类任务；
RL 训练；
verifier；
测试时采样。

从 Chollet 的测量学看，这些资源都应计入。Brown 证明“更多现场计算有效”；Chollet 会继续问“每获得一项新技能到底花了多少准备和计算”。

仍不清楚：

收益在更高规模是否持续；
推理成本能否经济地部署；
同一曲线能否延伸到弱验证的开放任务；
模型是否只学会更好利用特定 benchmark 结构。

完整合法动作；
Markov 状态；
可靠价值函数；
便宜终局；
固定对手和规则。

若问题表示错了，再深的搜索只会更自信地优化错误目标。

十三、他最强的论证与最弱的外推

最强论证：能力不只由模型参数决定，也由“问题到来后允许它做什么计算”决定

相同知识库面对难题时可以：

立即猜一个答案；
生成多个候选；
运行工具；
构造反例；
用 verifier 排序；
回退并修改；
根据不确定性继续搜索。

这些执行策略会造成巨大能力差异。把所有智能都归因于预训练 loss，会遗漏部署时算法。

最弱外推：只要继续增加推理时间，开放世界能力也会平滑增长

测试时 scaling 依赖至少三个条件：

搜索空间包含正确解；
policy 有概率提出有用分支；
value/verifier 能区分进展与伪进展。

在开放世界中三者可能同时失败。模型若没有关键事实，长想不会创造证据；评价器若偏置，搜索会扩大 reward hacking；世界模型若错误，rollout 越深误差越大。

因此推理 compute 是杠杆，不是信息、表征和反馈的替代品。

十四、评价推理模型时，应该看什么而不是只看榜单

1. 计算—质量曲线

固定模型后，增加 2 倍测试成本能提高多少；
不同题难度是否自适应分配预算；
曲线何时饱和或倒退；
reranking、搜索和单轨长思考分别贡献多少。

2. verifier 的独立性

verifier 是否见过同类训练分布；
是否只检查最终格式而非实质；
模型能否学会利用它的漏洞；
外部执行器、形式证明与模型自评的差距多大。

3. 搜索多样性与回退

候选是否真正使用不同假设；
发现矛盾后能否回到分叉点；
是否持续给错误初解写辩护；
隐藏状态变化后信念能否更新。

4. 对抗稳健性

新题型是否让思考策略失效；
攻击者是否能诱导固定推理模式；
多智能体环境中是否被策略性利用；
模型是否在“知道被评价”时改变行为。

5. 端到端经济性

每个正确答案的实际推理成本；
延迟、并发与能耗；
人类检查成本是否真正下降；
更大的基础模型与更多测试时计算，哪一个边际收益更高。

十五、按思想演进阅读原始材料

第一阶段：先理解不完全信息为什么改变搜索

Brown 的博士论文
- 最完整地连接 CFR、抽象、剪枝、safe search、Libratus、Pluribus 与 ReBeL；
- 优先读引言、关于 imperfect-information search 的章节和结论。
Libratus: The Superhuman AI for No-Limit Poker
- 重点看 blueprint、nested subgame solving 与 self-improver 三模块；
- 把它与现代“预训练—推理—失败回流”闭环对照。

第二阶段：看理论保证怎样在更现实环境中变弱

Superhuman AI for multiplayer poker / Pluribus
- 看六人、非零和条件怎样改变算法取舍；
- 注意高性能与理论均衡保证不是同一个主张。
博士论文中的 ReBeL 部分
- 理解 public belief state；
- 比较 AlphaZero 在可见状态上的搜索。

第三阶段：看语言如何接入战略

Human-level play in the game of Diplomacy by combining language models with strategic reasoning
- 重点看战略模块如何预测 policy 与 intent；
- 看语言生成如何受计划和过滤约束。
Meta 的 CICERO 技术说明
- 适合快速理解 piKL、人类策略锚定和整体系统。

第四阶段：理解推理模型中的新 scaling 轴

Learning to reason with LLMs
- 重点看 train-time compute 与 test-time compute 两条曲线；
- 区分单样本、consensus 和 learned scoring function。
Noam Brown 个人主页
- 用来确认其当前研究范围与项目归属；
- 追踪新论文时仍应回到具体技术报告。

十六、最后的压缩：怎样长期跟踪 Brown 的判断

不要只问下一代 reasoning model 在 AIME 上多得几分。更有价值的六个问题是：

模型能否根据不确定性而非固定长度分配思考预算？
搜索是否产生真正不同的假设，并在证据变化后更新 belief？
verifier 是否独立、可校准且难被利用？
数学代码以外，测试时计算能否在昂贵、迟延、含混反馈中稳定获益？
agent 面对会适应它的对手时，平均性能会不会掩盖致命可利用性？
在线搜索的新发现能否安全、持续地回流为更好的全局 policy？

Brown 最值得关注的前瞻判断可以压成一句话：

预训练让模型拥有直觉；真正的推理系统还必须学会在当前信念下搜索、验证、回退，并知道多想一分钟是否值得。