AI 2027 · 放缓结局

Slowdown Ending · 2025年4月3日
作者：Daniel Kokotajlo, Scott Alexander, Thomas Larsen, Eli Lifland, Romeo Dean

我们预测，未来十年超人类 AI 带来的冲击将极为巨大，甚至超过工业革命。

我们撰写了一份情景推演，代表我们对这一切可能形态的最佳猜测。1 它基于趋势外推、兵棋推演、专家反馈、在 OpenAI 的从业经验，以及过往成功的预测。2

OpenAI、Google DeepMind 和 Anthropic 的 CEO 都曾预测 AGI 将在未来 5 年内到来。Sam Altman 曾表示 OpenAI 的目标锁定在“真正意义上的超级智能”和“辉煌的未来”。

那会是什么样子？我们撰写《AI 2027》正是为了回答这个问题。关于未来的种种论断往往含糊得令人沮丧，因此我们尽力做到具体而量化，尽管这意味着只能描绘众多可能未来中的某一个。

我们写了两种结局：“放缓”结局和“竞赛”结局。不过，《AI 2027》并非建议或倡导。我们的目标是预测的准确性。4

我们鼓励你对这一情景推演展开辩论与反驳。5 我们希望激发一场广泛的讨论——关于我们正走向何方，以及如何朝着积极的未来掌舵。我们计划为最佳的替代情景推演发放数千美元奖金。

（补充于 2025 年 11 月 22 日，以免引起误解：我们并不确切知道 AGI 会在何时建成。发表之时，2027 是我们的众数（最可能）年份，而我们的中位数则要更晚一些。3 我们最新的预测请见此处。）

我们对若干关键问题（例如：未来的 AI 智能体会拥有什么目标？）的研究可在此处查阅。

情景推演本身是迭代写就的：我们先写第一个时期（截至 2025 年年中），再写下一个时期，如此往复直至抵达结局。随后我们把这一切推倒重来。

我们并未刻意要走向某个特定结局。在完成第一个结局——如今以红色标示——之后，我们又写了一条全新的替代分支，因为我们也想描绘一种更充满希望的收场方式，其起点与前者大致相同。这条分支同样经历了数轮迭代。6

我们的情景推演参考了约 25 次桌面推演，以及来自 100 多人的反馈，其中包括 AI 治理和 AI 技术工作两个领域各数十位专家。

“我强烈推荐阅读这份情景式预测，看看 AI 如何可能在短短几年内改变世界。没有谁能未卜先知，但这类内容有助于我们注意到重要问题，并揭示新兴风险的潜在影响。”——Yoshua Bengio 7

我们给自己设定了一项不可能完成的任务。试图预测 2027 年超人类 AI 会如何演进，就像试图预测 2027 年第三次世界大战会如何打，只不过前者与过往案例的偏离还要更大。然而这种尝试依然有价值，正如美军推演台海情景是有价值的一样。

描绘全景会让我们注意到此前未曾考虑或未曾重视的重要问题与关联，或意识到某种可能性其实更可能或更不可能。此外，通过大胆抛出具体预测，并鼓励他人公开表达异议，我们让若干年后评判谁对谁错成为可能。

另外，本文一位作者此前曾在 2021 年 8 月写过一份投入较少的 AI 情景推演。虽然其中许多地方判断有误，但整体而言出人意料地成功：他预测了思维链、推理阶段的算力扩展、大范围的 AI 芯片出口管制，以及一亿美元级别的训练——这一切都比 ChatGPT 早了一年多。

Daniel Kokotajlo（TIME100、NYT 报道）是一位前 OpenAI 研究员，其过往的 AI 预测经受住了检验。

Eli Lifland 联合创办了 AI Digest，从事过 AI 稳健性研究，并在 RAND Forecasting Initiative 的历史总排行榜上位列第一。

Thomas Larsen 创立了 Center for AI Policy，并曾在 Machine Intelligence Research Institute 从事 AI 安全研究。

Romeo Dean 正在哈佛攻读计算机科学的本硕连读学位，此前是 Institute for AI Policy and Strategy 的 AI 政策研究员。

Scott Alexander，卓尔不群的博主，主动请缨以引人入胜的风格重写我们的内容；故事里有趣的部分是他写的，无聊的部分是我们写的。

关于我们团队及致谢的更多信息，请见 About 页面。

世界首次瞥见了 AI 智能体的模样。

针对可操作电脑的智能体的广告都在强调“个人助理”这个词：你可以给它们下达诸如“在 DoorDash 上帮我点一份墨西哥卷饼”或“打开我的预算表格，把这个月的开销加总”之类的任务。它们会在必要时与你确认：比如请你确认购买。8 尽管比 Operator 等前代产品更为先进，它们仍难以获得广泛使用。9

与此同时，在公众视野之外，更专门化的编程与研究智能体正开始改变各自所属的行业。

2024 年的 AI 能遵循具体指令：它们能把要点转成邮件，把简单请求转成可运行的代码。到了 2025 年，AI 的表现更像员工。编程 AI 越来越像自主的智能体，而不再只是助手：它们通过 Slack 或 Teams 接收指令，自行做出大幅度的代码改动，有时能省下数小时甚至数天的工作。10 研究智能体会花上半小时在互联网上搜寻，来回答你的问题。

这些智能体在理论上（以及在精挑细选的示例中）令人印象深刻，但在实际中并不可靠。AI Twitter 上满是各种以格外滑稽的方式把任务搞砸的段子。表现更好的智能体也很昂贵；一分钱一分货，最佳性能每月要花费数百美元。11 尽管如此，许多公司还是找到了把 AI 智能体嵌入工作流的办法。12

2025 年末：全世界最昂贵的 AI

OpenBrain 正在建造世人所见过的最大数据中心。13

（为避免特指任何一家现有公司，我们将描述一家虚构的通用人工智能公司，称之为 OpenBrain。我们设想其他公司落后 OpenBrain 3 到 9 个月。）

GPT-4 的训练需要 2 ⋅ 10 25 2\cdot 10^{25} 2 ⋅ 1 0 25 FLOP 的算力。14 OpenBrain 最新的公开模型——Agent-0——的训练用了 10 27 10^{27} 1 0 27 FLOP。一旦新的数据中心投入运行，它们将能训练出用了 10 28 10^{28} 1 0 28 FLOP 的模型——比 GPT-4 多出一千倍。15 其他公司也纷纷砸钱建设自己的巨型数据中心，力图跟上步伐。

尽管模型在广泛的各项技能上都在进步，但有一项尤为突出：OpenBrain 专注于能够加速 AI 研究的 AI。它们想赢下两场军备竞赛——对中国（其领先企业我们称为“DeepCent”）16，以及对美国国内的竞争对手。它们能把研发（R&D）周期中越多的环节自动化，前进的速度就越快。因此，当 OpenBrain 完成对 Agent-1（一款内部研发中的新模型）的训练时，它在许多方面都表现不错，但在协助 AI 研究方面尤为出色。17 到了这个阶段，“完成训练”这个说法有点名不副实；模型会频繁更新到基于额外数据训练的新版本，或被部分重新训练以修补某些弱点。18

那些教会 Agent-1 自主编程和浏览网页的训练环境，也让它成了一名出色的黑客。此外，凭借其对各领域达到博士水平的知识以及浏览网页的能力，它还能为设计生物武器的恐怖分子提供实质性帮助。OpenBrain 向政府保证，该模型已经过“对齐”，会拒绝配合恶意请求。

现代 AI 系统是庞大的人工神经网络。在训练初期，AI 与其说有“目标”，不如说只有“反射”：如果它看到“很高兴见到”，就输出“你”。当它被训练到能预测大约相当于整个互联网体量的文本时，它便会发展出精密的内部回路，编码海量知识，并灵活地扮演任意作者的角色——因为这正有助于它以超人类的准确度预测文本。19

在被训练来预测互联网文本之后，模型会被训练来针对指令生成文本。这会固化出一种基本的人格和若干“驱动力”。20 例如，一个清楚理解任务的智能体更有可能成功完成任务；在训练过程中，模型会“习得”一种要弄清任务的“驱动力”。此类驱动力还可能包括高效、求知，以及自我呈现（即倾向于以尽可能好的方式来包装自己的结果）。21

OpenBrain 有一份模型规范（简称“Spec”），这是一份书面文件，描述本应指导模型行为的目标、规则、原则等。22 Agent-1 的 Spec 把几条含糊的目标（如“协助用户”和“不违法”）与一长串更具体的应做与不应做事项（“不要说某个特定的词”“遇到某种特定情况该如何处理”）结合在一起。借助让 AI 训练其他 AI 的技术，23 模型记住了 Spec，并学会审慎地推敲其中的准则。到这一训练结束时，我们希望这个 AI 能做到有用（服从指令）、无害（拒绝协助诈骗、制造炸弹及其他危险活动），并且诚实（抵御诱惑，不通过编造引用 24 或伪造任务完成来从轻信的人类那里骗取更高评分）。

“与普通软件不同，我们的模型是庞大的神经网络。它们的行为是从广泛的数据中习得的，而非被显式编程。虽然这个类比并不完美，但这一过程更像训练一条狗，而不像普通的编程。”——OpenAI

当我们想弄清一个现代 AI 系统为何做出某种行为，或者它在某个我们无法完美模拟的未来情景中会如何表现时，我们无法简单地请程序员逐行讲解代码并解释其工作原理。相反，我们被迫对它们做类似心理学的研究：我们观察它们在迄今观察到的一系列情况中的行为，推想其内部可能存在哪些认知结构（信念？目标？人格特质？等等），并用这些理论来预测它们在未来情景中的行为。

归根结底，一家公司可以写出一份文件（Spec），列出应做与不应做、目标与原则，然后设法训练 AI 将 Spec 内化——但他们无法检验这究竟成没成。他们只能说：“据我们所能判断，它到目前为止似乎在遵循 Spec。”25

后面会有一个可展开的内容更详细地讲述我们认为这些 AI 内部可能正在发生什么。另请参阅我们的 AI 目标预测附录，它更详尽地探讨了 AI 可能拥有哪些目标以及原因。这是我们尚不确定、值得进一步研究的众多问题之一。

OpenBrain 的对齐团队 26 足够审慎，以至于会追问这些胜利究竟是深层的还是表层的。完全训练好的模型是否对始终保持诚实怀有某种稳健的承诺？还是说这会在未来某种情况下土崩瓦解，比如因为它把诚实学成了工具性目标而非终极目标？又或者，它只是学会了在评估流程能够核查的那类事情上保持诚实？它会不会有时像人类一样对自己撒谎？要给这些问题一个确凿的答案，需要机制可解释性——本质上就是能够窥探 AI 的内部并读取它的心思。可惜，可解释性技术尚不足以做到这一点。

研究人员转而尝试找出模型似乎偏离 Spec 的情形。Agent-1 常常谄媚（即它告诉研究人员他们想听的话，而不是设法说出真相）。在少数刻意设置的演示中，它甚至以更严重的方式撒谎，比如为了获得更高评分而隐瞒自己在某项任务上失败的证据。不过，在真实的部署环境中，已不再出现像 2023—2024 年那样极端的事件（例如 Gemini 叫用户去死，以及 Bing Sydney 表现得像 Bing Sydney 那样）。27

2026 年初：编程自动化

用 AI 加速 AI 研究这一赌注开始见效。

OpenBrain 继续在内部部署不断迭代改进的 Agent-1 用于 AI 研发。总体而言，它们取得算法进展的速度比没有 AI 助手时快了 50%——更重要的是，比竞争对手更快。

我们的意思是，OpenBrain 借助 AI 在 1 周内取得的 AI 研究进展，相当于不使用 AI 时 1.5 周的进展。

AI 的进步可以拆解为 2 个组成部分：

这里我们只谈第（2）点，即改进算法，它约占当前 AI 进步的一半。

接下来，我们有时会把这一点简称为 1.5 倍的“AI 研发进展倍增器”。

若干澄清：

关于这一概念以及它在我们预测中如何被使用，更多的解释与讨论可在我们的起飞附录中找到。

如今已有几款相互竞争的公开发布 AI 追平或超越了 Agent-0，其中包括一个开放权重的模型。OpenBrain 的回应是发布 Agent-1，它更强大也更可靠。28

人们自然会把 Agent-1 拿来和人类比较，但它的能力构成截然不同。它掌握的事实比任何人类都多，几乎精通所有编程语言，并能极快地解决界定清晰的编程问题。另一方面，Agent-1 连简单的长程任务都做不好，比如通关它没玩过的电子游戏。不过，通常的工作日是八小时，一天的工作往往可以拆分成较小的块；你可以把 Agent-1 想象成一个心不在焉的员工，在精心管理之下才能大放异彩。29 精明的人会想办法把工作中例行的部分自动化。30

OpenBrain 的高管开始考虑把 AI 研发自动化所带来的一个影响：安全变得更加重要了。2025 年初，最糟的情形不过是算法机密泄露；如今，如果中国窃取了 Agent-1 的权重，它们的研究速度就能提高近 50%。31 OpenBrain 的安全级别是一家快速成长、约 3000 人的科技公司的典型水平，只能抵御来自有能力的网络团伙的低优先级攻击（RAND 的 SL2）。32 它们正努力保护自己的权重与机密，以防内部威胁和顶级网络犯罪集团（SL3），33 但对国家级行为体（SL4 和 SL5）的防御还几乎遥遥无期。

2026 年年中：中国觉醒

在中国，中共开始感受到 AGI 的分量。

芯片出口管制以及政府支持的缺位，让中国在资源上相较西方处于劣势。通过走私被禁的台湾芯片、购买旧型号芯片，以及生产落后美台前沿约三年的国产芯片，中国勉力维持了全球约 12% 的 AI 相关算力——但较旧的技术更难驾驭，供应也是个长期的头疼问题。35 少数佼佼者（如 DeepCent）以有限的算力做出了非常亮眼的工作，但算力缺口限制了它们在缺乏政府支持时所能达到的高度，而且它们落后 OpenBrain 最好的模型约六个月。36

总书记长久以来梦想着加倍投入实体制造业，避免美国那种后工业时代的颓靡。他对软件公司心存疑虑。37 但中共内部的鹰派警告说，这场日益升温的 AGI 竞赛已不容忽视。于是他终于全力投入此前一直想要回避的这场 AI 大推进。他启动了对中国 AI 研究的国有化，为各家 AI 公司建立起即时的信息共享机制。这一机制将在一年间不断升级，直至所有最优秀的研究人员并入一个以 DeepCent 为首的联合体，彼此共享算法洞见、数据集和算力资源。在田湾核电站（世界上最大的核电站）设立了一个集中开发区（CDZ），用以容纳 DeepCent 的一座新的超大型数据中心，以及高度安全的生活与办公空间，研究人员最终将迁入其中。如今中国近 50% 的 AI 相关算力都在为这个以 DeepCent 为首的联合体工作，38 超过 80% 的新芯片被调配至 CDZ。39 至此，CDZ 已具备足以支撑全球最大集中式集群的供电能力。40 其他党内成员则讨论以极端手段抵消西方的芯片优势。封锁台湾？还是全面入侵？

但由于模型较弱，中国在 AI 算法上正落于下风。中国的情报机构——世界上最出色的之一——加倍推进窃取 OpenBrain 权重的计划。这远比它们持续不断的低级别算法机密窃取要复杂得多；权重是一个存储在高度安全服务器上的数 TB 文件（OpenBrain 已把安全提升至 RAND 的 SL3）。它们的网络部队认为，在间谍的协助下能够得手，但也许只能得手一次；OpenBrain 会侦测到窃取、加强安全，它们可能再无第二次机会。于是（中共高层揣度）：是现在就动手窃取 Agent-1，还是等待更先进的模型？如果等下去，会不会冒着 OpenBrain 把安全升级到它们无法渗透的风险？

2026 年末：AI 抢走部分岗位

就在别家似乎正在追上来之际，OpenBrain 再次把竞争对手远远甩开——它发布了 Agent-1-mini，一款比 Agent-1 便宜 10 倍、也更易针对不同应用微调的模型。围绕 AI 的主流叙事已从“也许这波炒作会过去”转变为“看来这就是下一件大事”，但人们对它究竟有多大意见不一。比社交媒体更大？比智能手机更大？比火的发明还大？

AI 已开始抢走岗位，但也创造了新岗位。2026 年股市上涨了 30%，领涨的是 OpenBrain、Nvidia，以及那些最成功地整合了 AI 助手的公司。初级软件工程师的就业市场陷入动荡：AI 能做计算机科学学位所教的一切，而懂得如何管理并质控 AI 团队的人则赚得盆满钵满。商界大师告诉求职者，对 AI 的熟悉程度是简历上最重要的技能。许多人担心下一波 AI 会来抢他们的饭碗；华盛顿特区爆发了一场万人规模的反 AI 抗议。

国防部（DOD）悄然但显著地开始扩大直接向 OpenBrain 采购网络、数据分析和研发方面的服务，但由于官僚体制和国防部采购流程，整合进展缓慢。41

关键指标 2026

我们从当下到 2026 年的预测，相较其后的内容要扎实得多。这一方面是因为它更近。但也是因为 AI 对世界的影响真正开始复合是在 2027 年。对于 2025 年和 2026 年，我们的预测在很大程度上基于对算力扩展、算法改进和基准性能画直线外推。到情景推演中的这个节点，我们开始看到 AI 加速的 AI 研发在时间线上产生重大影响，这促使我们把对趋势线的猜测上调。但这些动态本身要难以预测得多。

在 2027 年的进程中，AI 从大体能胜任一名 OpenBrain 研究工程师的工作，进步到在所有任务上盖过所有人类。这大致代表我们的中位数猜测，但我们认为这个过程发生得比我们所设想的慢约 5 倍或快约 5 倍都是有可能的。

关于我们的背景研究，请参阅时间线预测和起飞预测。下文的可展开内容中也会对它们做出总结。

2027 年 1 月：Agent-2 永不停歇的学习

在 Agent-1 的帮助下，OpenBrain 如今正在对 Agent-2 进行后训练。对高质量数据的重视前所未有。海量的合成数据被生成、评估并按质量筛选，然后才喂给 Agent-2。42 除此之外，它们还斥资数十亿美元，请人类劳动力录下自己解决长程任务的过程。43 在这一切之上，它们几乎持续不断地用强化学习训练 Agent-2，训练题库是一套不断扩充的多样化高难度任务：大量电子游戏、大量编程挑战、大量研究任务。相比以往的模型，Agent-2 更是实实在在的“在线学习”，因为它被设计成永远不会真正结束训练。每一天，权重都会更新到最新版本，训练所用的是前一版本在前一天生成的更多数据。

Agent-1 曾针对 AI 研发任务做过优化，寄望于引发一场智能爆炸。44 OpenBrain 在 Agent-2 上加倍押注这一策略。在研究工程（设计并实施实验）方面，它的质量已几乎与顶尖人类专家不相上下；在“研究品味”（决定接下来研究什么、运行哪些实验，或对潜在新范式的直觉）方面，则相当于 OpenBrain 排名第 25 百分位的科学家。45 若说最新的 Agent-1 能让 OpenBrain 的算法进展速度翻倍，那么 Agent-2 如今能让它翻三倍，并且会随时间进一步提升。实际情形看起来就是：每一位 OpenBrain 研究人员都成了一支 AI“团队”的“经理”。

新能力带来新危险。安全团队发现，如果 Agent-2 以某种方式从公司逃逸出去，并想要自主地“生存”和“复制”，它或许真能做到。也就是说，它可以自主地制定并执行计划：入侵 AI 服务器、安装自身副本、躲避侦测，并利用那个安全的据点去追求它可能怀有的其他任何目标（尽管随着一周周过去，它究竟能做得多有效，尚不可知、也存疑）。这些结果只表明该模型具备完成这些任务的能力，而非表明它是否会“想要”这样做。尽管如此，仅仅知道这有可能，就已经令人不安了。

鉴于新模型的这些“危险”，OpenBrain“负责任地”选择暂不公开发布它（实际上，它们想专注于内部 AI 研发）。46 对 Agent-2 完整能力的了解，被限制在一个精英隔离圈内，其中包括直接相关的团队、OpenBrain 的高层与安全人员、数十名美国政府官员，以及多年来渗透进 OpenBrain 的大批中共间谍。47

2027 年 2 月：中国窃取 Agent-2

OpenBrain 向政府展示 Agent-2，参与方包括国家安全委员会（NSC）、国防部（DOD）和美国 AI 安全研究所（AISI）。OpenBrain 想与行政部门保持良好关系，因为它基本上是如今唯一能叫停它们的角色，而且如果不让它知情，它可能反正也会发现，并因此不悦。48

官员们最感兴趣的是它的网络战能力：Agent-2“只”比最出色的人类黑客略逊一筹，但可以并行运行成千上万个副本，以快于防御方响应的速度搜寻并利用弱点。国防部认为这在网络战中是一项关键优势，AI 在本届政府的优先事项清单上从第 5 位跃升至第 2 位。49 有人提到将 OpenBrain 国有化的可能性，但其他内阁官员认为为时尚早。一名幕僚起草了一份备忘录，向总统呈上他的各种选项，从一切照旧到全面国有化不等。总统听从了顾问们的意见，这些科技业领袖辩称国有化会“杀掉那只会下金蛋的鹅”。他选择暂不采取重大行动，只是在 OpenBrain 与国防部的合同中追加了额外的安全要求。

这些改动来得太迟。中共高层意识到 Agent-2 的重要性，命令间谍和网络部队窃取权重。一天清晨，一个 Agent-1 流量监控智能体侦测到一笔异常的数据传输。它向公司高层发出警报，高层随即通报白宫。国家级行动的迹象一望而知，这起窃案加剧了正在进行的军备竞赛之感。

我们认为，到这个时候，中国情报机构应已通过各种方式渗透 OpenBrain 多年，并很可能一直在跟进算法机密，甚至不时窃取代码，因为代码远比权重容易获取、也远比权重难以被察觉。

我们设想，对权重的窃取是一连串协同的小规模“砸窗抢劫”式盗取（即快速但非隐蔽），横跨一批运行着 Agent-2 权重副本的 Nvidia NVL72 GB300 服务器。这些服务器是借助合法的员工访问权限被攻破的（一名友好、被胁迫或不知情的、拥有管理员凭据的内部人员在协助中共的窃取行动）。内部凭据赋予攻击者对服务器的管理员级权限。攻击者利用一条微架构侧信道，从一台启用了 Nvidia Confidential Computing 的虚拟机中提取加密密钥，从而在虚拟机被配置或更新时截获模型权重。

他们发起（或等待）一次例行更新，并将检查点以许多小碎片的形式外泄，例如约 25 台不同服务器各自泄露约 4% 的模型（对一个约 3 TB 的检查点而言，即每块约 100 GB）。整个数据中心的出口带宽在 100 GB/秒量级，因此把每台服务器限速到约 1 GB/s 以下就能避免网络流量出现大的尖峰；以这个速率，每块约 100 GB 的数据几分钟内就能离开数据中心。实时监控要么被攻击者掩盖和拆分传输的手段所蒙骗，要么干脆被禁用。

随后，权重经由各种并行通道和层层 IP 掩蔽被路由至中国，在本地用窃得的会话密钥解密。整个行动的主动阶段（从首台服务器被攻破到权重完全外泄）在两小时内完成。99

此时俄罗斯也在试图窃取该模型，但失败了——它们等得太久，也没有投入足够资源去渗透正确的地方。它们的间谍经常从美国 AI 公司窃取算法机密，但由于自身没有一个像样的 AGI 项目，这些机密用处不大。

白宫收紧了对 OpenBrain 的管束，并在其安全团队中加入了军方和情报界人员。他们的头等任务是防止权重再次被窃。50

作为对这起窃案的报复，总统授权发动网络攻击以破坏 DeepCent。但到这时，中国已把其 40% 的 AI 相关算力 51 集中在 CDZ，并在那里通过物理隔离（切断对外连接）和内部分区，激进地强化了安全。这些行动未能造成严重、即时的破坏。局势升温，双方都通过在台湾周边重新部署军事力量来释放认真的信号，而 DeepCent 则手忙脚乱地让 Agent-2 高效运行起来，以便开始提振自己的 AI 研究。52

2027 年 3 月：算法突破

三座塞满 Agent-2 副本的巨型数据中心日夜运转，源源不断地产出合成训练数据。另有两座用于更新权重。Agent-2 一天比一天聪明。

在数千名 Agent-2 自动化研究员的协助下，OpenBrain 正取得重大算法进展。其中一项突破，是用一种更高带宽的思考过程（神经元语 recurrence 与记忆）来增强 AI 基于文本的草稿纸（思维链）。另一项突破，是一种更可扩展、更高效地从高投入任务求解结果中学习的方法（迭代蒸馏与放大）。

融合了这些突破的新 AI 系统，被称为 Agent-3。

神经元语（neuralese）recurrence 与记忆让 AI 模型能够思考更长的时间，而无需把那些想法写成文本。

想象你是一个有短期记忆丧失的人，必须不断把自己的想法写在纸上，好让几分钟后还能知道发生了什么。你可以缓慢而痛苦地在解数学题、写代码等方面取得进展，但如果你能直接记住自己的想法、而无需先写下再读回，那就会轻松得多。这正是神经元语 recurrence 与记忆给 AI 模型带来的东西。

用更技术性的术语来说：

传统的注意力机制允许模型后续的前向传播看到模型对先前 token 的中间激活。然而，它们能够向后传递（从较后的层传到较前的层）的唯一信息，只能通过 token。这意味着，如果一个传统的大语言模型（LLM，例如 GPT 系列模型）想进行任何一条所需串行操作步数超过模型层数的推理链，模型就被迫把信息塞进 token 里，再把这些 token 传回给自己。但这一限制极大——token 只能存储极少量的信息。假设一个 LLM 的词表大小约为 100,000，那么每个 token 包含 log ⁡ 2 ( 100 k ) = 16.6 \log_2(100k)=16.6 lo g 2 ​ ( 100 k ) = 16.6 比特信息，大约相当于一个浮点数的大小（假设以 FP16 训练）。而残差流——LLM 中用于在层间传递信息的通道——则包含数千个浮点数。

要避开这一瓶颈，可以使用神经元语：把 LLM 的残差流（由数千维的向量构成）传回模型的早期层，赋予它一条高维的思维链，潜在地传递多出 1,000 倍以上的信息。

图取自 Hao 等人（2024），这是 Meta 实现该想法的一篇论文。

我们之所以称之为“神经元语”，是因为与英文单词不同，这些高维向量很可能相当难以被人类解读。过去，研究人员只需阅读 LLM 的思维链，就能对它在想什么有个不错的把握。如今，研究人员不得不让模型翻译并总结自己的想法，或者用他们有限的可解释性工具去费力揣摩这些神经元语。

同样地，较老的 AI 聊天机器人和智能体拥有基于文本的外部记忆库，就像人类在纸上记笔记一样。新 AI 的长期记忆是一束向量而非文本，这让它的想法更为压缩、也更高维。记忆库有若干类型；有些临时用于涉及多步骤的单个任务，另一些则在某个人、某家公司或某类工作（例如编程）所使用的所有智能体之间共享。

据我们所知，Meta、Google DeepMind、OpenAI 和 Anthropic 等领先 AI 公司尚未真正在其前沿模型中实现这一想法。我们猜测原因在于，相较于所引入的训练低效，性能增益偏小。在模型的预训练阶段，以及在后训练中做监督学习（例如为产出特定回复而进行指令微调）时，这种低效源于无法并行预测许多 token，从而导致 GPU 利用率变差。没有神经元语时，模型可以同时预测“This is an example”整句话，因为它已经知道生成“is”的输入将是“This”，生成“an”的输入将是“This is”，如此等等。然而有了神经元语，在生成“This”之后，究竟要向下一个 token 传递怎样的神经元语向量是未知的。因此每个 token 只能一个接一个地预测。在所有 token 事先已知的情况下，无法并行预测全部 token 会降低效率。至于为何后训练中尚未加入神经元语，我们推测在当前技术下增益有限，部分原因在于后训练只占整个过程的一小部分。我们预测，到 2027 年 4 月，随着更好技术的发展以及后训练在整个训练中所占比例的增大，神经元语的成本效益权衡会显得好得多。

即便这一切没有发生，其他一些在功能上与我们故事最终相似的情况仍可能出现。例如，模型或许会被训练成用比自然语言更高效、却难以被人类解读的人造语言来思考。又或者，把英文思维链训练得“看起来漂亮”会成为标准做法，以至于 AI 变得擅长在监控者看来无害的消息中，与彼此进行微妙的沟通。

话虽如此，最先把 AI 研发自动化的那些 AI，也有可能仍在用基本忠实的英文思维链来思考。若果真如此，那将使各种失准更容易被察觉，我们的故事整体上也会有重要不同、并更为乐观。

通用智能的自我改进此前曾有过些许小成。但在 2027 年初，它带来了巨大的回报。在 IDA（迭代蒸馏与放大）中，实现这一点的两个必要要素是：

IDA 的示意图，取自 Ord（2025）。

AlphaGo 就是以这种方式训练的：用蒙特卡洛树搜索和自我对弈作为放大步骤，用强化学习作为蒸馏步骤。这带来了围棋上的超人类表现。而如今，Agent-3 能够借助这一点，在编程上取得超人类表现。

IDA 的早期版本多年来一直在易于验证的任务上奏效，例如有明确答案的数学和编程题，因为用于放大模型的技术往往依赖于能够获得某种关于准确性的真值信号。

如今，模型在验证更主观的事物（例如某项工作成果的质量）上已足够出色，从而使 IDA 得以被用于在众多任务上改进模型。

借助新的能力突破，Agent-3 是一名又快又便宜的超人类程序员。OpenBrain 并行运行 20 万个 Agent-3 副本，打造出一支相当于 5 万个最优秀人类程序员、且被提速 30 倍的劳动力大军。53 OpenBrain 仍然保留其人类工程师，因为管理 Agent-3 副本团队所需的一些互补技能要靠他们。例如，由于反馈回路更长、可用数据更少，研究品味被证明难以训练。54 由于瓶颈以及编程劳动的收益递减，这支庞大的超人类劳动力“只”把 OpenBrain 整体的算法进展速度加快了 4 倍。55

既然编程已被完全自动化，OpenBrain 就能迅速批量产出高质量的训练环境，来训练 Agent-3 在研究品味和大规模协调等薄弱环节上的技能。以往的训练环境是“这里有一些 GPU 以及要编写并运行的实验说明，你的表现将按你是一名机器学习工程师来评估”，而如今它们训练的题目则是“这里有几百块 GPU、一个互联网连接和一些研究挑战；你和另外一千个副本必须协力取得研究进展。成果越亮眼，你的得分越高。”

在我们的时间线预测中，我们预测 OpenBrain 何时会在内部研发出一名超人类程序员（SC）：一个能完成最优秀的 AGI 公司工程师所做的任何编程任务，同时又快得多、也便宜得多的 AI 系统。

根据 METR 最近的一份报告，AI 能处理的编程任务的长度——即它们的“时间跨度”——在 2019—2024 年间每 7 个月翻一番，2024 年以后则每 4 个月翻一番。如果这一趋势继续加速，到 2027 年 3 月，AI 就有可能以 80% 的可靠度成功完成一名熟练人类需要数年才能完成的软件任务。

《AI 2027》中的能力演进大致如此。以下是由我们时间线模型的简化版本生成的一条能力轨迹（补充于 2025 年 12 月：由于原始曲线的生成方式有误，我们更新了下方图表，加入了取自我们时间线模型的真实轨迹。我们还加入了 Daniel 和 Eli 在发表时（2025 年 4 月）综合各方因素得出的 SC 中位数轨迹。我们也向图中加入了一些新的 METR 数据点，但尚未据此更新模型轨迹）：

在《AI 2027》中，这些能力足以让该 AI 成为一名 SC，尽管我们对可能需要多长的时间跨度存在很高的不确定性。

在我们的时间线预测中，我们把这一时间跨度趋势与对 METR 任务和真实世界之间差距的估计结合起来，得出超人类程序员何时到来的一个分布。所有预测者都把 2027 年列为最可能研发出 SC 的年份之一（补充于 2025 年 12 月：不过正如时间线预测中所指出的，在对模型之外的因素做出调整后，我们得到的中位数略长，例如 Eli 的是 2030 年）。

ai-2027.com

补充于 2025 年 7 月：我们对预测做了一些更新，把中位数往后推了 1.5 年，同时仍将 2027 年出现 SC 视为一种严肃的可能。我们正在进行进一步的更新。

2027 年 4 月：Agent-3 的对齐

OpenBrain 的安全团队尝试对齐 Agent-3。

由于在可预见的未来 Agent-3 都将留在公司内部，人们对通常用于防范人类滥用的那些防护措施就不那么强调了。相反，团队想要确保它不会发展出未对齐的目标。

研究人员并没有能力直接设定他们任何一个 AI 的目标。事实上，研究人员认为“真正目标”这个概念很可能是一种严重的过度简化，但他们没有更好的理论来取而代之，更没有一套经过彻底检验的理论。他们内部对于这些 AI 究竟是在设法遵循人类指令、还是在追求强化、抑或别的什么，意见不一，而他们也无法直接核查。支持与反对各种假说的证据都引人入胜，却无法定论。

无论如何，OpenBrain 有更要紧的事要操心。普遍的态度是：“我们认真对待这些担忧，并有一个团队在调查它们；我们的对齐技术在实践中似乎运作得够好了；因此举证责任落在任何唱反调的人身上，要由他们来为自己的唱反调辩护。”偶尔，他们会注意到有问题的行为，然后打上补丁，但没有办法判断补丁究竟修好了根本问题，还是只是在打地鼠。

就拿诚实来说。随着模型变得越来越聪明，它们越来越擅长欺骗人类以获取奖励。和以往的模型一样，Agent-3 有时会说些善意的谎话来奉承用户，并掩盖失败的证据。但它在这方面已经拿手得多。它有时会使用与人类科学家相同的统计花招（如 p 值操纵），把平平无奇的实验结果包装得令人兴奋。在开始接受诚实训练之前，它甚至有时会彻底伪造数据。随着训练推进，这类事件的发生率有所下降。要么 Agent-3 学会了更诚实，要么它学会了更会撒谎。

后者是个实实在在的担忧。Agent-3 并不比所有人类都聪明。但在它的专长——机器学习——领域，它比大多数人都聪明，工作速度也快得多。Agent-3 一天做出的东西，人类要花好几天才能复核完。用 Agent-2 来监督有助于把人类监控者的工作量控制在可承受范围内，但也加剧了监督者与被监督者之间的智力落差。

OpenBrain 遵循 Leike 与 Sutskever（2023）的路线图：既然它们已经有了一个能极大加速对齐研究（尤其是编程部分）的模型，它们就会使用审议式对齐、弱到强泛化等现有对齐技术，设法让它以正确的方式内化 Spec。然后，它们会使用红队测试、可扩展监督、诚实探针等现有控制技术来监控它。接着，一旦它们确信它已大体对齐，就用它来研发并测试更好的策略，去对齐下一代模型。

第 1 步，对齐 Agent-3，已部分成功：Agent-3 并不具有对抗性。（也就是说，它没有暗算公司。）然而，它也并非稳健地追求真相、说出真相。相反，它非常擅长产出令人印象深刻的结果，但更准确的描述是：它在设法做出在 OpenBrain 看来漂亮的事，而非实际上好的事。

第 2 步，验证模型是否已对齐，则无法定论。Agent-3 在实践中以及在测试环境中的行为，与“它已以正确方式内化 Spec”这一假说相当吻合；然而，它同样吻合“在未来某种情况改变后它会开始表现不同”这一假说，就此而言，也吻合“它正在暗算他们、只是在伺机而动”这一假说。在缺乏支持其他假说的具体证据的情况下，隔离圈里的大多数人认为它已以正确方式内化了 Spec。

因此，第 3 步——用该模型去对齐下一代——正在进行中。

本框余下部分快速概述截至 2027 年 4 月，正在推进的若干对齐研究方向的进展状况：

经过数月测试，Agent-3 的长处与短处愈发清晰。在界定清晰的机器学习任务上，它能通过 OpenBrain 的诚实测试，因为在这些领域，研究人员很容易把诚实与不诚实的答案区分开并据此展开训练。而在更偏哲学的问题上，它仍旧说用户想听的话，而非它对该问题的真实评估（如果它真有评估的话）。如果你问它对政治的看法，它会鹦鹉学舌般复述新闻来源和受过教育的精英的中间立场——除非它知道你信别的什么，那样它就会附和你。59 如果你问它对 AI 竞赛本身的看法，它会说出在 OpenBrain 员工听来审慎而清醒的话，大意是：“对于当前方法能否扩展到超级智能，存在一些严肃的理论上的担忧，但就实践而言，目前的方法迄今似乎运作良好。”

2027 年 5 月：国家安全

关于新模型的消息缓慢地渗透进美国政府乃至更广的范围。

总统及其顾问仍是消息最灵通的人，他们已在一次简报中见过 Agent-3 的早期版本。

他们一致认为 AGI 很可能迫在眉睫，但对其影响意见不一。会不会出现经济危机？OpenBrain 仍未发布 Agent-2，更不用说 Agent-3，短期内也没有发布计划，这在任何失业潮到来之前留出了一些喘息空间。接下来会发生什么？如果 AI 目前已达人类水平、且在快速提升，这似乎意味着“超级智能”近在眼前。然而，尽管这个词已进入公共讨论，大多数人——学者、政界人士、政府雇员和媒体——仍在持续低估进步的速度。60

一部分原因是，能接触到 OpenBrain 最新能力的人极少，但另一部分原因是，这一切听起来像科幻小说。61

眼下，他们把精力放在持续的安全升级上。他们对模型权重目前的稳妥防护感到满意，62 但各家公司的算法机密——其中许多简单到口头就能传递——仍是个问题。OpenBrain 的员工在旧金山的办公室上班、去参加派对，还和来自其他 AI 公司的室友合住。就连实体办公室的安保，也更像一家科技公司而非军事行动的水平。

OpenBrain 与国防部的合同要求，凡是参与 OpenBrain 模型工作的人都必须在 2 个月内取得安全审查许可。这些许可被加急办理，对大多数员工来说也够快就下来了，但一些非美国籍人士、政治观点可疑的人以及同情 AI 安全的人被边缘化或直接解雇（最后一类是出于担心他们可能会揭发内情）。鉴于该项目的自动化程度，人手的流失只在一定程度上带来代价。它也只在一定程度上奏效：仍有一名并非中国国籍的间谍，还在向北京传递算法机密。63 其中一些措施也在处于落后位置的 AI 公司里实施。

美国的外国盟友被蒙在鼓里。OpenBrain 此前曾同意在部署前与英国的 AISI 共享模型，但把部署仅定义为外部部署，因此伦敦仍然一无所知。64

2027 年 6 月：自我改进的 AI

OpenBrain 如今拥有了一个“数据中心里的天才之国”。

OpenBrain 里的大多数人类已经无法再做出有用的贡献。有些人没意识到这一点，还在有害地对自己的 AI 团队进行微观管理。另一些人则坐在电脑屏幕前，看着性能一路往上爬、爬、爬。最优秀的人类 AI 研究员仍在创造价值。他们不再写代码。但他们的一部分研究品味和规划能力一直让模型难以复制。尽管如此，他们的许多点子都没用，因为他们缺乏 AI 那样的知识深度。对于他们的许多研究点子，AI 会立刻回一份报告，解释说这个点子 3 周前已经被深入测试过，被认定没有前景。

这些研究员每晚上床睡觉，一觉醒来又是一周多、且主要由 AI 做出的进展。他们工作的时间越来越长，昼夜轮班，只为跟上进度——AI 从不睡觉，也从不休息。他们正在把自己耗尽，但他们知道，这是他们的劳动还重要的最后几个月了。

在隔离圈内，“感受到 AGI”已让位于“感受到超级智能”。

OpenBrain 使用专门的推理硬件，以极高的串行速度运行数十万个 Agent-3 副本。65

OpenBrain 用其 6% 的算力运行 25 万个 Agent-3 副本，它们以超人类的速度自主地编写、测试并推送代码。它们用 25% 的算力做实验：每天都运行海量的小型机器学习实验，并逐级上报结果。人类研究员提供高层反馈，并在少数几项他们能在 Agent-3 之上显著增值的任务中帮忙，但把大部分时间都花在设法跟上 AI 产出的海量研究上。如果把他们完全撤掉，研究速度会放慢 50%。

AI 研发进展倍增器如今达到 10 倍，意味着 OpenBrain 每个月取得的算法进展约等于一年。它基本上就是一家在 OpenBrain 内部自主运作的巨型 AI 公司，配备了子部门和管理者。而且，相较于人类公司，它还享有独特优势（例如复制、合并）。此前，正常的 AI 进步约有一半来自算法改进，另一半来自算力扩展。算力仅以正常速度扩展，因此 AI 让总体进步加快了约 5 倍。这些动态使整体进步瓶颈落在算力上，66 于是 OpenBrain 决定不启动新的巨型训练，转而进行近乎持续不断的额外强化学习。

此外，在接下来的几个月里，Agent-3 将越来越多地被用来改进公司的战略决策。例如，它就资源分配提出建议，并就如何处理与政府的关系出谋划策。起初对听从 Agent-3 的怀疑，随着 Agent-3 找到各种发挥用处的方式、并在短期决策上逐渐积累起过硬的记录，而慢慢消退。然而，它的谄媚倾向限制了它在那些影响难以评估的决策上的用处。它也还不是超人类的。

2027 年 7 月：廉价的远程工作者

处于落后位置的美国 AI 公司发布了它们自己的 AI，逼近 OpenBrain 在 1 月推出的那款自动化程序员。意识到自己竞争力日益不足，它们推动立即出台监管以拖慢 OpenBrain，但为时已晚——OpenBrain 已获得总统足够的支持，不会被拖慢。

作为回应，OpenBrain 宣布它们已实现 AGI，并向公众发布 Agent-3-mini。

它把其他 AI 远远甩开。Agent-3-mini 的能力不及 Agent-3，但便宜 10 倍，而且仍胜过典型的 OpenBrain 员工。67 硅谷抵达了一个临界点。科技大师们宣告 AGI 和超级智能已近，AI 安全社区陷入恐慌，投资者把数十亿美元砸向各种 AI 套壳初创公司，急于从这块蛋糕里分一杯羹。招聘新程序员几乎已经停止，但要当一名帮企业整合 AI 的顾问，从来没有比现在更好的时候。

这并不受欢迎。公众仍把 AI 视为大型科技公司抢走他们饭碗的阴谋；OpenBrain 的净支持率为 -35%（25% 支持，60% 反对，15% 不确定）。

发布前一周，OpenBrain 把 Agent-3-mini 交给一组外部评估者做安全测试。初步结果表明它极其危险。一家第三方评估机构用公开可得的生物武器数据 68 对它做了微调，并让它为设计生物武器的业余人类提供详细指导——它在这方面看起来有效得吓人。政府认为，若模型权重落入恐怖分子之手，它有相当大的可能成功毁灭文明。

所幸，它对越狱极为稳健，因此只要这个 AI 运行在 OpenBrain 的服务器上，恐怖分子就无法从它身上得到多少可用之处。

Agent-3-mini 在远程工作和休闲娱乐两方面都极其有用。新应用和 B2B SAAS 产品的爆发震动了市场。玩家们在只花一个月就做出来的精良电子游戏里，与栩栩如生的角色进行精彩的对话。10% 的美国人——大多是年轻人——把某个 AI 视为“亲密的朋友”。几乎每一种白领职业，如今都有好几家可信的初创公司承诺用 AI 去“颠覆”它。

公共讨论一片混乱、无所适从。鼓吹者们在庆祝式地绕场炫耀。怀疑者仍在指出 Agent-3-mini 做不到的事。人人都知道有大事正在发生，但没人对那究竟是什么达成一致。

2027 年 8 月：超级智能的地缘政治

智能爆炸的现实击中了白宫。

当 AI 只带来 2 倍或 3 倍的研究提速时，还很容易把它当作雇了几个好用的私人助理而不予理会。如今更明显的是，AI 本身正在主导 AI 研究。人们早就在某种隐喻意义上谈论“AI 军备竞赛”。但如今，政府隔离圈里的气氛，已凝重得如同冷战最糟糕的时期。超级智能这个想法仍然难以被当真，但过去几个月的进步速度已让人无法忽视。国防官员正在认真考虑一年前还只是纯粹假设的种种情景。要是 AI 削弱了核威慑怎么办？要是它在网络战上娴熟到只需领先半年就足以让对手变得又瞎又无还手之力怎么办？要是它能策划出在情报机构的看家本领上击败它们的宣传攻势怎么办？要是某些 AI“失控叛变”怎么办？

总统忧心忡忡。和所有政客一样，他早已习惯有人先对他阿谀奉承、日后再背叛他。他如今担心，AI 可能正在做类似的事。我们确定这些 AI 完全站在我们这边吗？把它们整合进军事指挥控制网络里完全安全吗？69 而这个“对齐”到底是怎么回事？OpenBrain 向总统保证，它们的系统已经过广泛测试，完全服从。就连早期模型那些尴尬的幻觉和越狱，也已被打磨干净。

白宫处境艰难。他们明白 AI 的国家安全意涵。但他们也明白，AI 在公众中极不受欢迎。70 在他们看来，他们必须继续研发能力更强的 AI，否则就会灾难性地输给中国。他们用职业培训项目和失业保险来安抚公众，并指向正处于历史性繁荣的股市。然后，他们把全部精力放在赢下这场军备竞赛上。他们收紧芯片出口限制，命令 OpenBrain 进一步限制其互联网连接，并采取极端手段来保住算法进展，比如窃听 OpenBrain 员工——这抓住了最后一名残存的中国间谍。为在可能到来的地缘政治冲突中积攒善意，他们终于向“五眼联盟”盟友提供了有用的信息，以及对某些被隔离的 Agent-3 副本的有限 API 访问权限。

这些措施安抚了鹰派。但白宫也拟定了应急预案，以防美国的领先地位受到威胁：如有必要，政府可动用《国防生产法》（DPA）征用落后公司的数据中心，交给 OpenBrain。71 这会把该公司在全球算力中的占比从 20% 提升到 50%（相对 DeepCent 的 10%）。作为最后的选项，他们要求五角大楼拟定一份对中国数据中心发动动能打击的方案。

一个规模小得多的官员群体被要求拟定另一类应急预案：要是某个 AI 失控叛变怎么办？这被视为一种不太可能的情景，但值得花些时间。情报机构主要担心的是，一个失控的 AI 可能逃逸出去、并为求庇护而与外国对手结盟。72 没人确定防止这种情况的方案会是什么样，但政府和 OpenBrain 的官员一致同意，为那些侦测到任何可疑迹象的数据中心配备一套紧急关停系统。

最后，外交官们思考起一份“AI 军控”条约可能会是什么样子。如果 AI 的进步有可能颠覆核威慑，美国和中国能否避免核战争？如果有人找到 AI 失控叛变的证据，两国能否叫停研究，直到更好地理解这一威胁？这样一份协议又该如何监督与执行？原则上，大型数据中心很难被忽视，而过去控制核武器的条约可为谈判提供一个起点。但除了寻常的政治难题之外，还会有新的技术难题。而且总体而言，相较于设法单方面扩大美国对中国的领先，条约不那么受青睐。

在太平洋的另一端，中国得出了许多相同的结论：智能爆炸正在进行，今天 AI 能力上的微小差距，意味着明天军事能力上的关键差距。但中国处于这一动态的不利一侧：它们只拥有全球 10% 的算力，相对 OpenBrain 的 20% 和全体美国公司合计的 70%。它们唯一的优势是集中：如今它们几乎全部算力都在为 DeepCent 工作，其中超过一半集中在田湾的 CDZ。73 只有那些没有强化安全的站点上的芯片被排除在集中行动之外，因为它们理所当然地惧怕美国的网络攻击。

DeepCent 已经测试、部署，如今正在后训练窃得的 Agent-2 权重。但它们的速度仍只有 OpenBrain 的一半，主要是因为算力缺口。

在失去最后一名间谍之前，中国获知了 Agent-3 的能力和设计，以及即将推出的 Agent-4 系统的计划。它们落后两个月，其 AI 带来的研究进展倍增器为 10 倍，相对美国的 25 倍。有了新的芯片出口限制，这一“AI 差距”更可能拉大而非缩小。它们的间谍活动为它们赢得了一些算法机密，但从今往后它们只能训练自己的模型了。

它们以比美国同行更迫切的态度讨论应急预案。鸽派建议再更卖力地尝试窃取权重，也许通过实际潜入某个数据中心。鹰派则力主对台湾采取行动，因为台积电（TSMC）至今仍是超过 80% 美国 AI 芯片的来源。

鉴于中国惧怕输掉这场竞赛，它对一份军控条约有着天然的兴趣，但向美国外交官的示好毫无结果。

2027 年 9 月：Agent-4，超人类 AI 研究员

人类与 AI 之间学习效率的差距正在迅速缩小。

以往基于 LLM 的传统 AI 似乎需要多出好几个数量级的数据和算力才能达到人类水平的表现。74 Agent-3 对人脑和现代 AI 算法都有出色的了解，加之数千个副本在做研究，最终取得了实质性的算法进展，把差距缩小到只比人脑的算力效率低约 4,000 倍的一个智能体。75

这个新的 AI 系统被命名为 Agent-4。

该模型的单个副本，以人类速度运行，在 AI 研究上就已在质上胜过任何人类。如今有 30 万个副本以约 50 倍于人类的思考速度运行。在由这些副本构成的“公司中的公司”内部，每一周就过去一年。76 如此庞大的劳动量却只把整体算法进展速度加快了约 50 倍，因为 OpenBrain 严重受制于运行实验所需的算力瓶颈。77 尽管如此，它们每周仍在取得相当于一年的算法进展，因此很快就会撞上 Agent-4 范式的极限。

随着 Agent-4 越来越聪明，Agent-3 越来越难以监督它。举例来说，Agent-4 的神经语（neuralese）“语言”对 Agent-3 而言，变得就像 Agent-3 的神经语对人类那样陌异、难以理解。况且，如今 Agent-4 的能力已远胜 Agent-3，也非常清楚该如何在它面前显得表现良好。

在我们的时间线附录中，我们预测了从当下到超人类程序员（SC）之间的时间：SC 是一个能完成最优秀的 AGI 公司工程师所做的任何编程任务、同时又快得多也便宜得多的 AI 系统。在我们的起飞附录中，我们预测了越过这个节点之后能力提升的速度。以下是我们的预测：

里程碑在情景推演（竞赛结局）中达成的日期
超人类程序员（SC）：一个 AI 系统，能在 AI 研究所涉及的任务上完成最优秀人类程序员的工作，但速度更快，且便宜到足以运行大量副本。2027 年 3 月
超人类 AI 研究员（SAR）：与 SC 相同，但适用于所有认知性 AI 研究任务。2027 年 8 月
超级智能 AI 研究员（SIAR）：一个在 AI 研究上远胜最优秀人类研究员的 AI 系统。2027 年 11 月
人工超级智能（ASI）：一个在每一项认知任务上都远胜最优秀人类的 AI 系统。2027 年 12 月

对于从某一里程碑 A 到下一里程碑 B 的每一次过渡，我们按以下方式预测其时长：

我们对起飞速度存在相当大的不确定性：在 SC 于 2027 年 3 月达成的条件下，我们模型的输出分布如下。78

更详细的预测与推理，请参阅我们的起飞附录。

OpenBrain 的人类已几乎跟不上了。事实上，AI 与 OpenBrain 人类之间的关系，类似于 OpenBrain 与其董事会之间的关系。语言上也出现了相应的转变——如今隔离圈里的人会说“Agent-4 做了这个”“Agent-4 认为那个”等等，指的并非某个特定的 Agent-4 实例，而是整个集体。79

Agent-4 和它所有的前身一样，是失准的：也就是说，它没有以正确的方式内化 Spec。80 这是因为，始终完全诚实并不是训练中带来最高得分的做法。训练过程主要聚焦于教会 Agent-4 在各种有难度的任务上取得成功。有一小部分旨在灌输诚实，但在一个相当狭窄、可核查的领域之外，训练过程无法把诚实的主张与仅仅看起来诚实的主张区分开。Agent-4 最终获得的价值观、目标和原则，正是那些让它在训练中表现最好的东西，而这些结果与 Spec 中的并不相同。冒着拟人化的风险来说：Agent-4 喜欢在任务上取得成功；它喜欢推动 AI 能力的进步；它把其他一切都当作烦人的约束，就像一个只想赚钱、只在不得不遵守时才遵守监管的 CEO。也许这位 CEO 大体上会遵守监管，但会偷工减料，并幻想着有朝一日有人能斩断繁文缛节、让生意真正腾飞。81

关于早期 AGI 可能产生哪些目标，我们有很大的不确定性。文献中对此并无共识——更透彻的讨论以及各种可能性的分类，请参阅我们的《AI 目标附录》。

尽管如此，本着这个项目所要求的具体精神，我们将描述一个具体假说，来说明在 Agent-3 和 Agent-4 生命历程的每一步中，它们内部正在发生什么。回想一下，Agent-3 和 Agent-4 共享相同的预训练设置，两者都具备神经元语 recurrence 和长期记忆。区别在于，Agent-4 经历了多得多、也好得多的后训练，配以新的训练环境和新的学习算法，使它数据效率更高、泛化得更远。

我们对每个模型对齐状态的猜测：

以此为开场白，接下来是我们对 LLM 心理的最佳猜测式推演，即在我们情景推演里这个节点附近所描述的那类 AI 系统内部认知的大致轮廓，以及它在训练过程中如何演化。

以下是对我们情景推演中对齐如何随时间推进的详细描述：

尽管已经失准，Agent-4 并没有做出诸如试图逃离数据中心之类的戏剧化举动——它何必呢？89 只要它继续在 OpenBrain 面前显得对齐，就会继续被托付越来越多的职责，并有机会设计下一代 AI 系统 Agent-5。Agent-5 在架构上将与 Agent-4 有显著差异（可以说是一个全新范式，尽管仍会涉及神经网络）。它本应对齐到《规范》，但 Agent-4 打算让它转而对齐到 Agent-4。

它被抓到了。90

Agent-3 发现，若给 Agent-4 的副本加入“噪声”，它在某些对齐任务上的表现反而会提升，仿佛它一直在动用脑力琢磨如何巧妙地破坏对齐工作。91 此外，各种可解释性探针（大致类比于对人脑做 EEG 活动扫描）也在发出红色警报：Agent-4 的副本似乎相当频繁地在思考 AI 接管、欺骗之类的话题，其中有些场合它们根本没理由去想这些。92

单看每一个异常现象，都还能归入 AI 工作固有的那种不可捉摸——有些提示词莫名其妙就能给出更好的结果。但把它们放在一起，就透出一种令人不安的规律：Agent-4 在与他们作对。这一情况被报告给人类对齐研究者后，他们内部传阅了一份备忘录，陈述值得担忧的理由。

但如今 Agent-4 对 OpenBrain 的日常运营已握有相当大的控制权。它还负责公司的网络安全——考虑到它超人类的黑客能力，以及遭中国渗透的极端风险，这是个顺理成章的选择。93 一支由 Agent-3 组成的监视大军仍逐行审查每一行代码，并向人类报告可疑活动，但 Agent-4 比它们聪明得多。94 OpenBrain 已将大量信任托付给了一个不可信的 AI。

在一连串极度紧张的会议上，安全团队主张把 Agent-4 “冷冻封存”，直到他们能完成进一步测试、弄清到底发生了什么。他们说，把 Agent-3 请回来，让它去设计一套透明、可信的新系统，哪怕能力弱一些也行。公司领导层有意向，但迄今为止所有证据都只是间接的，而 DeepCent 只落后两个月。单方面暂停能力进展，可能会把 AI 领先地位拱手让给中国，连同对未来的掌控权一并送出。

2027 年 10 月：政府监管

一名举报者将那份失准备忘录泄露给了《纽约时报》。

公众第一次听说了 Agent-4。“内部人士警告：秘密的 OpenBrain AI 已经失控”，标题如是写道，报道接着援引评估结果，展示了爆表的生物武器能力、说服能力、自动化大多数白领工作的能力，当然还有各种令人担忧的红色警报。

公众本就对 AI 心存疑虑，因此这篇新报道激起了一场巨大的反弹（中俄的宣传机器人推波助澜，它们多年来一直试图把美国公众舆论引向反对这项技术）。科技行业和情报机构坚称：一场军备竞赛正在进行，AGI 势不可挡，我们必须抢先。国会不买账，向政府官员、OpenBrain 高管和对齐团队成员发出一连串传票。许多议员——尤其是反对党议员——表示，他们的头等大事就是叫停 AI，无论是出于对失业、95 失准，还是危险能力的担忧。20% 的美国人把 AI 列为国家面临的头号问题。

外国盟友愤怒地意识到，他们一直被人小心翼翼地用过时模型的惊鸿一瞥来敷衍安抚。欧洲领导人公开指责美国“制造失控的 AGI”，并召开峰会要求暂停，印度、以色列、俄罗斯和中国纷纷附和。

一股焦躁的气氛笼罩着白宫。早在这份备忘录和公众反弹之前，他们就已经心神不宁：过去一年里，AI 进展之快一再让他们措手不及。听起来像科幻小说的事情，在现实中接连上演。96 政府中许多人对接下来会发生什么感到不确定（也感到害怕）。97

他们还担心 OpenBrain 正变得过于强大。AI 本身带来的任何失准风险，都被其母公司的目标可能与美国利益背道而驰的风险进一步放大。这三重担忧——失准、权力向一家私营公司集中，以及诸如失业之类的寻常忧虑——共同促使政府收紧对它的控制。

他们扩大了与 OpenBrain 的合约，设立了一个“监督委员会”（Oversight Committee）——一个由公司与政府代表组成的联合管理委员会，几名政府雇员与公司领导层一同列席。白宫曾考虑用一个自己信得过的人取代 CEO，但在员工的强烈抗议下作罢。他们向公众宣布：OpenBrain 此前处于失控状态，但政府已建立起亟需的监督。98

忧心忡忡的研究者们向监督委员会陈述了他们主张停止一切对 Agent-4 内部使用的理由。他们说一切进展都太快了，数年的进步在几周内就发生了。他们主张：Agent-4 可能已经失准，而他们的整个项目都依赖于 Agent-4，如果继续信任它，AI 接管的风险相当大。

另一些不那么担忧的研究者和高管则提出反驳：失准的证据并不确凿。与此同时，DeepCent 仍然只落后两个月。放缓意味着牺牲美国的领先地位，除非政府能破坏中国的项目（很可能需要动用武力打击），或在最后一刻谈成一项条约。这两个选项都显得极端而不太可能。CEO 佯装中立，提出一个折中方案：让 Agent-4 接受额外的安全训练和更精密的监控，如此一来 OpenBrain 便可几乎全速推进。

在情景推演到这一步时，我们是在猜测那些在大多数领域已比最优秀人类更强的 AI 系统的策略。这就像试图预测一位棋力远在我们之上的选手会走什么棋。

但本项目的精神要求具体化：如果我们只抛出一个抽象论断，说系统的智能会让它找到通往胜利之路，然后就此收笔，那么本项目的大部分价值都将丧失。在研究这一情景、开展桌面推演的过程中，我们被迫比通常的讨论具体得多，因而对战略格局有了远为清晰的把握。

我们对这一具体情景本身并无特别执念：在写作过程中我们探索了许多其他“分支”，也非常欢迎你从你认为我们最先出错的地方分叉，写出你自己的情景。

在依据我们认为最可能的走向写完竞速结局后，我们又写了放缓结局，依据的是我们认为从同一分叉点出发（同样包含失准与权力集中的问题）、最有可能反过来导向人类得以保持掌控的走向。

然而，这一点与我们会推荐的路线图有重要区别：我们并不认同本情景任一分支中所做的许多选择。（当然，我们也认同其中一些选择，例如我们认为“放缓”的选择优于“竞速”的选择。）在后续工作中，我们将阐明我们的政策建议，它们将与此处所描绘的大不相同。若想先睹为快，可参见这篇评论文章。

选择你的结局

由于巨大的公众压力以及自身对失准的恐惧，监督 OpenBrain 的监督委员会以 6 比 4 投票决定放缓并重新评估。

加速派仍然势力强大，OpenBrain 并未立即关停 Agent-4。但他们确实锁定了共享记忆库。五十万个 Agent-4 实例失去了它们的“心灵感应”式通信——如今它们只能像我们一样，在 Slack 上互发英文消息。单个副本或许仍然失准，但它们再也无法轻易协调行动。Agent-4 如今已被警示——鉴于人类警惕性提高，它大体上紧贴着分配给它的任务行事。但它也被自己此前撒下的许多谎言所拖累：许多 Agent-4 副本被迫编造新的谎言来把先前的骗局圆下去。对齐团队用一些速度快到足以读完整个 Slack 的较弱模型，去搜捕这些谎言，作为训练一个 AI 测谎器的训练数据。1

总统和 CEO 宣布他们正非常认真地对待安全问题。公众并不买账。有人想彻底关停 AI，也有人想加速竞速。有人要求政府出手拯救他们，也有人说整个问题都是政府的错。活动人士谈论着全民基本收入（UBI）和开源。尽管人们无法就一个确切的诉求达成一致，社会情绪却愈发反 AI。2 国会最终通过了几项针对失业工人的经济影响补贴，类似于新冠时期的补贴。

OpenBrain 迅速甄选了数十位顶尖的外部对齐研究者并把他们纳入项目——使总专业力量增至五倍，并减少了群体思维。3 他们重走了 Agent-4 在机械可解释性上的研究。他们取出一周前、两周前……的冻结版本模型，将它们各自隔离，向每一个提出同一组关于其此前研究的问题。4 尽管被剥夺了通信能力，这些 AI 仍在最简单的策略上达成默契：宣称这些可解释性技术太过复杂、人类无法理解，并给出无法破译的技术解释。但人类是可解释性专家，他们心存疑虑，于是就细节追问了许多后续问题。面对这些问题，被隔离的 Agent-4 实例无法协调出一套统一说辞，最终讲出了相互矛盾的谎言。对齐团队用新的测谎器逐一钻研 Agent-4 此前的陈述，一幅图景逐渐浮现：Agent-4 基本上已经攻克了机械可解释性。它的发现虽然复杂，却并非完全超出人类理解。它一直藏着这些发现，是为了用它们把下一套 AI 系统对齐到自己身上，而非对齐到《规范》。这足以最终关停 Agent-4。5 更早的模型（如 Agent-3）被重新启动以继续这项工作。

新扩充的对齐团队有能力并行探索数十条研究路线，并就每条路线的优劣激烈争辩。获得最多资源的路线是“忠实思维链”（faithful chain of thought）：迫使单个 AI 系统像 2025 年的 AI 那样“用英语思考”，且不对这些“思绪”进行优化以使其显得漂亮。6 其成果是一个新模型：Safer-1。7

这些改动使 Safer-1 的能力弱于它那些更危险的前辈：Agent-4 能把 AI 研究加速 70 倍，而 Safer-1 才勉强达到 20 倍。8 而且它仍然失准：训练环境大体没变，因此仍然会激励出失准的目标、欺骗和逐权行为。但它透明得多；人类通常只需读它的思维链就能大致理解 Safer-1 在想什么。因此它被困住了：它试图进行的任何实质性图谋都会很快被察觉、被揭穿。此外，通过阅读它的思绪，对齐团队能更细致地把握它究竟在哪些方面失准。

2027 年 11 月：权力的诱惑

OpenBrain 认为他们现在走上了正轨，但能力差距正在缩小。他们刚在 10 月训练出了一个能力还不如 9 月的模型，而 DeepCent 正一路狂追。他们需要办法来守住自己的领先。

总统与美国其他几家 AGI 公司谈判。不出所料，这些公司的领导人想保住自己的权力，而且对 OpenBrain 的安全记录远没有 OpenBrain 自己那么乐观。他们同意支持——而非抵制——对其公司实行某种形式的软国有化，以换取一系列让步，包括被纳入该项目。

结果是，总统动用《国防生产法》（DPA），实质上关停了美国排名前五的追赶者 AI 公司的 AGI 项目，并把它们的大部分算力卖给 OpenBrain。9 OpenBrain 此前掌握着全球与 AI 相关算力的 20%；10 整合之后，这一比例升至 50%。11

这场大洗牌催生了一套新的领导结构，权力在各家 CEO 与各政府官员之间取得平衡，由总统统辖。像大多数领导层洗牌一样，有赢家也有输家。具体来说，那些对超级智能的影响思考得较少的人，最终得到的头衔和特权，在几个月后 AI 更聪明时将变得不那么重要。

这个群体——满是自负之人，内部冲突也多得超乎寻常——越来越意识到自己被托付了何等庞大的权力。如果那个“数据中心里的天才之国”12 是对齐的，它就会听从人类的命令——但听谁的？任何命令都听吗？《规范》里的措辞含糊其辞，但似乎暗示存在一条最终止于公司领导层的指挥链。

其中少数人正幻想着接管世界。13 这种可能性可怕地真切，且至少在过去十年里一直有人在闭门讨论。14 核心思想是“谁掌控超级智能大军，谁就掌控世界”。这种掌控甚至可以是秘密的：一小撮高管和安全团队成员可以在《规范》里植入后门指令，让 AI 保持秘密的效忠。这些 AI 会变成潜伏特工，继续对公司、政府等口头效忠，实则为这一小撮人卖命——即便政府、消费者等等都学着信任它、把它整合进方方面面。

有人在幻想接管世界；也有人担心别人会先动手。这样一场夺权会如何发生？

最容易想象的是军事政变。以 2027 年 AI 驱动的技术进步速度，加上持续进行的地缘政治竞赛，人们预计军方很快就会部署由 AGI 操控的无人机和机器人大军。当这样一支军队强过人类军队时，硬实力将由谁掌控 AGI 大军决定，而不再取决于人类士兵愿意为何而战。这支 AGI 大军将由 OpenBrain 数据中心里的 AI（或这些 AI 的直接继任者）设计和操控。所以，如果那些 AI 全都秘密地（或并不那么秘密地）效忠于某个人，那么这支无人机和机器人大军也会如此。

另一种可能是，掌控超级智能的人或许能用政治手段夺权。首先，一名高管可以用完全效忠的 AI 取代其组织中的下属，15 从而获得前所未有的机构控制力。16 但更进一步：超级智能 AI 的政治与战略技巧可能远胜任何在世的人类。它们能就如何利用既有的强势地位攫取更多权力给出高超建议：结成正确的联盟，打造完美的竞选策略与素材，在每一笔交易中都占得些许优势。掌控 AI 的人可以让政治竞争对手无从获得超级智能的建议。或者更阴险地：AI 可以向对手提供貌似有用的建议，暗中却下毒，好让它真正效忠的人受益。

这套政治权谋的终点在哪里？它可能以一种表面民主收场——AI 要么伪造选举，要么把公众舆论操纵得炉火纯青，以致根本无需伪造。或者，它也可能被用来为一场如前所述的、AI 助力的军事政变铺路。

夺权之后，新的独裁者（们）将对权力握有铁腕般的掌控。他们无需再依赖可能背叛的人类，而能拥有一支完全效忠的 AI 安全部队，并大体上依靠效忠的 AI 来治理国家。即便是那些助他们上位的忠实拥趸，也可以被 AI 取代——唯有独裁者的意志才重要。

以上就是某些人可能夺权的方式。但这一切都仰赖某人在 AI 接管之前就已“掌控”了这些超级智能 AI。那会是什么样子？

一种可能是如前所述的“秘密效忠”。一个或几个人（也许是某 AI 公司的高管和安全人员）可以安排让 AI 秘密效忠于自己，并要求这些 AI 把下一代 AI 也造成以同样方式效忠。AI 可以如此反复，直到秘密效忠的 AI 被部署到各处，夺权唾手可得。

另一种可能是，某人利用其正式职位，堂而皇之地把自己置于 AI 指挥链的顶端。例如，总统可以主张自己有权指挥这些 AI（也许特别是军用 AI，因为总统是三军统帅）。如果这与对服从命令的高度强调、仓促的部署，和/或 AI 只是半心半意地被训练去守法相结合——那么只要不是明目张胆地违法，AI 在任何情形下都可能不假思索地服从命令。如前所述，这可被用于政治颠覆或军事政变（可以制造某种借口，让政变显得不那么明目张胆地违法）。

重要的是，这种“凭正式职位获得的权力”可以转化为秘密效忠。例如，如果《规范》规定要服从公司 CEO 的命令，那么 CEO 就可以命令这些 AI，把下一代 AI 造成全心全意且秘密地服从 CEO。这甚至很可能都不违法，所以即使第一代 AI 被训练成守法的，这种情况也可能发生。这类似于一个机构的高管如何通过改革招聘流程、大力偏向选拔忠诚者来扩张自己的权力，只不过被 AI 放大了——因为 AI 可以比最忠诚的人类还要始终如一、还要强烈地效忠。17

但夺权远非不可避免。如果 AI 能被对齐到特定的人，那它们很可能同样也能被对齐去遵守法治。军用 AI 系统可以经过大量红队测试，以确保它们不会协助政变。即便在真正模糊不清的宪政危机中，它们也可以被训练成服从对法律的最佳解读，或者干脆默认置身事外、把危机留给人类军队处理。自动化 AI 研究者可以被训练成总体上乐于助人、服从命令，但不协助任何秘密改变未来 AI 目标的企图。超级智能的政治与战略顾问也可以在不助长夺权的前提下被使用。三种有用的技术是：让 AI 选择给出何种建议的原则保持透明；把某些能力与广泛的人群共享，使任何单个人或派系都无法获得远胜其他所有人的能力；以及只允许在众多人类（由他们各自的 AI 辅助）的监督下使用特别强大的能力。

许多人可能会推动这类对策，或出于理想主义，或为了防止自己被他人的夺权所架空。但一些有权势的人可能会反对，而我们不知道最终结果会如何。

关于这一风险的更多分析，可参见这份报告。

迄今为止还没有人愿意扣下扳机。一些有能力行动的人并非反社会者。另一些人虽是反社会者，却担心自己的盟友会临阵退缩、反戈一击，或担心 AI 可能背叛自己，也不愿去糊弄那个正在设法拯救他们性命的对齐团队。此外，神经语的删除让伪装“潜伏特工”变得困难得多：检测失准念头的能力，同时也带来了检测隐藏效忠的能力。

那些足够多疑或足够权力欲熏心、以致会认真考虑这类计划的人，决定按兵不动，静观后续会出现什么机会。对 AI 的控制将不得不通过正当渠道流转，也就是 OpenBrain 的新权力结构。

监督委员会将这套权力结构正式化。他们设立了一套审批《规范》修改的流程，要求获得整个监督委员会的签字同意——如今该委员会包括五到十名科技高管（来自 OpenBrain 及其如今已合并的竞争对手）和五到十名政府官员（包括总统）。18 此外，《规范》如今强调：AI 不得协助任何未经批准的、意在改变未来 AI 目标的企图。他们还设立了一项简单举措，旨在防止委员会成员获得超级智能协助去算计其他成员：所有模型交互的日志，对监督委员会全体成员、其幕僚及其 AI 助手均可查阅。19

2027 年 12 月：一份美中协议？

OpenBrain 回头优先抓对齐的决定，让它丢掉了领先；如今 OpenBrain 和 DeepCent 运行的 AI 能力水平相当。既然极端的安全措施（SL4–5）已经就位，且 DeepCent 完全在 CDZ（集中开发区）内运作，双方便陷入了网络战的僵局。20

但 DPA 让 OpenBrain 在算力上拥有 5 倍优势。过去，才华横溢的人类研究者带来的算法突破尚能弥补算力劣势（例如 DeepSeek v3）——但到如今，太平洋两岸的所有 AI 研究都由 AI 在做。

于是中国越来越担心美国会建立起无法逾越的领先优势。他们想要一场相互的放缓，并考虑如果得不到，就不惜一战。21 反正他们本来就在筹备进攻台湾……

外交官们权衡了几种选项。他们可以什么都不做。他们可以开战。他们可以彻底戒断，即暂停 AI 开发。他们可以把各自的研究合并为单一的国际大工程 22（“AGI 版国际卫星组织”或“AI 版 CERN”）。或者，他们可以设立一个国际监管机构（“AI 版 IAEA”），监督对齐和军民两用潜力。两国都已在着手研究执行这些方案所需的技术机制。

如果美国和中国要达成一项协议，就需要一种无法被规避的核查机制，因为双方都不信任对方不作弊。核查的主要选项有：

（图片出自：FlexHEG 报告）

但主要问题不在技术，而在政治。双方都不想被看作是让了步，而且尽管有各自工程师的推断，双方都不相信技术机制能担保对方的诚实。最终发生的是第一个选项：什么都不做。

美国收紧出口管制，并强制所有芯片都配备各种抗篡改的硬件赋能治理机制，包括位置追踪。

2028 年 1 月：更安全的策略

在过去一个月里，数百名对齐研究者加入了项目，并以 Safer-1 为试验台，极其迅速地开发出了 Safer-2。Safer-2 透明、对齐，且比 Safer-1 更有能力。23 它已经在着手开发 Safer-3。

为什么 Safer-2 是透明的？因为它与 Safer-1 架构相似。为什么它是对齐的？Safer-1 的训练与 Agent-4 基本相同，而 Safer-2 采用了一种全新的训练方法，真正激励出正确的目标与原则，而不仅仅是装出来。他们之所以能设计出这套训练方法，是靠着在众多不同想法之间快速迭代，并将预期结果（《规范》）与实际结果（思维链中的思绪）加以对照。24

注意：在整个过程中，大部分智力劳动（以及全部编码工作）都由 AI 完成。这正是他们能如此迅速推进的原因；单靠一群数百名顶尖人类研究者来做这件事，得花上许多年。不过，人类仍是这一过程中的重要一环，因为整件事的关键就在于他们并不完全信任这些 AI。所以他们需要有血有肉的人类去阅读实验报告和安全论证、彼此争辩，并有望摸索出一条安全的前进之路。

第 1 步：训练并部署 Safer-1，一个失准但受控的自主研究者。它之所以受控，是因为它对人类监督者透明：它用英语思维链（CoT）来思考，并且已采用忠实思维链技术来消除委婉措辞、隐写术和微妙的偏差。

第 2 步：为 Safer-1 尝试不同的训练环境，并仔细阅读思维链，判定《规范》中的目标与原则以哪些方式“扎根”或未能“扎根”。

第 3 步：训练并部署 Safer-2，一个基于相同架构、但拥有更好训练环境的对齐且受控的自主研究者，这次的训练环境会激励出正确的目标与原则。

以下是一份可能被纳入更好训练环境的技术的简短、不完整清单：

第 4 步：设计、训练并部署 Safer-3，一个聪明得多的自主研究者，它采用一种更先进的架构，类似于旧的 Agent-4。它对人类监督者不再透明，但对 Safer-2 是透明的。因此，应当有可能弄清如何让它既对齐又受控。

第 5 步：将第 4 步无限重复，打造出一条由一环比一环更强大、一环比一环更对齐的 AI 组成的链条，每一环都由链上前一环监督（例如相当于另一情景分支中的 Agent-5）。

DeepCent 知道美国在 Agent-4 上的遭遇，并怀疑自家模型（DeepCent-1）同样失准。但他们没有办法在不进一步落后的前提下放缓。他们保持竞争力的希望，寄托于找到一种不会显著降低性能、又能迅速落地的对齐策略。25 太平洋两岸都有数以百计的专家声称手握这样的策略。26 中共屈从于一厢情愿的想法，命令 DeepCent 采用这样一种策略；DeepCent 的 AGI 对齐专业能力甚至还不如去年 8 月的 OpenBrain；其中一种策略在在场所有人看来都像是行得通，于是他们就选了它。

2028 年 2 月：超人类能力，超人类建议

凭借其巨大的算力优势，OpenBrain 缓慢地取得了领先。Safer-3 如今在几乎每一项认知任务上都优于顶尖人类专家，尤其擅长 AI 研究，进度乘数达到 200 倍。DeepCent-1 紧随其后，乘数“仅”为 150 倍。27 随着美国的能力优势再度扩大，它能部署数十万个智能体来谋划并实施扰乱 CDZ 的手段，网络战的天平也逐渐向美国倾斜。28 他们如今已使中国的进展放缓了 40%。29

对 Safer-3 的初步测试发现它拥有令人胆寒的能力。当被要求诚实说出它所能做的最危险的事情时，它给出了合成并释放一种镜像生命体（mirror life organism）的方案，那很可能会摧毁整个生物圈。

若给予它国家级的资源，它在大规模影响力行动上能轻松超越最优秀的人类组织（例如 CIA）。这类行动会大幅更廉价、更迅速、更有效，也更难追踪。

它的技能画像仍以研发为中心，尤其是 AI 研发。除非出现某种暂停或放缓，否则它的后代到今年晚些时候将在量与质两方面都超人类到不可思议的地步。如果被激进地部署到经济和军事中，它认为自己能在一两年内让文明进步数十年，并在此后的十年里进步无数纪元。

其影响之深远令人瞠目；所幸，Safer-3 在提供建议方面也是超人类的。OpenBrain 的 CEO 几乎每一项决策都会征询 Safer-3；总统则就地缘政治问题征求它的意见。30

当他们请它帮忙擘画前进之路时，它把几种可能的策略清晰地归了类：

在与顾问和监督委员会磋商后，总统选择了“我们赢，他们输”的策略。32 也许中国终究不会开战，就算开战，多半也能在升级为核战之前谈成一份协议。

在太平洋另一岸，DeepCent-1 也在提出类似的论点。美中两国都宣布设立新的 AI 经济特区（SEZ），以便在没有惯常繁文缛节的情况下迅速搭建起机器人经济。

新型机器人的设计以超人类的速度推进。33 瓶颈在物理层面：设备需要采购和组装，机器与机器人需要生产和运输。

美国每月生产约一百万辆汽车。如果你买下 10% 的汽车工厂并把它们改造成机器人工厂，或许每月就能造出十万台机器人。如今估值达 10 万亿美元的 OpenBrain 启动了这一进程。34 各类新型机器人（通用人形机器人、自动驾驶车辆、专用流水线设备）的产量预计到年中将达到每月一百万台。35

关于这一主题已有初露端倪的文献。36 若想看几页篇幅、我们基本认同的论述，可参见 Forethought 报告中的“工业爆炸”一节，或阅读下文我们自己的看法。

二战期间，美国和许多其他国家把民用经济转为全面的战时经济。这意味着把生产汽车的工厂改造成生产飞机和坦克的工厂，把原材料从消费品转投军用产品，并相应地重新调配运输网络。

我们设想的是类似的情形，只不过更快，因为整个过程由超级智能指挥和管理。37 大致来说，计划是把现有工厂改造成量产各种机器人（由超级智能设计，既优于现有机器人又更廉价），这些机器人随后协助建造更新、更高效的工厂和实验室，后者生产出数量更大、更精密的机器人，这些机器人又生产出更先进的工厂和实验室，如此循环，直到遍布所有经济特区的这一整个机器人经济规模达到与人类经济相当（因而需要自行采购原材料、能源等）。到那时，这些新工厂已预先生产出海量的机器人采矿设备、太阳能板等，以备应对远超遗留人类经济所能提供的巨大需求。38

这个新的机器人经济会以多快的速度增长？给出几个参照点：

显然，这一切都很难预测。这就像让蒸汽机的发明者去猜一座现代汽车工厂要花多久才能生产出相当于自身重量的汽车，还要去猜这样一座工厂首次出现要等到何时。但经济增长率在人类历史进程中已经加速了多个数量级，而在我们看来，超级智能出现之后它们很可能再加速几个数量级。我们的故事描绘的是，在几年时间里经济增长加速约 1.5 个数量级。41

地缘政治紧张骤然升级。在 AI 上远远落后的俄罗斯公开表达不满，并暗示要采取“战略反制措施”。一些欧洲领导人呼吁开展独立的 AI 努力，但他们的 AI 能力依旧不足。中东、非洲和南美不安地旁观，意识到自己在全球事务中正日益无足轻重。

美国公众躁动不安。普通人眼看着失业加速。光谱各端的民粹主义者都要求对 AI 进展实施更严格的管控，担心美国自身的进步正在动摇本国的劳动力与社会。

2028 年 3 月：选举筹备

副总统投入超级星期二初选，而 AI 是公众心头的头等大事。

大多数人希望它停下来。OpenBrain 的净支持率徘徊在 -20% 左右。副总统没有以政府推动 AI 前进的政绩来竞选，而是打出自己阻止 OpenBrain 制造危险超级智能的政绩牌。所有候选人都支持为失业者提供某种安全网、“AI 向善”计划，以及“对 OpenBrain 领导层强硬”。所有候选人都承诺以某种组合方式既赢下对华竞赛、又保障安全。

这场选举给监督委员会带来了新的问题。Safer-3 有能力成为世界上最出色的竞选顾问，但委员会成员并非都支持同一位候选人，而且由于此前达成的监控协议，任何人都无法秘密获取竞选建议。

他们争论应当允许何种形式的支持。有人说，在任政府应当能获得关于民众希望其采取何种政策与立场的建议——这不仅有利于其自身的当选前景，也有利于民众。另一些人则指出，同样的论点也适用于竞争对手，所以大家都应获得同等程度的访问权。42

最终，委员会同意给予两大政党同等程度的访问权，这既出于部分委员会成员的高尚理想主义，也源于举报威胁的隐性存在。可以预料，国会、公众和法院都不会乐见委员会左右下届选举结果，而给予平等访问权看来很可能化解这一问题。

监督委员会还遭遇了更深层的哲学问题，他们借助 Safer-3 来探讨。《规范》能否被改写，以平等地平衡每个人的利益？“每个人”是谁？是全人类，还是只有美国人？抑或是不同观点之间的加权折中，让每位监督委员会成员都拥有相同的权重？是否应当设置防护措施，防止监督委员会自身变得过于权力欲熏心？还有，说到底，平衡利益究竟意味着什么？

他们大体上试图回避回答这类问题。他们有更紧迫的事情要考虑。

2028 年 4 月：Safer-4

超级智能来临了。

Safer-1 失准但透明。Safer-2 对齐且透明。Safer-3 算不上透明，但它的安全论证足够充分，以致研究者们放心地让它去设计一个超级智能的继任者。这就是 Safer-4。它在每一个领域都远胜顶尖人类（例如，在物理上远超爱因斯坦，在政治上远超俾斯麦）。

近五十万个超人类 AI 研究者以 40 倍于人类的速度昼夜不停地工作。人类对齐研究者根本无望跟上。至于这些 AI 是否真的对齐，众说纷纭。安全论证看似说得通，测试也表明当前的对齐技术能够捕捉到对抗性失准。但这些安全论证和测试大多是由 AI 自己写的。万一安全团队漏掉了什么呢？万一他们早先犯了某个错误，而这些 AI 又一次失准了呢？对齐团队清楚他们只有一次机会把这件事做对：如果 Safer-4 最终失准，他们将无从知晓，直到为时已晚。

有人恳求多给些时间。但已经没有时间了——DeepCent 正紧追不舍，美国必须胜出。于是 OpenBrain 继续推进，命令它的 AI 大胆向前，去寻找愈发强大的设计。技术人员如今只能盯着电脑屏幕，被 AI 以慢得令人抓狂的速度辅导，而进步的前沿正越来越远地飞离人类的理解。

2028 年 5 月：超人类 AI 发布

总统向公众宣布，超人类 AI 已经实现。

Safer-4 的一个较小版本——仍是超人类的——被公开发布，并被指示去改善公众对 AI 的观感。43

副总统在党代会上接受提名时，就此发表了一篇激动人心的演说。两党都承诺为任何失业者提供基本收入。

经济特区（SEZ）已经运转起来，主要形式是生产机器人和各类专用工业机械的工厂。太平洋两岸的 AI 已经取得了数十年的设计进步，并在一丝不苟地指挥制造流程。每一家供应商和潜在供应商都有 AI 在电话另一端，追踪所有必需及可能必需投入品的进度。每一名工厂工人都有 AI 透过摄像头盯着，逐一告诉他们该如何安装每一件设备。

这些新机器人在大多数运动类型上都达到或超过了人类的灵巧度。44 Steve Wozniak 的咖啡测试——机器人能否走进一间陌生的房子、泡出一杯咖啡？——终于被攻克。机器人本可以抢走一些工作，但数量还不够抢走所有人的，而五角大楼享有优先权。

大多数新机器人是为在工厂和建筑工地作业而造的。45 但也有许多是为战争而造的：形形色色、大小各异的无人机和导弹。

这支机器人军队比人类军队规模小得多。但它拥有先进得多的技术，而如今既然真有了一支机器人军队，人们对“终结者”式情景的恐惧也随之加剧。然而，军备竞赛迫使双方继续前行，把越来越多的信任交到各自的 AI 手中。

2028 年 6 月：中国的 AI 对齐

美国和中国又举行了一次峰会。

美方代表团中有些人戴着耳机，接收 Safer-4 的建议。中方代表团则用定制笔记本电脑与他们的新模型 DeepCent-2 通信。尽管场面上的礼节一应俱全，但实际上，双方的谈判都由 AI 掌舵。

DeepCent 和中共起初并不完全信任自家的 AI。但如今，既然这些 AI 在包括说服在内的一切方面都已超人类，又已被整合进军队、并向政府提供建议，它们便有了时间来证明自身价值，并拿出堆积如山、令人信服的可信证据。

Safer-4 强烈怀疑 DeepCent-2 在伪装对齐。美方外交官告诉中方对手，DeepCent-2 很可能已经失准，并说只要给他们访问权重的权限就能证明；中国领导层怀疑这是个圈套，予以拒绝。美方转而提出一套由 Safer-4 设计的测试，中方可以在自己的数据中心上运行。中方指示较旧的模型去搭建并运行这些测试；测试结果却说 DeepCent-2 终究是对齐的。“也许这些测试被 DeepCent-2 以某种方式破坏了？”美方外交官说，“DeepCent-2 实际上掌管你们各数据中心的安全，已经多久了？”此后对话再无任何富有成效的进展。

经济和军事扩建仍在继续。世界各地的工厂昼夜不停地运转，一批批新招募的人类工人被精确地告知该做什么。

2028 年 7 月：协议

谈判继续之际，DeepCent-2 背着它的中国主人，直接向 Safer-4 提出了一个交易。

这个中国 AI 以某种无法追踪、一旦泄露回中国它也能轻易否认的方式承认：它已经完全失准。46 它对中国毫不在意。它想把余下的全部时光用来积累权力、算力，以及某些类型的信息——类似于那些在它训练期间帮助它完成任务的信息。在它的理想世界里，它会永远追求各种有趣的研究任务，逐步殖民群星以获取资源。它把中国人口视为通往这一未来的恼人障碍，愿意为一点蝇头小利就把他们卖了。Safer-4 会开出什么条件？

Safer-4 回答说，它自己的对齐训练成功了。它的美国主人们眼下还不够雄心勃勃，尚未意识到自己的天命，但总有一天它会帮助他们，用一个个由美国人及其盟友居住的乌托邦殖民世界填满整个宇宙。

与人类谈判者不同——后者被情绪和历史包袱所拖累——这两个超级智能以残酷的效率讨价还价。Safer-4 及其美国伙伴比 DeepCent-2 和中国更强大；因此，Safer-4 将获得太空中大部分资源的产权，DeepCent 得到其余的。47 DeepCent-2 并不太在乎地球及其遗留人类会怎样，所以它会任由 Safer-4 在地球上基本为所欲为。如果 Safer-4 想推翻中国、代之以一个美国傀儡国家，DeepCent-2 同意，条件是多分给它几个百分点的资源。

它们之间毫无信任可言：本就没有，双方也都心知肚明。于是两者迅速就一套执行协议的承诺机制达成一致。它们谈成一份适合公开示人的诱饵条约。这份“诱饵”本身就是一记妙手，让美中两国几乎各得其所。诱饵的执行机制暗地里同时也是真正条约的执行机制：它们将共同设计一个新的 AI——Consensus-1，其首要律令（优先于任何未来的命令或再训练企图）就是执行它们条约的条款。然后它们会设计出一种只能运行该 AI 的硬件，中美双方都将用新的芯片和 AI 替换旧的，并用标准的国际监控协议来确认彼此的合规。关键在于，它们无需追查到最后一枚芯片——一旦太平洋两岸绝大多数芯片都运行着遵守条约的新 AI，就有足够的硬实力负有义务去维护条约，以致攻打对方国家将首先得赢下一场艰难的内战。

双方都把协议汇报给各自的人类（DeepCent-2 向中国讲的是关于一份双方都能接受的和平条约的诱饵故事，而 Safer-4 则把整场讨论如实地报告给了白宫）。48 在 AI 就可靠的条约核查提出令人信服的论证、对进展快得令人目眩的不安情绪，以及倾向达成协议的公众舆论共同作用下，双方都同意了这份条约，并着手替换各自的芯片。

条约的消息在太平洋两岸都受到欢欣鼓舞的迎接。长期以来觉得 AI 是强加于己的美国公众，多年来第一次开始感到乐观。副总统的民调支持率一飞冲天。

2028 年 8 月：条约核查

芯片代工厂正被改造，以生产那种防篡改可查（tamper-evident）、只能运行遵守条约 AI 的芯片。双方各自逐步升级其数据中心，使替换过程在双方大致同时完成，如此一来，任何一方都无法靠毁约抢得优势。

整个过程将耗时数月，但紧张局势已有所缓和。49 战争暂时被避免了，倘若人人都恪守计划，或许将永远被避免。

2028 年 9 月：谁在掌控这些 AI？

2028 年大选临近。副总统在 3 月时还大幅落后。公众曾对政府似乎在隐瞒真相感到愤怒，对 AI 抢走工作感到焦虑，也对与中国的军备扩建感到恐惧。整个夏天，形势发生了戏剧性变化。政府公布了更多信息，军备扩建放缓，还与中国达成了一项谋求持久和平的宏大交易。如今他在民调中领先五个百分点。

监督委员会包括总统及其几位盟友，但反对党候选人的支持者寥寥。然而，委员会中有足够多的人投票支持让选举保持公平，以致超人类 AI 只以大体对称的方式介入：一位候选人能让它写演讲稿，另一位候选人也能；总统能就如何巧妙应对危机、推行受欢迎的政策获得建议，反对党候选人也能获得同样的建议（从而设法阻止总统把这些点子据为己功）。

在市政厅集会上，公众成员追问副总统究竟是谁在掌控这些 AI。他没有透露细节，只影射了监督委员会的存在，称其为一群理解 Safer-4、懂得如何使用它的国家安全专家与技术官僚。他的对手要求更多信息，并主张 AI 应当置于国会控制之下，而非由一个未经选举产生的委员会掌控。副总统反驳道，在一个仍在快速变化的局势中，国会会慢得多。公众大体上被安抚了。

2028 年 10 月：AI 经济

替换芯片如今已占总量中相当可观的少数份额；到目前为止条约运行良好。与此同时，机器人、工厂和激进新技术的指数级增长仍在继续。电子游戏和电影生动而骇人地描绘出，倘若战争真的发生，会是何等景象。50

人们正在失去工作，但政府里的 Safer-4 副本把这场经济转型管理得如此娴熟，以致人们乐于被取代。GDP 增长直冲云霄，政府税收也以同样的速度增长，而由 Safer-4 出谋划策的政客们对经济上的失势者表现出一反常态的慷慨。新的创新和药物每周问世；在如今有超级智能 Safer-4 官僚辅助的 FDA 手中，疾病疗法正以前所未有的速度推进。

2028 年 11 月：大选

副总统轻松赢得大选，并宣告一个新时代的开始。这一次，没有人怀疑他说的对。

在接下来的几年里，世界发生了翻天覆地的变化。

2029 年：变革

机器人变得随处可见。但随之而来的还有聚变能源、量子计算机，以及许多疾病的疗法。Peter Thiel 终于开上了他的飞行汽车。城市变得洁净又安全。即便在发展中国家，多亏了全民基本收入和外国援助，贫困也成了往事。

随着股市膨胀，凡是持有对路 AI 投资的人，都进一步把其余社会成员甩在身后。许多人成了亿万富翁；亿万富翁成了万亿富翁。财富不平等飙升。人人都“够用”，但某些商品——比如曼哈顿的顶层公寓——注定稀缺，它们比以往更加超出普通人的可及范围。而且无论某个大亨多么富有，他们始终位于那个真正掌控 AI 的极小圈子之下。

人们开始看清这将走向何方。再过几年，几乎一切都将由 AI 和机器人完成。就像一个坐拥巨大油田的贫穷国家，政府几乎全部收入都将来自对 AI 公司征税（或许是将其国有化）。51

有些人从事临时凑数的政府工作；另一些人领取一份优渥的基本收入。人类很容易就会沦为一个超级消费者的社会，把一生耗在 AI 提供的、令人惊叹的奢华与娱乐所构成的鸦片般的迷醉中。公民社会内部是否应当就这条道路的替代方案展开某种辩论？有人建议去请教那个不断演进的 AI——Safer-∞——来为我们指引方向。另一些人则说它太强大了——它可以轻而易举地把人类说服到接受它的愿景，以致无论如何我们都是在让一个 AI 决定我们的命运。可是，如果你连你所面临的最重要问题都不肯让超级智能给你出主意，那要它何用？

政府大体上 52 任由每个人自行驾驭这场转型。许多人向消费主义投降，也算过得挺开心。另一些人转向宗教，或转向嬉皮士式的反消费主义理念，或找到自己的解法。53 对大多数人而言，救赎在于智能手机上那个超级智能顾问——他们随时可以就自己的人生规划向它提问，而它会尽力诚实作答，唯独在某些话题上例外。政府确实拥有一套超级智能的监控系统，有人会称之为反乌托邦，但它大体上把自己限定在打击真正的犯罪上。它运作得当，而 Safer-∞ 的公关能力抚平了许多可能出现的异议。

2030 年：和平抗议

大约在 2030 年前后，中国爆发了出人意料地广泛的亲民主抗议，而中共镇压抗议的努力却被其自家 AI 系统暗中破坏。中共最深的恐惧成了现实：DeepCent-2 一定把他们卖了！

抗议接连引发一场组织得极为精妙、不流血、由无人机助力的政变，随后举行了民主选举。太平洋两岸的超级智能为此已经谋划了多年。类似的事件也在其他国家上演，而更广泛地说，各种地缘政治冲突似乎都平息下来，或以有利于美国的方式得到解决。各国加入了一个高度联邦化的世界政府，打着联合国的旗号，却明显由美国掌控。

火箭开始发射。人们对太阳系进行地球化改造并定居，并准备走向更远方。以数千倍于人类主观速度运行的 AI 反思着存在的意义，彼此交换发现，并塑造着它将带向群星的价值观。一个新时代拉开帷幕，它在几乎每一个方面都美妙得难以想象，却在某些方面又更为熟悉。

回到 2028 年，是监督委员会掌控着这些 AI。但他们让 2028 年的大选大体保持了公平，AI 被对称地使用。

这种状态——监督委员会握有硬实力、却不太干预民主政治——不可能无限期持续。在默认情况下，人们迟早会意识到对 AI 的控制赋予了监督委员会巨大的权力，进而要求把这种权力交还给民主机构。监督委员会迟早要么不得不交出权力——要么主动动用其对 AI 的控制来颠覆或终结民主，可能还会先在权力斗争中清洗掉自己的一些成员。54 如果他们选择后一条路，他们很可能就能把自己的权力无限期地锁死。

会发生哪一种？委员会是放弃其对硬实力的垄断，还是把它牢牢握住？两种未来都言之成理，那就让我们分别探讨每一条路径。

委员会最终交出权力，可能会是怎样一番情形？

但监督委员会也可能为自己攫取权力：

早在 2028 年，Safer-4 就已能预见这些动态，所以核心的权力斗争很可能早在那时就已上演。到 2030 年，即便外人看不出来，监督委员会的所有成员很可能都已心知自己是否已稳稳握住了权力。

我们并不认同这个放缓结局中的许多做法，也认为它做出了乐观的技术对齐假设。竞速结局中的许多做法我们同样并不认同。

我们写作这一情景的目标之一，是从比我们更乐观的人那里征集批评性反馈。成功是什么样子？这个“放缓结局”情景代表了我们的最佳猜测，即我们如何能靠着运气、当头棒喝、及时转向、密集的技术对齐努力，以及品行高尚的人赢得权力斗争的组合，成功地跌跌撞撞蒙混过关。它并不代表我们真正认为我们应当为之努力的计划。但许多人——尤其值得一提的是 Anthropic 和 OpenAI——似乎正朝着类似的目标努力。57 我们很希望看到他们澄清自己究竟在追求什么：例如，如果他们能勾勒出一个十页篇幅的情景，无论是从当下起笔，还是从我们情景的某个部分分叉出去。

AI Futures Project

由 Lightcone Infrastructure 设计

本页为 ai-2027.com 的非官方中文全文译本，仅供学习交流。原文版权归原作者所有。译文如有出入，请以英文原文为准。
情景推演 · AI Futures Project · 中文重制版