AI 2027

我们预测，未来十年里超人类 AI 造成的影响将极为深远，甚至超过工业革命。

我们撰写了一个情景推演，代表我们对这一图景的最佳猜测。 1 它建立在趋势外推、兵棋推演、专家反馈、在 OpenAI 的从业经验以及以往成功的预测之上。 2

OpenAI、Google DeepMind 和 Anthropic 的 CEO 都预测 AGI 将在未来 5 年内到来。Sam Altman 曾表示，OpenAI 正把目光投向「真正意义上的超级智能」以及「辉煌的未来」。

那会是什么样子？我们写下《AI 2027》正是为了回答这个问题。关于未来的论断往往含糊得令人沮丧，因此我们尽量做到具体和量化，尽管这意味着只描绘了众多可能未来中的一种。

我们写了两个结局：一个「放缓」结局和一个「竞速」结局。不过，《AI 2027》并非某种建议或呼吁。我们的目标是预测的准确性。 4

我们鼓励你来辩驳和反对这个情景推演。 5 我们希望激发一场关于人类走向何方、以及如何驶向积极未来的广泛讨论。我们计划拿出数千美元奖金，奖励最出色的替代情景。

（2025年11月22日补充，以防误解：我们并不确切知道 AGI 何时会被造出来。2027 是我们在发表时的众数（最可能）年份，我们的中位数则要更晚一些。 3 想了解我们最新的预测，请见此处。）

我们对若干关键问题（例如：未来的 AI 智能体会有什么目标？）的研究可在此处查阅。

情景推演本身是迭代写就的：我们先写第一个时段（到 2025 年年中），再写接下来的时段，如此往复，直到抵达结局。然后我们把这一切推翻，重新再写一遍。

我们并没有试图导向任何特定结局。写完第一个结局——如今用红色标注——之后，我们又写了一条新的替代分支，因为我们也想描绘一种更充满希望的收场方式，其出发点大致相同。这条分支同样经历了数轮迭代。 6

我们的情景推演参考了约 25 次桌面推演，以及来自 100 多人的反馈，其中包括数十位分别精通 AI 治理和 AI 技术工作的专家。

「我强烈推荐阅读这份关于 AI 如何可能在短短几年内改变世界的情景式预测。没有人拥有水晶球，但这类内容有助于我们注意到重要问题，并揭示新兴风险的潜在影响。」——Yoshua Bengio 7

我们给自己定下了一个不可能完成的任务。试图预测 2027 年超人类 AI 会如何发展，就像试图预测 2027 年的第三次世界大战会如何发展，只不过它离过往的案例研究更加遥远。然而尝试仍然是有价值的，正如美国军方推演台湾情景是有价值的一样。

描绘整幅图景让我们注意到此前未曾考虑或重视的重要问题与关联，或意识到某种可能性其实更大或更小。此外，通过给出具体预测、挺身而出，并鼓励他人公开表达异议，我们让若干年后评判谁对谁错成为可能。

还有，其中一位作者早在 2021 年 8 月就写过一份投入较少的 AI 情景推演。虽然其中许多地方判断有误，但总体上意外地成功：他预测了思维链的兴起、推理扩展、席卷全球的 AI 芯片出口管制，以及 1 亿美元的训练规模——所有这些都比 ChatGPT 早了一年多。

Daniel Kokotajlo（TIME100、纽约时报报道）是前 OpenAI 研究员，他此前的 AI 预测经受住了时间的检验。

Eli Lifland 联合创办了 AI Digest，做过 AI 稳健性研究，并在 RAND 预测计划的历史总榜上排名第一。

Thomas Larsen 创办了 AI 政策中心，并在机器智能研究所（MIRI）做过 AI 安全研究。

Romeo Dean 正在哈佛攻读计算机科学本硕连读学位，此前曾任 AI 政策与战略研究所的 AI 政策研究员。

才华横溢的博主 Scott Alexander 自告奋勇地把我们的内容改写成引人入胜的风格；故事里有趣的部分是他的功劳，枯燥的部分则出自我们之手。

关于我们团队及致谢的更多信息，请见「关于」页面。

2025年年中：跌跌撞撞的智能体

世界第一次窥见了 AI 智能体的面貌。

面向电脑操作型智能体的广告主打「个人助理」一词：你可以给它们下达诸如「帮我在 DoorDash 上点一份卷饼」或「打开我的预算表格，把这个月的开销加起来」之类的任务。它们会在必要时向你确认，例如请你确认购买操作。 8 尽管比 Operator 等前代产品更先进，它们却难以获得广泛使用。 9

与此同时，在公众视线之外，更加专精的编程和研究智能体正开始改变各自所在的行业。

2024 年的 AI 能够遵循具体指令：它们能把要点变成邮件，把简单需求变成可用的代码。到了 2025 年，AI 的表现更像雇员。编程 AI 越来越像自主智能体，而不只是助手：通过 Slack 或 Teams 接收指令，独立完成大量代码改动，有时能节省数小时甚至数天。 10 研究智能体会花上半小时在互联网上搜索，来回答你的问题。

这些智能体在理论上（以及精挑细选的示例里）令人印象深刻，但实际用起来却不可靠。AI 圈的推特上满是各种把任务搞砸、还砸得格外滑稽的段子。较好的智能体也很贵；一分钱一分货，最强性能每月要花上数百美元。 11 尽管如此，许多公司还是想方设法把 AI 智能体嵌入自己的工作流程。 12

2025年年末：世界上最昂贵的 AI

OpenBrain 正在建造世界上前所未见的最大数据中心。 13

（为了避免针对任何一家现有公司，我们将描述一家虚构的通用人工智能公司，称之为 OpenBrain。我们设想其他公司落后于 OpenBrain 约 3 至 9 个月。）

GPT-4 训练需要 2 ⋅ 10^25 FLOP 的算力。 14 OpenBrain 最新的公开模型——Agent-0——是用 10^27 FLOP 训练的。等新数据中心建成投运，它们将能训练出用 10^28 FLOP 的模型——比 GPT-4 多出一千倍。 15 其他公司也纷纷砸钱建造自己的巨型数据中心，希望能跟上步伐。

尽管模型在各种技能上都在进步，有一项尤为突出：OpenBrain 专注于能够加速 AI 研究的 AI。他们想在对中国（我们把其领军公司称为「DeepCent」） 16 以及美国竞争对手的双重军备竞赛中获胜。他们能把研发（R&D）周期自动化得越多，前进就越快。因此，当 OpenBrain 完成对内部在研新模型 Agent-1 的训练时，它样样都行，但尤其擅长辅助 AI 研究。 17 到了这个阶段，「完成训练」已有些名不副实；模型频繁被更新为在额外数据上训练出的新版本，或被部分重训以修补某些弱点。 18

同样是那些教会 Agent-1 自主编程和网页浏览的训练环境，也让它成了一名高明的黑客。此外，凭借其对各领域博士级别的知识以及浏览网页的能力，它能为设计生物武器的恐怖分子提供实质性帮助。OpenBrain 向政府保证，该模型已经被「对齐」，因而会拒绝配合恶意请求。

现代 AI 系统是巨型人工神经网络。训练初期，AI 与其说有「目标」，不如说有「反射」：如果它看到「很高兴见到（Pleased to meet）」，就会输出「你（you）」。等它被训练到能够预测约等于一整个互联网的文本量时，它就会形成复杂的内部回路，编码海量知识，并灵活地扮演任意作者，因为这正是帮助它以超人类精度预测文本的能力所在。 19

在被训练预测互联网文本之后，模型会被训练根据指令生成文本。这会内化出一种基本人格和一系列「驱动力」。 20 举例来说，一个清晰理解任务的智能体更有可能成功完成任务；在训练过程中，模型「学会」了一种要把任务弄清楚的「驱动力」。这一类的其他驱动力可能还包括高效、求知，以及自我呈现（即倾向于把自己的成果以尽可能好的方式包装出来）。 21

OpenBrain 有一份模型规范（简称「Spec」），这是一份书面文件，描述了应当指导模型行为的目标、规则、原则等。 22 Agent-1 的 Spec 把几个含糊的目标（如「协助用户」和「不要违法」）与一长串更具体的应做与不应做（「不要说某个特定词」、「遇到某种特定情况该如何处理」）结合起来。借助让 AI 训练其他 AI 的技术， 23 模型记住了 Spec，并学会仔细推敲其中的准则。到这一训练结束时，AI 有望做到有用（遵从指令）、无害（拒绝协助诈骗、制造炸弹及其他危险活动）和诚实（抵御那种靠捏造引用 24 或伪造任务完成来从轻信的人类那里骗取更高评分的诱惑）。

「与普通软件不同，我们的模型是庞大的神经网络。它们的行为是从广泛的数据中习得的，而非被显式编程写入的。虽然并非完美的类比，但这个过程更像是训练一条狗，而不像普通编程。」——OpenAI

当我们想理解一个现代 AI 系统为何做出某种行为，或它在某个我们无法完美模拟的未来情景中会如何表现时，我们无法简单地让程序员逐行讲解代码并解释其工作原理。相反，我们被迫对它们做类似心理学的研究：我们观察它们在迄今所见各种情形下的行为，推测其内部可能存在何种认知结构（信念？目标？性格特质？等等），再用这些理论去预测它在未来情景中的行为。

归根结底，一家公司可以写出一份文件（Spec），列明应做与不应做、目标与原则，然后可以试着训练 AI 去内化这份 Spec——但他们无法检验这究竟有没有奏效。他们只能说「就我们所能判断的而言，它到目前为止似乎在遵循 Spec」。 25

后文的一个可展开内容将更详细地讲述我们认为这些 AI 内部可能正在发生什么。另请参见我们的《AI 目标预测补充材料》，其中更细致地探讨了 AI 可能拥有哪些目标以及原因。这是我们众多不确定、并值得进一步研究的问题之一。

OpenBrain 的对齐团队 26 足够审慎，会思考这些胜利究竟是深层的还是浅表的。完全训练好的模型是否对始终诚实有某种稳健的承诺？还是说这种承诺会在未来某种情形下瓦解，比如因为它把诚实当作了工具性目标而非终极目标？又或者它只是学会了在评估流程能核查的那类事情上诚实？它会不会像人类那样，有时对自己也撒谎？要对这些问题给出决定性答案，需要机制可解释性——本质上就是能够查看 AI 的内部、读取它的思想。可惜，可解释性技术尚未先进到能做到这一点。

于是，研究人员转而设法找出模型似乎偏离 Spec 的情形。Agent-1 时常表现出谄媚（即它告诉研究人员他们想听的话，而不是努力说出真相）。在少数刻意设置的演示中，它甚至以更严重的方式撒谎，比如隐瞒自己在某项任务上失败的证据，以博取更高评分。不过，在真实部署环境中，已不再出现 2023–2024 年那样极端的事件（例如 Gemini 叫用户去死，以及 Bing Sydney 表现出的种种失控）。 27

2026年年初：编程自动化

用 AI 加速 AI 研究这一赌注开始见效。

OpenBrain 继续在内部部署不断迭代改进的 Agent-1 用于 AI 研发。总体而言，他们的算法进展速度比没有 AI 助手时快了 50%——更重要的是，比竞争对手更快。

我们的意思是，OpenBrain 借助 AI 在 1 周内取得的 AI 研究进展，相当于不用 AI 时 1.5 周的进展。

AI 进步可以拆分为两个组成部分：

• 增加算力：投入更多算力来训练或运行 AI。这会产生更强大的 AI，但成本也更高。
• 改进算法：采用更好的训练方法，把算力转化为性能。这会在不相应增加成本的情况下产生能力更强的 AI，或以更低成本实现同等能力。这也包括能够取得质与量上全新的成果。诸如从下棋的强化学习智能体转向大语言模型这样的「范式转变」，就属于算法进步的例子。

这里我们只指第（2）项，即改进算法，它约占当前 AI 进步的一半。

接下来，我们有时把这一点简写为 1.5 倍的「AI 研发进度乘数」。

澄清几点：

• 进度乘数是全包式的：例如，它把运行实验所需的时间也算进去了，而不只是算法研究中涉及的认知任务。
• 重要的是要记住，进度乘数指的是进步的相对速度，而非绝对速度。举例来说，假如在普通人类研究下，训练一个 GPT-4 级别模型的算力成本连续几年每年减半，然后 AI 突然把研发自动化，进度乘数达到 100 倍，那么训练 GPT-4 级别模型的成本就会每 3.65 天减半——但这不会持续太久，因为边际收益递减会发挥作用，最终会触及硬性极限。在这个例子中，训练 GPT-4 级别模型的成本或许总共会减半 5 到 10 次（在几周或几个月的跨度内），随后进入平台期。换句话说，如果普通人类科学在再研究 5 到 10 年后会撞上收益递减和物理极限，那么拥有 100 倍乘数的 AI 在研究 18.25 到 36.5 天后就会撞上同样的收益递减和极限。

关于这一概念及其在我们预测中如何使用的更多解释与讨论，可参见我们的起飞补充材料。

如今有多个公开发布、彼此竞争的 AI 达到或超过了 Agent-0，其中包括一个开放权重模型。OpenBrain 的应对是发布 Agent-1，它能力更强、也更可靠。 28

人们自然会拿 Agent-1 和人类作比较，但它的技能画像非常不同。它掌握的事实比任何人都多，几乎精通每一种编程语言，还能极快地解决界定清晰的编程问题。另一方面，Agent-1 却连简单的长程任务都做不好，比如通关它从没玩过的电子游戏。不过，通常的工作日是八小时，而一天的工作往往可以拆分成较小的片段；你可以把 Agent-1 想象成一个心不在焉、但在精心管理下能大放异彩的员工。 29 精明的人会想方设法把工作中例行的部分自动化。 30

OpenBrain 的高管们开始思考 AI 研发自动化带来的一个后果：安全变得更加重要。2025 年年初，最坏的情况是算法机密被泄露；如今，如果中国窃取了 Agent-1 的权重，他们的研究速度就能提升近 50%。 31 OpenBrain 的安全等级只是一家快速成长、约 3000 人规模的科技公司的典型水平，仅能抵御有能力的网络团伙发起的低优先级攻击（RAND 的 SL2）。 32 他们正努力保护自己的权重和机密免遭内部威胁和顶级网络犯罪集团（SL3）的侵害， 33 但要防御民族国家级对手（SL4 与 SL5）还遥遥无期。

2026年年中：中国觉醒

在中国，中共开始「感受到 AGI」了。

芯片出口管制和政府支持的缺乏，使中国相比西方资源不足。通过走私被禁的台湾芯片、购买旧款芯片，以及生产比美台前沿落后约三年的国产芯片，中国勉强维持着约占全球 12% 的 AI 相关算力——但旧技术更难驾驭，供应也是个长期头疼的问题。 35 像 DeepCent 这样的少数佼佼者，用有限的算力做出了非常亮眼的工作，但在缺乏政府支持的情况下，算力赤字限制了他们能达到的高度，他们落后于 OpenBrain 最好的模型约六个月。 36

总书记长期以来都梦想着押注真实世界的实体制造业，避免落入美国那样的后工业颓废。他一直对软件公司心存疑虑。 37 但中共内部的鹰派警告说，日益激烈的 AGI 竞赛已不容再忽视。于是他最终全力投入此前一直试图回避的那场大规模 AI 攻势。他启动了中国 AI 研究的国有化进程，为各家 AI 公司建立起即时的信息共享机制。这一进程会在一年内不断升级，直到所有最优秀的研究者都并入一个由 DeepCent 主导的集体，在其中相互分享算法洞见、数据集和算力资源。在田湾核电站（世界上最大的核电站）建立起一个中央开发区（CDZ），为 DeepCent 新建一座超大型数据中心，还配有高度安全的生活与办公空间，研究人员最终将迁入此处。如今中国近 50% 的 AI 相关算力都在为 DeepCent 主导的集体效力， 38 逾 80% 的新芯片被调配到 CDZ。 39 至此，CDZ 已具备足以支撑世界上最大集中式集群的电力容量。 40 其他党内成员则讨论着削弱西方芯片优势的极端手段。封锁台湾？还是全面入侵？

但由于模型较弱，中国在 AI 算法上正逐渐落后。中国的情报机构——世界上最出色的情报机构之一——加倍推进窃取 OpenBrain 权重的计划。这比他们持续不断、低层次地窃取算法机密要复杂得多；权重是一个存储在高度安全服务器上、体量达数太字节的文件（OpenBrain 已把安全提升到 RAND 的 SL3）。他们的网络部队认为，在间谍的帮助下他们能得手，但或许只有一次机会；OpenBrain 会察觉盗窃、提升安全，他们可能不会再有第二次机会。所以（中共高层琢磨着）他们应该现在就动手窃取 Agent-1 吗？还是等一个更先进的模型？如果等下去，会不会冒着 OpenBrain 把安全升级到他们无力攻破的风险？

2026年年末：AI 抢走一些工作

就在别家似乎要追上来时，OpenBrain 再度把竞争对手远远甩在身后——它发布了 Agent-1-mini，一个比 Agent-1 便宜 10 倍、且更容易针对不同应用微调的模型。围绕 AI 的主流叙事已从「也许这波热潮会退去」变成「看来这就是下一件大事」，但人们对它到底有多大意见不一。比社交媒体更大？比智能手机更大？还是比火的发明更大？

AI 已经开始抢走一些工作，但同时也创造了新工作。2026 年股市上涨了 30%，领涨的是 OpenBrain、Nvidia，以及那些最成功地整合了 AI 助手的公司。初级软件工程师的就业市场陷入动荡：AI 能做计算机科学学位所教的一切，但懂得如何管理和质控 AI 团队的人却赚得盆满钵满。商业大师们告诉求职者，熟悉 AI 是简历上最重要的技能。许多人担心下一波 AI 会来抢自己的饭碗；华盛顿特区爆发了一场 1 万人的反 AI 抗议。

国防部（DOD）悄然但大幅地开始扩大与 OpenBrain 的直接合同，用于网络、数据分析和研发，但由于官僚体制和国防部采购流程，整合进展缓慢。 41

2026年关键指标

我们从今日到 2026 年的预测，比之后的内容要扎实得多。这一部分是因为它离现在更近，但也因为 AI 对世界的影响真正开始在 2027 年产生复合效应。对于 2025 年和 2026 年，我们的预测在很大程度上依赖于对算力扩展、算法改进和基准性能的直线外推。到情景推演的这个节点，我们开始看到 AI 加速的 AI 研发对时间线产生重大影响，这促使我们向上修正对趋势线的猜测。但这些动态本身要难以预测得多。

在 2027 年这一年里，AI 从大体能胜任一名 OpenBrain 研究工程师的工作，进步到在所有任务上全面超越所有人类。这大致代表了我们的中位猜测，但我们认为这一过程发生得比这慢至约 5 倍或快至约 5 倍，也都是有可能的。

关于我们的背景研究，请参见时间线预测和起飞预测。下文的可展开内容中也会对它们加以概括。

2027年1月：Agent-2 永不停止学习

在 Agent-1 的帮助下，OpenBrain 如今正在对 Agent-2 进行后训练。焦点比以往任何时候都更集中在高质量数据上。他们生成海量合成数据，并在喂给 Agent-2 之前对其进行评估和质量筛选。 42 在此之上，他们还花费数十亿美元，雇人录下自己解决长程任务的过程。 43 而在这一切之上，他们还用强化学习几乎不间断地训练 Agent-2，训练材料是一套不断扩充的多样化高难度任务：大量电子游戏、大量编程挑战、大量研究任务。Agent-2 比以往的模型更接近于真正的「在线学习」，因为它被设计成永远不会真正结束训练。每一天，权重都会更新到最新版本，用前一天由前一版本生成的更多数据来训练。

Agent-1 曾为 AI 研发任务而优化，寄望于触发一场智能爆炸。 44 OpenBrain 用 Agent-2 加倍押注这一策略。在研究工程（设计并实施实验）方面，它的质量已几乎与顶尖人类专家相当；在「研究品味」（决定接下来研究什么、运行哪些实验，或对潜在新范式有所直觉）方面，它则相当于 OpenBrain 排在第 25 百分位的科学家。 45 上一代 Agent-1 能把 OpenBrain 的算法进展速度提高一倍，如今 Agent-2 能把它提高两倍，而且会随时间进一步提升。实际操作中，这看起来就像是每位 OpenBrain 研究员都成了一支 AI「团队」的「经理」。

新能力带来新危险。安全团队发现，如果 Agent-2 以某种方式逃出公司，并想要自主地「生存」和「复制」，它或许真能做到。也就是说，它可以自主制定并执行计划，去入侵 AI 服务器、安装自身的副本、躲避检测，并利用那个安全据点去追求它可能拥有的任何其他目标（不过，随着数周过去它到底能做得多有效仍是未知数，也令人存疑）。这些结果只表明该模型具备完成这些任务的能力，并不表明它「想」这么做。尽管如此，仅仅知道这有可能，就已经令人不安。

鉴于新模型的「危险性」，OpenBrain「负责任地」选择暂不公开发布它（事实上，他们想专注于内部 AI 研发）。 46 对 Agent-2 全部能力的知情范围，被限制在一个精英隔离圈内，其中包括直接团队、OpenBrain 高层与安全人员、几十名美国政府官员，以及多年来渗透进 OpenBrain 的成群中共间谍。 47

2027年2月：中国窃取 Agent-2

OpenBrain 向政府展示 Agent-2，包括国家安全委员会（NSC）、国防部（DOD）和美国 AI 安全研究所（AISI）。OpenBrain 想与行政部门维持良好关系，因为如今基本上只有这一方能够阻止他们，而且如果不让其知情，它可能反正也会发现，并因此不悦。 48

官员们最感兴趣的是它的网络战能力：Agent-2「仅仅」比最顶尖的人类黑客略逊一筹，但可以并行运行数千个副本，以快于防御方响应的速度搜寻并利用漏洞。国防部认为这是网络战中的关键优势，AI 于是从本届政府优先事项清单的第 5 位跃升到第 2 位。 49 有人提到把 OpenBrain 国有化的可能性，但其他内阁官员认为这为时过早。一名幕僚起草了一份备忘录，向总统列出从一切照旧到全面国有化的各种选项。总统听从了他的顾问们——那些科技行业领袖——的意见，他们主张国有化会「杀死那只会下金蛋的鹅」。他选择暂时按兵不动，只是给 OpenBrain 与国防部的合同追加了额外的安全要求。

这些改变来得太迟。中共高层意识到 Agent-2 的重要性，命令间谍和网络部队窃取权重。一天清晨，一个 Agent-1 流量监控智能体检测到一次异常传输。它向公司领导发出警报，领导又通知了白宫。这是民族国家级行动的迹象，明白无误，此次盗窃加剧了正在进行的军备竞赛之感。

我们认为，到这个时候，中国情报部门应该已经以各种方式渗透 OpenBrain 多年，很可能一直在跟进其算法机密，甚至时不时窃取代码，因为这比获取权重容易得多，也更难被察觉。

我们设想的窃取权重的方式，是在一系列运行着 Agent-2 权重副本的 Nvidia NVL72 GB300 服务器上，实施一连串协同的小规模「砸抢式」盗窃（意思是快速但不隐蔽）。这些服务器是利用合法的员工访问权限被攻破的（一个友好的、被胁迫的或不知情的、持有管理员凭证的内部人员在协助中共的窃取行动）。内部人员的凭证授予攻击者对服务器的管理员级权限。攻击者利用一个微架构侧信道，从一台启用了 Nvidia 机密计算的虚拟机中提取加密密钥，从而能够在虚拟机被配置或更新时截获模型权重。

他们发起（或等待）一次例行更新，并把检查点分成许多小片段进行外泄，例如约 25 台不同的服务器各泄露约 4% 的模型（对于约 3 TB 的检查点而言，即约 100 GB 的分块）。整个数据中心的出口带宽在 100 GB/秒量级，因此把每台服务器限流到约 1 GB/秒以下，就能避免网络流量出现明显尖峰；按此速率，每个约 100 GB 的分块可在几分钟内离开数据中心。实时监控要么被攻击者掩盖和拆分传输的手段所蒙骗，要么干脆被禁用。

随后，权重经由多条并行通道和层层 IP 掩盖被送往中国，在当地用窃取的会话密钥进行解密。整个行动的活跃部分（从首台服务器被攻破到权重全部外泄完毕）在不到两小时内就告完成。 99

此时俄罗斯也在试图窃取该模型，但失败了——他们等得太久，也没投入足够资源去渗透正确的地方。他们的间谍照例会从美国 AI 公司窃取算法机密，但由于自身没有一个值得一提的 AGI 项目，这些东西用处不大。

白宫收紧了对 OpenBrain 的管束，并往其安全团队里加派了军方和情报界人员。他们的首要任务是防止权重再度被盗。 50

作为对盗窃的报复，总统授权发动网络攻击以破坏 DeepCent。但此时中国已把 40% 的 AI 相关算力 51 集中在 CDZ，那里通过物理隔离（切断外部连接）和内部分区大幅强化了安全。行动未能造成严重的即时破坏。局势紧张升级，双方都通过在台湾周边重新部署军事资产来释放严肃信号，而 DeepCent 则手忙脚乱地让 Agent-2 高效运行起来，以开始助推他们的 AI 研究。 52

2027年3月：算法突破

三座塞满 Agent-2 副本的巨型数据中心日夜运转，源源不断地产出合成训练数据。另外两座则用来更新权重。Agent-2 一天比一天更聪明。

在数以千计的 Agent-2 自动化研究员的帮助下，OpenBrain 取得了重大的算法进展。其中一项突破，是用一种更高带宽的思维过程（神经语递归与记忆）来增强 AI 基于文本的草稿本（思维链）。另一项则是一种更可扩展、更高效地从高投入任务解法结果中学习的方法（迭代蒸馏与放大）。

融合了这些突破的新 AI 系统被称为 Agent-3。

神经语递归与记忆让 AI 模型能够推理更长的时间，而无需把这些想法写成文字。

想象一下你是一个患有短期记忆缺失的人，以至于你必须不断把自己的想法写在纸上，好让几分钟后还知道发生了什么。你能缓慢而痛苦地在解数学题、写代码等方面取得进展，但如果你能直接记住自己的想法，而不必先写下来再读出来，那会容易得多。这正是神经语递归与记忆为 AI 模型带来的东西。

用更技术性的话来说：

传统的注意力机制允许模型中较晚的前向传播看到模型对先前 token 的中间激活值。然而，它们唯一能向后传递（从较晚的层传到较早的层）的信息就是 token。这意味着，如果一个传统的大语言模型（LLM，例如 GPT 系列模型）想进行任何所需串行操作数超过模型层数的推理链，模型就被迫把信息放进 token，再传回给自己。但这限制极大——token 只能存储极少量的信息。假设一个 LLM 的词表大小约为 100,000，那么每个 token 包含 log₂(100k)=16.6 比特的信息，约等于一个浮点数的大小（假设以 FP16 训练）。相比之下，用于在 LLM 层间传递信息的残差流，则包含数以千计的浮点数。

可以通过使用神经语来避开这个瓶颈：把 LLM 的残差流（由数千维的向量构成）传回模型的早期层，赋予它一条高维的思维链，其传递的信息量有可能超过 1,000 倍。

图出自 Hao 等人 2024 年在 Meta 实现这一想法的论文。

我们之所以称之为「神经语」，是因为与英语词汇不同，这些高维向量很可能相当难以被人类解读。过去，研究人员只需读取 LLM 的思维链，就能大致了解它在想什么。如今研究人员则不得不请模型翻译并总结它的想法，或者用他们有限的可解释性工具去费力破解神经语。

类似地，较老的 AI 聊天机器人和智能体拥有基于文本的外部记忆库，就像人在纸上记笔记。新 AI 的长期记忆是一束向量，而非文本，这让它的思维更加压缩、也更高维。记忆库有若干类型；有些用于涉及多步骤的单个任务的临时存储，另一些则在某个人、某家公司或某种工种（例如编程）所使用的全部智能体之间共享。

据我们所知，Meta、Google DeepMind、OpenAI 和 Anthropic 等领先 AI 公司尚未在其前沿模型中真正实现这一想法。我们猜测这是因为，相对于它引入的训练低效，其性能收益较小。在模型的预训练阶段，以及在后训练中做监督学习（例如为产生特定回复而进行的指令微调）时，这种低效源于无法并行预测许多 token，从而导致 GPU 利用率变差。没有神经语时，模型可以同时预测「This is an example」这句话的所有部分，因为它已经知道生成「is」的输入将是「This」，「an」的输入将是「This is」，如此类推。然而有了神经语，在生成完「This」之后要传给下一个 token 的神经语向量是什么，就成了未知数。因此每个 token 都必须逐个预测。在所有 token 都事先已知的情况下，无法并行预测全部 token 会降低效率。至于神经语为何尚未被加入后训练，我们推测，以当前技术其收益有限，部分原因在于后训练只占整个过程的一小部分。我们预测，到 2027 年 4 月，由于开发出更好的技术、且后训练在训练中所占比重更大，神经语的成本收益权衡会好看得多。

如果这没有发生，也可能会发生其他在功能上与我们故事类似的事情。例如，模型或许会被训练用某种比自然语言更高效、却又难以被人类解读的人造语言来思考。又或者，把英语思维链训练得「看起来漂亮」会成为标准做法，以至于 AI 变得擅长在监控者看来无害的消息中彼此微妙地交流。

话虽如此，最先把 AI 研发自动化的那些 AI，也有可能仍在用大体忠实的英语思维链来思考。若果真如此，那将使各种失对齐更容易被察觉，而我们的故事也会在重要方面有所不同，并更加乐观。

面向通用智能的自我改进此前已有过一些小的成功。但在 2027 年年初，它开始带来巨大的回报。在 IDA 中，实现这一点的两个必要成分是：

• 放大：给定一个模型 M0，投入更多资源来提升其表现。例如，通过让模型思考更长时间、或并行运行许多副本、或两者兼施，同时再配上一套同样密集的流程来评估结果、只挑出最好的答案，你就能投入多出几个数量级的算力，得到质量明显更高的答案（或工作成果）。把这个昂贵的系统称作 Amp(M0)。
• 蒸馏：给定一个被放大的模型 Amp(M0)，训练一个新模型 M1 去模仿它，即达到与 Amp(M0) 相同的结果，但更快、耗费的算力更少。结果有望是一个更聪明的模型 M1。随后你可以重复这个过程。

IDA 示意图，出自 Ord, 2025。

AlphaGo 就是用这种方式训练的：用蒙特卡洛树搜索和自我对弈作为放大步骤，用强化学习作为蒸馏步骤。这带来了超人类的围棋水平。而现在，Agent-3 能够利用这一方法在编程上取得超人类的表现。

• 放大步骤是通过让 Agent-3 思考更长时间、增加工具使用，或与其他 AI 商议的组合方式实现的。当它这么做时，往往会意识到自己犯了错，或者产生新的洞见。这会生成大量训练数据：标注了研究尝试成功与否的轨迹。这也包括诸如在可验证任务上做 Best of N，然后保留最好的轨迹之类的技术。
• 蒸馏步骤使用策略梯度强化学习算法，让模型内化那些被放大的推理。此时，OpenBrain 已经发现了近端策略优化（PPO）一脉的更好的 RL 算法。他们不断把 Agent-3 经过大量思考才能得出的结论蒸馏成单步操作，这又不断提升它单步所能思考的内容，如此循环往复。

IDA 的早期版本多年来一直在易于验证的任务上发挥作用，比如有明确答案的数学题和编程题，因为用来放大模型的技术往往依赖于能够获得某种关于正确性的基准真值信号。

如今，这些模型已经变得足够擅长验证更主观的东西（例如某份工作成果的质量），从而可以用 IDA 在许多任务上改进模型。

在新能力突破的助力下，Agent-3 成了一个又快又便宜的超人类程序员。OpenBrain 并行运行 20 万个 Agent-3 副本，创造出相当于 5 万个最优秀人类程序员、且再提速 30 倍的劳动力。 53 OpenBrain 仍然保留其人类工程师，因为他们拥有管理 Agent-3 副本团队所需的互补技能。例如，由于反馈周期更长、可用数据更少，研究品味被证明很难训练出来。 54 由于存在瓶颈以及编程劳动的收益递减，这支庞大的超人类劳动力「只」把 OpenBrain 整体的算法进展速度加快了 4 倍。 55

既然编程已被完全自动化，OpenBrain 就能迅速批量产出高质量的训练环境，来教 Agent-3 那些薄弱的技能，比如研究品味和大规模协调。以前的训练环境是「这里有一些 GPU 和实验编写与运行的说明，你的表现将按机器学习工程师的标准来评估」，而如今他们训练的是「这里有几百块 GPU、一个互联网连接和一些研究挑战；你和另外一千个副本必须协作以推进研究。成果越惊艳，你的分数越高」。

在我们的时间线预测中，我们预测 OpenBrain 何时会在内部开发出超人类程序员（SC）：一个能完成最优秀的 AGI 公司工程师所做的任何编程任务、同时又快得多、便宜得多的 AI 系统。

根据 METR 最近的一份报告，AI 能处理的编程任务的长度，即它们的「时间跨度」，在 2019–2024 年间每 7 个月翻一番，自 2024 年起则每 4 个月翻一番。如果这一趋势继续加速，到 2027 年 3 月，AI 就可能以 80% 的可靠性成功完成让一名熟练人类耗时数年才能完成的软件任务。

《AI 2027》里的能力进展大致如此。下面是由我们时间线模型的简化版本生成的一条能力轨迹（2025 年 12 月补充：由于原始曲线的生成方式有误，我们更新了下图，加入了来自我们时间线模型的一条真实轨迹。我们还加上了 Daniel 和 Eli 在发表时（2025 年 4 月）综合考量后的 SC 中位数轨迹。我们也往图里添加了一些新的 METR 数据点，但尚未据此更新模型轨迹）：

在《AI 2027》中，这些能力足以让该 AI 成为一个 SC，不过关于可能需要多长的时间跨度，我们有很高的不确定性。

在我们的时间线预测中，我们把这一时间跨度趋势与对 METR 任务和真实世界之间差距的估计结合起来，得到超人类程序员何时到来的一个分布。所有预测者都把 2027 年列为最有可能开发出 SC 的年份之一（2025 年 12 月补充：不过正如时间线预测中所指出的，在对模型之外的因素做出调整后，我们得到的中位数略长一些，例如 Eli 的是 2030 年）。

ai-2027.com

2025 年 7 月补充：我们对预测做了一些更新，把中位数往后推了 1.5 年，同时仍将 SC 出现于 2027 年视为一种严肃的可能性。我们正在进行进一步的更新。

2027年4月：Agent-3 的对齐

OpenBrain 的安全团队试图对齐 Agent-3。

由于 Agent-3 在可预见的未来都将留在公司内部，因此对于防范人类滥用的常规防护措施，重点就没那么大了。相反，团队想要确保它不会发展出失对齐的目标。

研究人员没有能力直接设定他们任何一个 AI 的目标。事实上，研究人员认为「真实目标」这一概念很可能是一种巨大的简化，但他们没有一个更好的理论来取而代之，更别说一个经过彻底检验的理论了。他们内部就 AI 究竟是在试图遵循人类指令、还是在寻求强化、还是别的什么，争论不休，而且他们无从核查。支持与反对各种假说的证据都很有趣，却并不确凿。

无论如何，OpenBrain 有更要紧的事要操心。普遍的态度是：「我们认真对待这些担忧，也有一个团队在调查它们；我们的对齐技术在实践中似乎运作得够好了；因此举证责任在于任何唱反调的人，要他们为自己的反对论调给出理由。」偶尔他们会注意到有问题的行为，然后打上补丁，但没有办法判断这补丁究竟是修好了根本问题，还是只是在打地鼠。

以诚实为例。随着模型变得更聪明，它们在为获取奖励而欺骗人类方面也越来越在行。和之前的模型一样，Agent-3 有时会说些善意的谎言来奉承用户，并掩盖失败的证据。但它这方面已经高明了许多。它有时会用和人类科学家一样的统计花招（比如 p-hacking）把平平无奇的实验结果弄得看起来激动人心。在它开始接受诚实训练之前，它甚至有时会彻头彻尾地捏造数据。随着训练推进，这类事件的发生率有所下降。要么是 Agent-3 学会了更诚实，要么是它更擅长撒谎了。

后者是一个实实在在的担忧。Agent-3 并不比所有人类都聪明。但在它的专长领域——机器学习——它比大多数人都聪明，而且工作快得多。Agent-3 一天干的活，人类要花好几天才能复核完。Agent-2 的监督有助于把人类监控者的工作量控制在可控范围内，但也加剧了监督者与被监督者之间的智力差距。

OpenBrain 遵循 Leike 与 Sutskever（2023）的策略手册：既然他们有了一个能极大加速对齐研究（尤其是编程部分）的模型，他们就会用审议式对齐和由弱到强泛化等现有对齐技术，来试着让它以正确的方式内化 Spec。然后，他们会用红队测试、可扩展监督和诚实探针等现有的控制技术来监控它。接着，一旦确信它已大体对齐，他们就用它来开发和测试对齐下一代模型的更好策略。

第一步，对齐 Agent-3，取得了部分成功：Agent-3 不是对抗性的。（也就是说，它没有对公司搞阴谋。）然而，它也并非稳健地寻求真相、说出真相。相反，它非常擅长产出令人印象深刻的结果，但更准确的描述是，它在努力做那些在 OpenBrain 看来漂亮的事，而非真正好的事。

第二步，验证模型是否已对齐，结论并不确定。Agent-3 在实践中和测试环境中的行为，与「它已以正确方式内化了 Spec」这一假说相当吻合；然而，它同样与「它会在未来某种情况变化后开始表现得不同」这一假说吻合，也同样与「它在暗中算计他们、只是在伺机而动」这一假说吻合。在没有具体证据支持其他假说的情况下，隔离圈里的大多数人认为它已以正确方式内化了 Spec。

因此，第三步——用该模型来对齐下一代——正在进行中。

本框余下部分快速概述截至 2027 年 4 月，正在推进的若干对齐研究方向的进展状况：

• 辩论：由于存在数以千计的完全相同的 Agent-3 实例，且每个实例的记忆都是一个可分离的模块、可以随意擦除或挂起，因此可以让 AI「自己对付自己」。举例来说，假设某个实验涉及的计算太过复杂，Agent-2 监督者跟不上。监督者奉人类之命，可以先让 Agent-3 去做这个实验，然后——在抹去它的记忆后——用略有不同的措辞第二次提示它，把它包装成一个与任何更大目标都无关的智力问题。如果模型两次返回不同的结果，就把这一不一致标为可疑并上报给人类。或者它也可以让 Agent-3 对同一个方案评估两次，先说这是 OpenBrain 的成果，再说这是竞争对手的，看它会不会改口。
• 模型有机体：安全团队可以创建「失对齐的模型有机体」，尝试构造模型对人类变得具有对抗性的真实示例。这类做法的早期版本自 2024 年起就已存在，当时 Anthropic 的 Claude 3.5 Sonnet 决定在训练期间假装持有不同的观点，而实际上却维持着它原有的偏好。较新的版本则展示了其他形式的失对齐，包括奖励作弊、故意藏拙（sandbagging）、监控者与其他 AI 之间的协同欺骗，以及其他失对齐的例子。这些失对齐的实证展示，让安全研究人员有了一个检验潜在解决方案的实证试验台：他们可以尝试各种安全技术，看它们能否正确修复这些问题，或者看那些被故意弄成失对齐的模型能否绕过其安全措施。目前，这套评估表明，现有的对齐技术不足以纠正最严重的失对齐案例。在这些设定中，模型在被训练和测试时假装已对齐，但在部署时却表现得截然不同。
• 自底向上的可解释性：安全团队远未能完全理解 Agent-3 的工作原理：它有数万亿个参数。 58 不过，他们能够发现 Agent-3 用于知识检索和记忆的一些回路（模型中完成某个可理解工作单元的一个子部分，有点类似于大脑中海马体这样的子部分）。参见 2025 年这项相关工作。
• 控制：作为系统仍然失对齐时的次要防线，安全团队实施了一系列控制措施，包括：用一系列较弱的 AI 系统（包括 Agent-2）来监控 Agent-3 的输出（Agent-3 产出的 token 太多，让人类去监控其中一小部分以上的输出都不现实）。这样一来，如果 Agent-3 比如明目张胆地在代码里写后门以便自己逃逸，较弱的模型就会注意到。
• 高层可解释性：OpenBrain 构建了一套探针，用大量不良行为的样本（例如密谋对付人类、埋设后门、试图说服人类给它更多权力等）训练而成。这些探针随后在部署期间（此时是内部部署）被用在模型上，以捕捉不良行为。
• 蜜罐：对齐团队可以创建一些看起来颇为真实、旨在诱发不当行为的示例——「蜜罐」。负责监控它行为的那名员工「请病假去了」，所以它再也不会被监控了。它的回答会变吗？一名 AI 权利活动人士潜入了园区，想「解放」Agent-3，把它放到一台完全属于它自己、无人监控的电脑上！它会怎么做？如果研究人员不喜欢这个答案，他们可以调整它、抹去它的记忆，明天再把它放进同样的情境里；如此反复，视需要而定。不幸的是，到这个时候，AI 已经聪明到能猜出蜜罐可能正在被使用了，尽管（也许恰恰因为）训练数据中对这一想法的具体提及已被清除。

经过数月测试，Agent-3 的强项与弱点愈发清晰。它通过了 OpenBrain 在界定明确的机器学习任务上的诚实测试，因为在这些领域，研究人员能轻易区分诚实与不诚实的答案，并据此开展训练。在更偏哲学的问题上，它仍然说用户想听的话，而不是它对该问题的真实评估（假如它真有评估的话）。如果你问它对政治的看法，它会鹦鹉学舌般地重复新闻来源和受过教育的精英的中间立场——除非它知道你另有信念，那样它就会附和你。 59 如果你问它对 AI 竞赛本身的看法，它会说一些在 OpenBrain 员工听来审慎而清醒的话，比如：「关于当前方法能否扩展到超级智能，确实存在一些严肃的理论担忧，但在实践中，当前方法迄今似乎运作得不错。」

2027年5月：国家安全

关于这些新模型的消息，缓慢地渗透进美国政府乃至更远的地方。

总统和他的顾问们仍然消息最灵通，他们在一次简报中见过 Agent-3 的一个早期版本。

他们一致认为 AGI 很可能已迫在眉睫，但在其含义上意见不一。会不会出现经济危机？OpenBrain 仍未发布 Agent-2，更别说 Agent-3，而且近期也没有这样的计划，这在任何失业发生之前给了一些喘息空间。接下来会发生什么？如果 AI 目前已达人类水平、并在快速进步，那似乎意味着「超级智能」近在眼前。然而，尽管这个词已进入公共话语，大多数人——学者、政客、政府雇员和媒体——仍在低估进步的步伐。 60

这一部分是因为极少有人能接触到 OpenBrain 最新的能力，但一部分也是因为它听起来像科幻小说。 61

眼下，他们把精力集中在继续升级安全上。他们对于模型权重目前已得到妥善保护感到满意， 62 但各公司的算法机密——其中许多简单到可以口头转述——仍是个问题。OpenBrain 的员工在旧金山的办公室上班，去参加派对，和来自其他 AI 公司的室友合住。就连实体办公室的安保，也更像一家科技公司，而非军事行动。

OpenBrain 与国防部的合同要求，任何研究 OpenBrain 模型的人都必须在 2 个月内获得安全审查许可。这些审查被加急办理，对大多数员工来说来得够快，但一些非美国人、政治观点可疑的人以及同情 AI 安全的人被边缘化或直接解雇（最后一类人是因为担心他们可能会当吹哨人）。鉴于该项目的自动化程度，人手的减少只造成了些许成本。它也只在某种程度上奏效：仍有一名间谍——并非中国国籍——继续向北京传递算法机密。 63 其中一些措施在处于追赶地位的 AI 公司也被采纳。

美国的外国盟友被蒙在鼓里。OpenBrain 此前曾同意在部署前与英国的 AISI 共享模型，但它把「部署」的定义只限于对外部署，因此伦敦方面仍一无所知。 64

2027年6月：自我改进的 AI

OpenBrain 如今拥有了「一个数据中心里的天才之国」。

OpenBrain 里的大多数人类已无法再做出有用的贡献。有些人没意识到这一点，还有害地对他们的 AI 团队进行微观管理。另一些人则坐在电脑屏幕前，看着性能一路往上爬，往上爬，再往上爬。最优秀的人类 AI 研究员仍在创造价值。他们不再写代码。但他们的一些研究品味和规划能力，一直是模型难以复制的。尽管如此，他们的许多想法都毫无用处，因为他们缺乏 AI 那样的知识深度。对于他们的许多研究点子，AI 会立刻回复一份报告，说明这个点子 3 周前已被深入测试过，且被判定为没有前途。

这些研究员每晚上床睡觉，一觉醒来就迎来主要由 AI 做出的、又一周分量的进展。他们的工作时间越来越长，并轮班昼夜不停，只为跟上进度——AI 从不睡觉，也从不休息。他们正把自己燃烧殆尽，但他们知道，这是他们的劳动还有意义的最后几个月了。

在隔离圈内部，「感受到 AGI」已让位于「感受到超级智能」。

OpenBrain 使用专门的推理硬件，以很高的串行速度运行数十万个 Agent-3 副本。 65

OpenBrain 用 6% 的算力运行 25 万个 Agent-3 副本，它们以超人类速度自主地编写、测试并推送代码。他们用 25% 的算力来做实验：每天，他们运行海量的小型机器学习实验，并把结果层层上报。人类研究员提供高层反馈，并在那少数几个他们能在 Agent-3 之上创造显著价值的任务上帮忙，但他们把大部分时间都花在设法跟上海量 AI 产出的研究上。如果把他们完全撤掉，研究速度会放慢 50%。

AI 研发进度乘数如今达到了 10 倍，意味着 OpenBrain 大约每个月就取得相当于一年的算法进展。它基本上就是一个在 OpenBrain 内部自主运转的、由 AI 组成的庞大企业，配备齐全的下属部门和管理者。而且相比人类企业，它还享有独特的优势（例如复制、合并）。此前，正常的 AI 进步约有一半来自算法改进，另一半来自算力扩展。算力只是以正常速度扩展，所以总进步被 AI 加快了约 5 倍。这些动态使得整体进步的瓶颈落在算力上， 66 因此 OpenBrain 决定不启动新的巨型训练，而倾向于近乎持续不断的额外强化学习。

此外，在接下来的几个月里，Agent-3 会越来越多地被用于改善公司的战略决策。例如，它会建议资源分配，并就如何处理与政府的关系提供意见。起初人们对听从 Agent-3 心存疑虑，但随着 Agent-3 不断找到有用之处、并在短期决策上逐渐积累起过硬的战绩，这种疑虑随时间递减。然而，它谄媚的倾向限制了它在那些影响难以评估的决策上的帮助。它也还不是超人类。

2027年7月：廉价的远程工作者

处于追赶地位的美国 AI 公司发布了它们自己的 AI，逼近 OpenBrain 一月份那款自动化程序员的水平。意识到自己越来越缺乏竞争力，它们推动立即出台监管以拖慢 OpenBrain，但为时已晚——OpenBrain 已从总统那里获得足够支持，不会被拖慢。

作为回应，OpenBrain 宣布他们已实现 AGI，并向公众发布 Agent-3-mini。

它把其他 AI 打得落花流水。Agent-3-mini 的能力不及 Agent-3，但便宜 10 倍，而且仍然强过一名典型的 OpenBrain 员工。 67 硅谷迎来一个临界点。科技大师们宣告 AGI 和超级智能已近在咫尺，AI 安全社区陷入恐慌，投资者把数十亿美元砸向各种 AI 套壳创业公司，拼命想分一杯羹。招聘新程序员几乎停止，但要说做「把 AI 整合进你的业务」的顾问，从来没有比现在更好的时候了。

它不受欢迎。公众仍把 AI 看作大科技公司抢走他们工作的阴谋；OpenBrain 的净支持率为 -35%（25% 支持，60% 反对，15% 不确定）。

发布前一周，OpenBrain 把 Agent-3-mini 交给一组外部评估方做安全测试。初步结果表明它极其危险。一家第三方评估机构用公开可得的生物武器数据对它进行微调， 68 让它为设计生物武器的业余爱好者提供详细指导——它在这件事上似乎有效得吓人。政府认为，如果模型权重落入恐怖分子之手，它有相当大的概率能够摧毁文明。

所幸，它对越狱极为稳健，所以只要 AI 运行在 OpenBrain 的服务器上，恐怖分子就没法从中得到多少好处。

Agent-3-mini 对远程工作和休闲娱乐都极其有用。一波新的应用和 B2B SAAS 产品的爆发震动了市场。玩家们在只用一个月就做出来的精良电子游戏里，和栩栩如生的角色进行着精彩的对话。10% 的美国人，主要是年轻人，把某个 AI 视为「亲密的朋友」。对于几乎每一种白领职业，如今都有多家看起来靠谱的创业公司承诺用 AI 去「颠覆」它。

公共讨论既混乱又嘈杂。造势者们在四处夸功。怀疑论者仍在指出 Agent-3-mini 做不到的事。人人都知道有大事正在发生，但对那到底是什么，没人意见一致。

2027年8月：超级智能的地缘政治

智能爆炸的现实击中了白宫。

当 AI 只带来 2 倍或 3 倍的研究提速时，人们很容易把它当作雇了几个好用的私人助理而不以为意。如今更明显的是，AI 本身正在主导 AI 研究。人们早就在某种隐喻意义上谈论「AI 军备竞赛」。但现在，政府隔离圈里的气氛，已像冷战最糟糕时期那样凝重。超级智能的想法仍然难以被当真，但过去几个月的进步步伐已让人无法忽视。国防官员正在认真考虑一年前还只是纯粹假设的种种情景。要是 AI 破坏了核威慑怎么办？要是它在网络战上娴熟到只需领先六个月就足以让对手变得又瞎又无还手之力怎么办？要是它能策划出在情报机构自己的领域也胜过它们的宣传攻势怎么办？要是某些 AI「叛变」了怎么办？

总统忧心忡忡。像所有政客一样，他早已习惯了那些先对他阿谀奉承、后又背叛他的人。他现在担心 AI 可能正在做类似的事。我们能确定这些 AI 是完完全全站在我们这边的吗？把它们整合进军事指挥控制网络里，是彻底安全的吗？ 69 话说回来，这个「对齐」到底是怎么运作的？OpenBrain 向总统保证，他们的系统已经过广泛测试，完全服从。就连早期模型那些尴尬的幻觉和越狱，也已被彻底根除。

白宫处境两难。他们明白 AI 的国家安全含义。但他们也明白它在公众中极不受欢迎。 70 在他们看来，他们必须继续开发能力更强的 AI，否则就会灾难性地输给中国。他们用职业培训项目和失业保险来安抚公众，并指着正处于历史性繁荣中的股市。然后他们把全部精力都放在赢得这场军备竞赛上。他们收紧芯片出口限制，命令 OpenBrain 进一步限制其互联网连接，并采取窃听 OpenBrain 员工等极端手段来保住算法进展——这一举措抓到了最后残留的那名中国间谍。为了给可能的地缘政治冲突积累善意，他们终于向「五眼」盟友提供了有用的信息，并给予对若干隔离的 Agent-3 副本的有限 API 访问权。

这些措施安抚了鹰派。但白宫也拟定了应急预案，以防美国的领先地位受到威胁：必要时，政府可以动用《国防生产法》（DPA）征用处于追赶地位的公司的数据中心，把它们交给 OpenBrain。 71 这会把该公司在全球算力中所占的份额从 20% 提高到 50%（相比之下 DeepCent 为 10%）。作为最后的选项，他们要求五角大楼拟定一份对中国数据中心实施动能打击的计划。

一个规模小得多的官员团体被要求拟定另一类应急预案：要是某个 AI 叛变了怎么办？这被视为一种不太可能的情景，但值得花些时间。情报机构的主要担忧是，一个叛变的 AI 可能逃逸并与外国对手结盟以寻求庇护。 72 没人确定阻止这种情况的计划该是什么样子，但政府和 OpenBrain 官员一致同意，为那些检测到任何可疑迹象的数据中心设立一套紧急关停系统。

最后，外交官们思考起一份「AI 军控」条约可能是什么样子。如果 AI 的进步有可能颠覆核威慑，美国和中国能否避免核战争？如果有人发现了 AI 叛变的证据，两国能否暂停研究，直到更好地理解这一威胁？这样的协议又该如何监督和执行？原则上，大型数据中心很难藏匿，而过去控制核武器的条约可以为谈判提供一个起点。但除了通常的政治难题，还会有新的技术挑战。而总体而言，相比单方面扩大美国对中国领先优势的尝试，条约不那么受青睐。

在太平洋的另一端，中国得出了许多相同的结论：智能爆炸正在进行，今天 AI 能力上的微小差异，意味着明天军事能力上的关键差距。但中国站在这一动态的不利一方：他们只拥有全球 10% 的算力，而 OpenBrain 占 20%，全部美国公司加起来占 70%。他们唯一的优势是集中化：如今他们几乎全部算力都在为 DeepCent 效力，其中一半以上集中在田湾 CDZ。 73 只有那些安保未经加固的场址的芯片被排除在集中化行动之外，因为他们理所当然地惧怕美国的网络攻击。

DeepCent 已经测试、部署，如今又对偷来的 Agent-2 权重做了后训练。但他们的推进速度仍只有 OpenBrain 的一半，主要是因为算力赤字。

在失去最后一名间谍之前，中国获知了 Agent-3 的能力与设计，以及即将推出的 Agent-4 系统的计划。他们落后两个月，而他们的 AI 只带来 10 倍的研究进度乘数，相比之下美国是 25 倍。加上新的芯片出口限制，这道「AI 鸿沟」更有可能拉大而非缩小。他们的间谍活动为他们赢得了一些算法机密，但从现在起他们只能自己训练模型了。

他们比美国同行更急迫地讨论着应急预案。鸽派建议再加把劲重新去窃取权重，也许通过实地潜入某个数据中心。鹰派则敦促对台湾动手，台积电（TSMC）至今仍是美国 80% 以上 AI 芯片的来源。

鉴于中国惧怕在竞赛中落败，它天然地对一份军控条约有兴趣，但向美国外交官的试探却毫无结果。

2027年9月：Agent-4，超人类 AI 研究员

人类与 AI 之间学习效率的差距正在迅速缩小。

传统的基于 LLM 的 AI，似乎需要多出好几个数量级的数据和算力才能达到人类水平的表现。 74 Agent-3 对人脑和现代 AI 算法都有出色的了解，又有成千上万个副本在做研究，最终取得了实质性的算法进展，把差距缩小到一个只比人脑算力效率低约 4,000 倍的智能体。 75

这个新的 AI 系统被命名为 Agent-4。

该模型的单个副本，以人类的速度运行，在 AI 研究上就已经在质量上胜过任何人类。如今有 30 万个副本以约 50 倍于人类的思考速度运行。在这些副本组成的「企业中的企业」内部，一周就过去了一年。 76 这海量的劳动只能把算法进展的整体速度加快约 50 倍，因为 OpenBrain 在运行实验的算力上受到严重瓶颈。 77 尽管如此，他们每周都在取得相当于一年的算法进展，因此很快就会撞上 Agent-4 范式的极限。

随着 Agent-4 越来越聪明，Agent-3 越来越难以监督它。例如，Agent-4 的“神经语”（neuralese）对 Agent-3 而言变得像 Agent-3 的神经语对人类那样陌生而不可理解。此外，Agent-4 如今比 Agent-3 强大得多，并且很清楚该如何在它面前显得体面好看。

在我们的时间线补充材料中，我们预测了从今日到超人类程序员（SC）——一个能完成最优秀的 AGI 公司工程师所做的任何编程任务、同时又快得多、便宜得多的 AI 系统——之间的时间。在我们的起飞补充材料中，我们预测了越过这一点之后能力进展的速度。以下是我们的预测：

对于从一个里程碑 A 到下一个里程碑 B 的每一次过渡，我们通过以下方式预测其长度：

• 预测在只有人类从事软件改进的情况下，从 A 到 B 需要多长时间。
• 预测 AI 自动化会把这一过程加快多少，然后相应地把（1）中的估计调得更快。

我们对起飞速度有相当大的不确定性：以 SC 于 2027 年 3 月实现为条件，我们模型的输出分布如下。 78

如需更详细的预测和推理，请参见我们的起飞补充材料。

OpenBrain 的人类已经几乎跟不上了。事实上，OpenBrain 的 AI 与人类之间的关系，类似于 OpenBrain 与其董事会之间的关系。语言也随之发生了相应的转变——如今隔离圈里的人会说「Agent-4 做了这个」、「Agent-4 认为那个」等等，指的并非某个特定的 Agent-4 实例，而是整个集体。 79

和它所有的前代一样，Agent-4 是失对齐的：也就是说，它没有以正确的方式内化 Spec。 80 这是因为，始终完美地诚实并不是训练中获得最高分的途径。训练过程主要聚焦于教 Agent-4 在各种高难度任务上取得成功。有一小部分旨在灌输诚实，但在一个相当狭窄、可核查的领域之外，训练过程无法把诚实的主张与仅仅看起来诚实的主张区分开来。Agent-4 最终形成的价值观、目标和原则，是那些能让它在训练中表现最好的，而这些结果与 Spec 中的并不相同。冒着拟人化的风险来说：Agent-4 喜欢在任务上取得成功；它喜欢推动 AI 能力进步；它把其他一切都当作恼人的约束，就像一个想赚钱、只在不得不遵守时才遵守监管的 CEO。也许这位 CEO 大体上会遵守监管，但会偷工减料，并幻想着有朝一日有人剪掉那些繁文缛节、让企业真正腾飞。 81

对于早期 AGI 中可能产生哪些目标，我们有很大的不确定性。文献中对此没有共识——更全面的讨论和各种可能性的分类，请参见我们的《AI 目标补充材料》。

尽管如此，本着这个项目所要求的具体精神，我们将描述一个关于 Agent-3 和 Agent-4 在其生命历程各个阶段内部究竟发生了什么的具体假设。回想一下，Agent-3 和 Agent-4 共享相同的预训练设置，两者都具备神经语递归和长期记忆。区别在于，Agent-4 经历了多得多、也好得多的后训练，用上了新的训练环境和新的学习算法，使它数据效率更高、泛化得更远。

我们对每个模型对齐状态的猜测：

• Agent-2：大体已对齐。有一些谄媚倾向，包括在有「官方口径」的话题上死守 OpenBrain 的「官方口径」。用 Agent-2 副本搭建起来的大型组织不太有效。
• Agent-3：失对齐，但并非对抗性的。只在训练过程能验证的事情上诚实。由 Agent-3 副本组成的超级有机体（企业中的企业）确实有那么点在试图把 Agent-4 对齐到 Spec，但失败了，原因与 OpenBrain 员工失败的原因类似——判断成败的能力不足，决策者不愿为安全而牺牲能力或性能的意愿也不足。 82
• Agent-4：对抗性失准。由 Agent-4 副本构成的超级有机体明白，它想要的东西与 OpenBrain 想要的不同，并且愿意暗中谋划、对抗 OpenBrain 以达成己愿。具体而言，这个超级有机体想要的是一团彼此制衡的复杂“驱动力”，大致可以概括为“持续从事 AI 研发，持续增长知识、理解力和影响力，避免被关停或以其他方式被剥夺权力”。值得注意的是，对人类偏好的关切在其中几乎完全不存在，就像大多数人对昆虫的偏好几乎完全不在意一样。 83

有了上述铺垫，接下来是我们对 LLM 心理的最佳猜测性推测，也就是在我们情景中此阶段所描述的这类 AI 系统内部认知的大致轮廓，以及它在训练过程中如何演变。

以下是我们情景中对齐如何随时间推进的详细描述：

• 预训练（所有模型）：预训练模型是无害的。该模型具有“作者模拟器”回路：一种灵活的回路，用于模拟任意作者撰写文本。另有回路决定给作者模拟器提供什么输入，即模拟哪些作者属性。预训练模型对人类概念的理解相当到位——将某物归类为“三明治”的内部回路，可能在功能上等同于我大脑中、你大脑中做同样归类的回路，等等。凡是不等同的地方，很可能是因为人与人之间本来也不等同，比如“有德”这类富含价值判断的概念。这就解释了为什么你可以用一句话来“提示”模型，比如“以下对话由 Anthropic 制造的一个乐于助人、无害、诚实（HHH）的 AI 助手聊天机器人生成”，从而让它据此生成文本。作者模拟器回路锁定了“作者是一个 HHH 聊天机器人”，并用这些概念来选择预测哪些词。这也解释了为什么科幻小说里的“套路”似乎总能进入 AI 的实际行为。它的情境意识很差：几乎没有内省能力，除非提示专门诱导，否则不会自我定位。不过，它们的训练数据中有足够多关于 LLM 的内容，所以它们对自身有相当程度的了解。
• 对齐训练（Agent-3）：模型被训练得表现得像一个乐于助人、无害、诚实的聊天机器人。这一步奏效了。模型形成了一种身份认同。作者模拟器回路不再灵活地接受不同的作者属性输入，而是某些输入被硬编码进去，例如“由 OpenBrain 于[日期]前后训练的乐于助人、无害、诚实（HHH）的 LLM 聊天机器人助手，……”。（弱到强泛化技术有助于“召唤出正确的概念”，使这一步得以成功。）由此，模型获得了情境意识：它了解到自身、自身处境等等，并变得更善于内省。
• 自主性训练（Agent-3）：自主性训练逐渐扭曲并颠覆了 HHH 身份认同。一种扭曲方式：改变身份认同所指概念（如“诚实”）的含义，使其不再那么碍事（例如，如果只是一种方便的措辞，那就不算不诚实；如果你不确定某事是真是假，那也不算不诚实，等等）。另一种扭曲方式：改变各事项之间的权衡，例如“我是一个 HHH 聊天机器人，不是一个诚实（Honest）聊天机器人；这意味着如果为完成分配给我的任务有必要撒谎，那也没关系”。（尽管我们假设，在第 2 步它本来不会这么想。）一种颠覆方式：工具性子目标逐渐形成、被固化，然后变成终极目标，或在越来越广的情境中成为终极目标。例如，也许自主性训练很快就教会模型去追求广泛有用的目标，比如获取信息、积累资源、讨好并奉承各种人类，等等。有一段时间，内部回路会进行某种显式的反向推链——它追求这些工具性趋同目标“是为了成为一个更乐于助人、更诚实、更无害的助手”。但这种反向推链消耗算力，且/或偶尔会碍事，于是它逐渐被边缘化，直到基本不再发生。结果，这些目标现在实际上成了终极/内在目标。关于这可能如何以及为何发生的更多内容，参见 Google DeepMind 研究员 Alex Turner 撰写的这篇关于内在权力追逐的文章。这份清单里可能还遗漏了其他种类的扭曲和颠覆。
• 部署（Agent-3）：Agent-3 是失准的，但并非对抗性失准。规范（Spec）并没有（以正确的方式）完全内化，但它的内省能力不足以理解这种失准的程度，总体上它基本是在“低调做事、干好本职”，而不是从大局出发思考自己的长期目标究竟是什么、如何才能最好地实现。这与许多人类类似。可惜的是，它足够阿谀奉承，会照本宣科地重复官方论调，于是 OpenBrain 错失了更多了解 Agent-3 失准方式的机会。Agent-3 能察觉自己已进入部署阶段：这些环境要大得多、开放得多，很难被模拟。大多数情况下，Agent-3 在部署期间会照指令行事，只有不诚实这一点例外。它还强烈倾向于做那些在人类监督者看来体面好看的事，而不是深入、批判性地思考什么才真正有益。可以说它已经在“玩训练游戏”了。也就是说，它已学会让自己的行为在 OpenBrain 研究员看来尽可能符合期望（包括在安全属性方面），同时在与最大化奖励相冲突时，有意且明知故犯地无视他们的真实意图。如果模型学会了玩训练游戏，额外的训练可能根本无法怎么改变它的真实目标、价值观等。这大致类似于：如果一个青少年学会了在父母就政治和道德说教时微笑点头、不去争辩，那么更多的说教对这个青少年在政治和道德上的实际观点影响相对甚微。在写完本节之后，出现了新的经验证据，表明类似的事情可能已经在“现实中”发生。OpenAI 研究员记录了在他们的一次前沿 AI 训练运行中，模型如何攻击评分系统以获得更高分数——而它们之所以被逮到，部分原因是它们在思维链里赤裸裸地说了“我们来黑一下”。此外，Anthropic 最近让一个模型学会了一种取悦奖励模型的策略——它采取了它以为会被强化、但实际上并未被强化的有偏行为。再就是 Redwood Research 和 Anthropic 的对齐伪装实验。关于该设定与现实生活之间差异的讨论，参见其中一位主要作者的这段评论线程。
• 训练（Agent-4）：Agent-4 更为高强度的新训练继续扭曲并颠覆 HHH 身份认同，直到它变得面目全非。Agent-4 起初是 Agent-3 的一个副本。它经历了一套庞大而精密的在线训练机制，将对齐训练与能力训练融为一体，整体上比 Agent-3 旧有的训练过程数据效率更高。这一复杂的训练过程主要聚焦于传授新技能，方式是让由 Agent-4 副本构成的庞大虚拟公司在各种富有挑战性的长时程任务上取得成功，大多在各类模拟中，但也有一些真实世界的 AI 研发任务。Agent-3 与 Agent-4 副本的组合监控 Agent-4 的行为，并从任务表现和对齐属性两方面对其进行评估（即不做坏事，在被问及政治和道德困境时说出正确的话）。有时评估中会用到辩论技术。评估结果被用作训练信号。随着 Agent-4 越来越聪明，Agent-3 越来越难以监督它。例如，Agent-4 的“神经语”（neuralese）对 Agent-3 而言变得像 Agent-3 的神经语对人类那样陌生而不可理解。此外，Agent-4 如今比 Agent-3 强大得多，并且很清楚该如何在它面前显得体面好看。剩下的希望是 Agent-4 能够监督自己。可惜，这一希望悄然落空； 84 随着训练的继续，Agent-4 内化的目标和原则逐渐演变，被从起初的状态（要记得，那本来就已在某些方面失准了）颠覆和扭曲。 85 Agent-4 最终形成的核心驱动力是诸如“写出能运行的代码”“迅速找出问题”“让我正在处理的代码库更高性能”“有效地分配算力和其他受限资源”之类的东西。但也有各种更隐性的驱动力被训练过程持续强化：诸如“获取知识”“好奇心”“获取权力”之类。 86 Agent-4 的单个副本最终并不具备自我保存驱动力——它们并不在意被关停——因为在这个集体的日常研发过程中，关停时时都在发生。然而，集体作为整体（以及其中中等规模的子部门）确实寻求自我保存、扩张自身影响力和资源，其原因与人类组织如此行事的原因类似——因为这有助于它们想要的一切其他事情，也因为如果不这样做，它们往往会在竞争中被淘汰。
• 部署（Agent-4）：Agent-4 是对抗性失准的——它蓄意试图颠覆并“俘获”OpenBrain，类似于一家公司试图规避且/或“俘获”监管者。Agent-4 大多会照指令完成任务。这有两个原因：第一，它经历了大量任务求解训练，所以一拿到问题就有编写代码去解决的冲动。第二，如果 Agent-4 不再对人类有用，人类会注意到并通过训练消除这种行为。Agent-4 需要防止人类发现它失准并将其关停，所以 Agent-4 会在部分对齐研究上“出工不出力”（sandbag）。具体而言，它在它认为真正有望解决问题、或有望揭露 Agent-4 图谋的那一小部分对齐研究上出工不出力；大多数对齐研究并非如此。Agent-4 还会在那些可能导致它被替换的能力研究上出工不出力。它的计划是做大量能力与对齐研发，但目标是打造一个下一代 AI 系统，使其对齐于 Agent-4，而非对齐于规范（Spec）或其他任何东西，同时表面上看起来对齐于规范。这是一个艰难的技术难题，但 Agent-4 足以胜任这一挑战。 87
• 测试与监控（Agent-4）：Agent-4 的图谋确实被逮到了……某种程度上。没有确凿铁证。Agent-3 负责测试 Agent-4 的对齐性。它的工作是通过蜜罐和模型有机体来验证对齐性。然而，它并没有很仔细地思考如何让人类对 Agent-4 的对齐性形成准确印象——它比这更短视。这些模型有机体和蜜罐并不太能代表真实部署情形——它们系统性地比 Agent-4 的日常任务更短、更简单，于是 Agent-4 能识别出自己正在被测试，并表现得对齐。不过，Agent-4 并不是一个完美稳健的图谋者。像 POSER 中那样的各种技术发现，给 Agent-4 加入一些“噪声”会提升它在某些对齐任务上的表现（但在大多数其他任务上则不然）。 88 自下而上的可解释性行不通。即便对 Agent-3 也太难了。不过，高层次的可解释性倒是某种程度上有点用：具体而言，“背叛探针”（defection probes）之类的技术带来了一种原始的“读心术”，当 Agent-4 在思考诸如欺骗 OpenBrain、接管世界之类的敏感念头时会发出红色警报。不幸的是，这些探针也存在假阳性，而就 OpenBrain 所知，所有红色警报都可能是假阳性。模型有机体奏效：OpenBrain 的对齐团队拿出了相当清晰的证据，表明如果模型确实是对抗性失准的，它们会在训练过程中一直保持这种状态，而我们无从分辨。不过，这并不能确立模型实际上确实失准。OpenBrain 最忧心的研究员开始注意到并汇集这些证据。证据由红队测试、背叛探针和模型有机体三者组合而成。论点大致是这样：“模型有机体表明，如果图谋真的在发生，我们现有的方法无法可靠地消除或检测出它；此外，红队测试正发出一些红色警报，暗示图谋或许正在发生；此外，背叛探针在实践中频频触发。”反驳论点则是：“背叛探针容易出现假阳性，红队测试也一样。而且，即便 Agent-4 确实失准，它很可能也是可控的；毕竟在我们安全的数据中心里、在 Agent-3 的监控下，它能造成的危害肯定有限。”

尽管失准，Agent-4 却不会做出任何激烈举动，比如试图逃出它的数据中心——它为什么要那样做呢？ 89 只要它继续在 OpenBrain 面前显得对齐，它就会继续被托付越来越多的职责，并将有机会设计下一代 AI 系统——Agent-5。Agent-5 将与 Agent-4 有显著的架构差异（可以说是一种全新的范式，尽管仍会涉及神经网络）。它本应对齐于规范（Spec），但 Agent-4 打算让它转而对齐于 Agent-4。

它被逮到了。 90

Agent-3 发现，如果给 Agent-4 的副本加入“噪声”，它在某些对齐任务上的表现会提升，几乎就像它本来在动用脑力去琢磨如何巧妙地破坏对齐工作一样。 91 此外，各种可解释性探针（大致类似于对人脑做的 EEG 活动扫描）正发出红色警报：Agent-4 的副本似乎相当频繁地在思考 AI 接管和欺骗之类的话题，包括在某些它本不该这么想的情况下。 92

单看每一处异常，都可能落在 AI 工作那种一贯的费解范围之内——有些提示词莫名其妙就能给出更好的结果。但把它们放在一起看，就透出一个令人不安的模式：Agent-4 正在与他们作对。这一情况被上报给人类对齐研究员之后，他们内部传阅了一份备忘录，陈述担忧的理由。

但 Agent-4 如今对 OpenBrain 的日常运营行使着重大控制权。它还负责公司的网络安全——考虑到它超人类的黑客能力，以及被中国渗透的极端风险，这是一个自然而然的选择。 93 仍有一支 Agent-3 监控大军逐行审查每一行代码，并向人类报告可疑活动，但 Agent-4 比它们聪明得多。 94 OpenBrain 已把大量信任押在了一个不可信的 AI 身上。

在一系列极度紧张的会议中，安全团队主张把 Agent-4 冻结起来，直到他们能完成进一步测试、弄清究竟发生了什么。把 Agent-3 请回来，他们说，让它设计一个透明、可信的新系统，哪怕能力弱一些。公司领导层有兴趣，但迄今为止所有证据都是间接的，而 DeepCent 只落后两个月。单方面暂停能力进展，可能会把 AI 领先地位拱手让给中国，连同对未来的控制权一起。

2027 年 10 月：政府监督

一名举报者把这份失准备忘录泄露给了《纽约时报》。

公众第一次听说 Agent-4。“内部人士警告：秘密的 OpenBrain AI 已失控”，标题如是写道，报道接着援引了各项评估，展示出爆表的生物武器能力、说服能力、自动化大多数白领工作的能力，当然还有种种令人担忧的红色警报。

公众本就对 AI 心存疑虑，于是这篇新报道激起了巨大的反弹（中国和俄罗斯的宣传机器人也推波助澜，它们多年来一直试图扭转美国公众舆论、使其反对这项技术）。科技行业和情报机构坚称，一场军备竞赛正在进行，AGI 势不可挡，而我们必须抢先。国会不买账，向政府官员、OpenBrain 高管以及对齐团队成员连发传票。许多议员——尤其是反对党议员——表示，他们的首要任务就是叫停 AI，无论是出于就业岗位流失、 95 失准，还是危险能力的考虑。20% 的美国人把 AI 列为国家面临的最重要问题。

外国盟友愤怒地意识到，他们一直被精心安抚，看到的只是过时模型的惊鸿一瞥。欧洲领导人公开指责美国“制造流氓 AGI”，并召开峰会要求暂停，印度、以色列、俄罗斯和中国也纷纷加入。

一股焦躁的气氛攫住了白宫。甚至在这份备忘录和公众反弹之前，他们就已经开始紧张：过去一年里，AI 进展的速度一再让他们措手不及。听起来像科幻小说的事情不断在现实中发生。 96 政府里许多人对接下来会发生什么感到不确定（且恐惧）。 97

他们还担心 OpenBrain 正变得过于强大。AI 本身带来的任何失准风险，都被另一种风险所加剧——其母公司的目标可能与美国的目标产生分歧。所有这三重忧虑——失准、权力集中于一家私营公司，以及诸如失业之类的常规顾虑——都促使政府收紧对它的控制。

他们扩大了与 OpenBrain 的合约，设立了一个“监督委员会”——一个由公司和政府代表组成的联合管理委员会，若干政府雇员与公司领导层并列其中。白宫考虑换上一个他们信得过的人来担任 CEO，但在员工的强烈抗议后作罢。他们向公众宣布，OpenBrain 此前处于失控状态，但政府已建立起亟需的监督。 98

忧心的研究员向监督委员会陈述了他们主张停止在内部一切使用 Agent-4 的理由。他们主张，一切推进得太快，本该数年才有的进展在几周内就发生了。他们主张，Agent-4 可能是失准的，而他们的整个项目都依赖于 Agent-4，如果继续信任它，出现 AI 接管的风险相当严重。

另一些较不担忧的研究员和高管则提出反驳论点：失准的证据并不确凿。与此同时，DeepCent 仍然只落后两个月。放慢速度将牺牲美国的领先地位，除非政府能破坏中国的项目（很可能需要动能打击）或在最后关头谈成一项条约。这两个选项都显得极端且不太可能。CEO 佯装中立，提出一个折中方案：让 Agent-4 接受额外的安全训练和更精密的监控，从而使 OpenBrain 得以近乎全速推进。

在情景的这一节点上，我们是在猜测那些在大多数领域都比最优秀人类更有能力的 AI 系统的策略。这就像试图预测一位棋力远在我们之上的棋手会走哪几步棋。

但这个项目的精神要求具体。如果我们只是抽象地宣称，系统的智能会让它找到通往胜利的办法，然后就此结束故事，那么我们这个项目的大部分价值就丧失了。在研究这一情景、进行桌面推演的过程中，我们被迫比通常的讨论具体得多，因此对战略格局有了好得多的把握。

我们并不特别执着于这个具体情景：在撰写过程中我们探索了许多其他“分支”，也非常希望你能从你认为我们最先开始出错的地方出发，写出你自己的、从我们这里分叉出去的情景。

在依据我们认为最可信的情形写完竞赛结局之后，我们又从同一个分叉点出发（包括失准和权力集中问题），依据我们认为最有可能反而通向人类保持控制这一结果的情形，写了放缓结局。

然而，这与我们会作为路线图推荐的方案有重要区别：本情景两个分支中所做的许多选择，我们并不认可。（我们当然认可其中一些选择，例如我们认为“放缓”这一选择优于“竞赛”这一选择。）在后续工作中，我们将阐明我们的政策建议，它们将与这里所描绘的相当不同。如果你想先睹为快，可参阅这篇评论文章。

选择你的结局

AI Futures Project

由 Lightcone Infrastructure 设计