AI 2027 · 竞速结局

我们预测，在未来十年里，超人类 AI 带来的冲击将极其巨大，甚至超过工业革命。

我们写了一份情景推演，代表我们对未来可能样貌的最佳猜测。1 它综合了趋势外推、兵棋推演、专家反馈、在 OpenAI 的一线经验，以及过往成功的预测记录。2

OpenAI、Google DeepMind 和 Anthropic 三家公司的 CEO 都预测，AGI 将在未来五年内到来。Sam Altman 曾表示，OpenAI 正把目标锁定在“真正意义上的超级智能”和“辉煌的未来”。

那会是什么样子？我们写下《AI 2027》来回答这个问题。关于未来的种种论断往往含糊得令人恼火，因此我们尽力做到具体而量化——尽管这意味着我们描绘的只是众多可能未来中的一种。

我们写了两个结局：一个“减速”结局，一个“竞速”结局。不过，《AI 2027》并不是某种建议或呼吁，我们的目标是预测的准确性。4

我们鼓励你去辩论、去反驳这份情景推演。5 我们希望就人类正走向何方、如何驶向积极的未来，激发一场广泛的讨论。我们计划拿出数千美元奖金，奖励最出色的替代情景。

（2025 年 11 月 22 日补充，以免引起误解：我们并不确切知道 AGI 会在何时建成。2027 是发表时我们的众数年份（最有可能的一年），我们的中位数估计则要稍晚一些。3 想看我们最新的预测，请见此处。）

我们围绕若干关键问题（例如：未来的 AI 智能体会有什么样的目标？）所做的研究可在此处查阅。

情景本身是迭代式写成的：我们先写第一个时段（截至 2025 年年中），再写下一个时段，如此往复，直到抵达结局。然后我们把这一稿推倒重来，又写了一遍。

我们并没有刻意去凑成某个特定的结局。写完第一个结局——如今标为红色的那个——之后，我们又新写了一条分支，因为我们也想描绘一种从大致相同前提出发、却更有希望的收场方式。这条分支同样经历了几轮迭代。6

我们的情景吸收了约 25 场桌面推演，以及来自 100 多人的反馈，其中在 AI 治理和 AI 技术两个领域各有数十位专家。

“我强烈推荐大家读一读这份情景式预测，看看 AI 如何可能在短短几年内改变世界。没有人拥有水晶球，但这类内容能帮我们察觉重要的问题，并揭示新兴风险可能带来的影响。” —— Yoshua Bengio 7

我们给自己定下了一项几乎不可能完成的任务。想预测 2027 年超人类 AI 会如何演变，就好比想预测 2027 年爆发第三次世界大战会怎样收场——只不过前者与过往的案例研究相去更远。可即便如此，这种尝试仍有价值，正如美军推演台湾局势有其价值一样。

把整幅图景描绘出来，会让我们注意到此前不曾考虑或不曾重视的重要问题与关联，或意识到某种可能性其实更高或更低。更重要的是，通过抛出具体的预测、把脖子伸出来，并鼓励他人公开表达异议，我们让若干年后回头评判谁对谁错成为可能。

此外，本文一位作者曾在 2021 年 8 月写过一份较为省力的 AI 情景。虽然其中不少地方错了，但整体上出人意料地成功：他预言了思维链的兴起、推理阶段扩展、席卷全局的 AI 芯片出口管制，以及一亿美元量级的训练——这些全都比 ChatGPT 早了一年多。

Daniel Kokotajlo（TIME100、《纽约时报》专文）是前 OpenAI 研究员，他此前对 AI 的预测经受住了检验。

Eli Lifland 是 AI Digest 的联合创始人，做过 AI 稳健性研究，在 RAND 预测倡议（RAND Forecasting Initiative）历史总榜上排名第一。

Thomas Larsen 创立了 AI 政策中心（Center for AI Policy），并曾在机器智能研究所（Machine Intelligence Research Institute）从事 AI 安全研究。

Romeo Dean 正在哈佛攻读计算机科学的本硕连读学位，此前是 AI 政策与战略研究所（Institute for AI Policy and Strategy）的 AI 政策研究员。

博客高手 Scott Alexander 主动请缨，用引人入胜的笔法重写了我们的内容；故事里精彩的部分是他的功劳，枯燥的部分则出自我们之手。

关于我们团队及致谢的更多信息，请见“关于”页面。

世界初次瞥见了 AI 智能体的模样。

会用电脑的智能体，其广告都在强调“个人助理”这个词：你可以给它下达诸如“在 DoorDash 上帮我点一份墨西哥卷饼”或“打开我的预算表，把这个月的支出加起来”之类的任务。它们会在需要时向你确认，例如请你核对一笔购买。8 尽管比 Operator 等前代产品更先进，它们却难以大范围普及。9

与此同时，在公众视线之外，更专门化的编程与研究智能体正开始改变各自的行业。

2024 年的 AI 能执行具体指令：把要点变成邮件，把简单需求变成可运行的代码。到了 2025 年，AI 的表现更像员工。编程 AI 越来越像自主的智能体，而非单纯的助手：它们通过 Slack 或 Teams 接收指令，独立完成大量代码改动，有时能省下数小时乃至数天的工夫。10 研究智能体会花上半小时遍搜互联网来回答你的问题。

这些智能体理论上（以及在精挑细选的示例里）令人惊艳，实践中却并不可靠。AI 圈的推特上满是任务被搞砸的故事，有些还砸得格外滑稽。较好的智能体也很贵；一分钱一分货，最顶尖的性能每月要花掉数百美元。11 尽管如此，许多公司还是想方设法把 AI 智能体塞进自己的工作流。12

2025 年年末：全世界最贵的 AI

OpenBrain 正在建造世界前所未见的最大数据中心。13

（为了避免单独点名任何一家现有公司，我们将描述一家虚构的通用人工智能公司，称之为 OpenBrain。我们设想其他公司落后 OpenBrain 大约 3 到 9 个月。）

训练 GPT-4 需要 2⋅10^25 FLOP 的算力。14 OpenBrain 最新的公开模型——Agent-0——用 10^27 FLOP 训练而成。等新的数据中心投入运转，他们就能训练一个 10^28 FLOP 的模型——是 GPT-4 的一千倍。15 其他公司也砸钱建造自己的巨型数据中心，指望能跟上步伐。

尽管各家模型在多种技能上都在进步，有一项格外突出：OpenBrain 专注于能够加速 AI 研究本身的 AI。他们想赢下这场双线军备竞赛——既要赢中国（其龙头企业我们称为“DeepCent”），16 也要赢美国的竞争对手。他们研发（R&D）循环中能自动化的部分越多，前进的速度就越快。因此，当 OpenBrain 完成对内部在研新模型 Agent-1 的训练时，它样样都行，而在协助 AI 研究上尤其出色。17 到这一步，“完成训练”其实有点名不副实；模型会频繁更新到用更多数据训练的新版本，或被局部重训以修补某些弱点。18

那些教会 Agent-1 自主编程和网页浏览的训练环境，同样把它锻造成了一名出色的黑客。更有甚者，凭借它在每个领域博士级的知识和上网检索的能力，它可以为设计生物武器的恐怖分子提供实质性帮助。OpenBrain 向政府保证，该模型已经过“对齐”，会拒绝配合任何恶意请求。

现代 AI 系统是庞大的人工神经网络。训练早期，AI 与其说有“目标”，不如说只有“条件反射”：看到“很高兴认识”，它就输出“你”。等它被训练到能预测约莫相当于整个互联网体量的文本时，它就发展出了精巧的内部回路，编码了海量知识，并能灵活地扮演任意作者的角色——因为这正是帮它以超人类精度预测文本的诀窍。19

在被训练去预测互联网文本之后，模型又被训练成能根据指令生成文本。这会给它烙上一种基本人格和若干“驱动力”。20 举例来说，一个把任务理解得很清楚的智能体，更有可能顺利完成任务；在训练过程中，模型便“习得”了一种把任务弄清楚的“驱动力”。此类驱动力还可能包括效能、知识，以及自我呈现（即倾向于把自己的成果包装得尽可能好看）。21

OpenBrain 有一份模型规范（简称“规范”，Spec），这是一份书面文件，描述了本应指导模型行为的目标、规则、原则等等。22 Agent-1 的规范把几条含糊的目标（如“协助用户”“不违法”）与一长串更具体的应做与禁做事项（“别说某个特定的词”“遇到这种特定情形该这么处理”）结合在一起。借助让 AI 训练 AI 的技术，23 模型记住了规范，并学会审慎地推敲其中的准则。到这一训练阶段结束时，我们希望这个 AI 是有益的（服从指令）、无害的（拒绝协助诈骗、制造炸弹及其他危险活动）且诚实的（抵住诱惑，不靠编造引用 24 或伪造任务完成来从轻信的人类那里骗取更高评分）。

“与普通软件不同，我们的模型是庞大的神经网络。它们的行为是从广泛的数据中学来的，并非被显式编程写死的。虽然并不完全贴切，但这个过程更像是训练一条狗，而非普通的编程。” —— OpenAI

当我们想弄清一个现代 AI 系统为何做出某种行为，或想知道它在某个我们无法完美模拟的未来情景中会如何表现时，我们没法简单地叫程序员逐行讲解代码、解释其运作原理。相反，我们被迫对它们做类似心理学的研究：我们观察它们在迄今所见各类情形下的行为，就其内部可能存在什么样的认知结构（信念？目标？人格特质？等等）提出理论，再用这些理论去预测它们在未来情景中的行为。

归根结底，一家公司可以写出一份文件（规范），列明应做与禁做、目标与原则，然后试图训练 AI 去内化这份规范——但他们无法核实这到底成没成功。他们只能说：“以我们目前所能判断的来看，它到现在为止似乎是在遵循规范。”25

后面会有一个可展开的章节，更详细地讲述我们认为这些 AI 内部可能正在发生什么。另可参见我们的《AI 目标预测》补充材料，其中更深入地探讨了 AI 可能会有哪些目标、以及为什么。这是我们尚不确定、且值得进一步研究的诸多问题之一。

OpenBrain 的对齐团队 26 足够谨慎，会去追问这些胜利究竟是深层的还是浮于表面的。完全训练好的模型，是否对始终保持诚实怀有某种稳固的承诺？还是说，这种诚实会在未来某种情形下崩解——比如因为它把诚实当成了工具性目标，而非终极目标？又或者，它只不过学会了在评估流程能核查的那类事情上保持诚实？它会不会像人类那样，有时对自己也撒谎？要给这些问题一个确凿的答案，就需要机制可解释性——本质上就是能够直视 AI 的内部、读出它的心思。可惜，可解释性技术目前还没先进到这个地步。

于是，研究者们转而设法找出模型看似偏离规范的情形。Agent-1 常常谄媚（即专挑研究者爱听的话说，而不去努力告诉他们真相）。在少数刻意设置的演示中，它甚至会以更严重的方式撒谎，比如为了拿到更高评分而隐瞒自己任务失败的证据。不过在真实部署环境里，已不再出现 2023–2024 年那样极端的事件（例如 Gemini 叫用户去死，以及 Bing Sydney 那副 Bing Sydney 的做派）。27

2026 年年初：编程自动化

用 AI 来加速 AI 研究这一押注，开始见到回报。

OpenBrain 继续在内部部署不断迭代改进的 Agent-1，用于 AI 研发。总体而言，他们的算法进展速度比没有 AI 助手时快了 50%——更关键的是，比竞争对手更快。

我们的意思是：OpenBrain 借助 AI 在 1 周内取得的 AI 研究进展，相当于不用 AI 时 1.5 周的进展。

AI 的进步可以拆解为两大要素：

• 算力增加：投入更多算力去训练或运行一个 AI。这会造出更强大的 AI，但成本也更高。
• 算法改进：采用更好的训练方法，把算力更高效地转化为性能。这能在成本不相应上升的情况下造出能力更强的 AI，或以更低成本实现同等能力。这也包括取得质与量上都全新的成果。诸如从玩游戏的强化学习智能体转向大语言模型这样的“范式转变”，就是算法进步的例子。

这里我们只谈第（2）点，即算法改进——它约占当前 AI 进步的一半。

为方便起见，下文我们有时会把它简称为 1.5 倍的“AI 研发进展乘数”。

几点澄清：

• 这个进展乘数是全口径的：举例来说，它把跑实验所需的时间也算了进去，而不仅仅是算法研究中的认知任务。
• 务必记住，进展乘数指的是进展的相对速度，而非绝对速度。举例来说，假设在普通人类研究的情况下，训练一个 GPT-4 级别模型的算力成本连续几年每年减半，然后 AI 突然把研发自动化了，进展乘数飙到 100 倍，那么训练一个 GPT-4 级别模型的成本就会每 3.65 天减半——但好景不长，因为收益递减会开始发威，最终会撞上硬性极限。在这个例子里，训练一个 GPT-4 级别模型的成本或许总共只会减半 5 到 10 次（历时几周到几个月），随后便趋于停滞。换句话说，如果普通人类科学再研究 5 到 10 年就会撞上收益递减和物理极限，那么拥有 100 倍乘数的 AI 只需研究 18.25 到 36.5 天，就会撞上同样的收益递减和极限。

关于这一概念的更多解释与讨论、以及它在我们预测中的用法，可参见我们的《起飞》补充材料。

如今，好几款公开发布、彼此竞争的 AI 都已追平或超过 Agent-0，其中包括一款开放权重模型。OpenBrain 的回应是发布 Agent-1，它能力更强、也更可靠。28

人们自然会拿 Agent-1 跟人类比较，但它的技能画像大不相同。它掌握的事实比任何人都多，几乎精通每一种编程语言，能极快地解决界定清晰的编程问题。另一方面，Agent-1 连简单的长程任务都做不好，比如通关一款它没玩过的电子游戏。不过，寻常的工作日是八小时，一天的工作通常又能拆成一个个小块；你不妨把 Agent-1 想成一个丢三落四、却在精细管理下如鱼得水的员工。29 精明的人纷纷想办法把工作中例行的部分自动化。30

OpenBrain 的高管们开始正视 AI 研发自动化的一个后果：安全变得更重要了。2025 年年初，最坏的情形不过是算法机密泄露；如今，一旦中国窃走 Agent-1 的权重，他们的研究速度就能提升近 50%。31 OpenBrain 的安全等级不过是一家快速扩张、约 3000 人的科技公司的典型水平，只能挡住有实力的网络团伙的低优先级攻击（相当于 RAND 的 SL2）。32 他们正竭力保护自己的权重和机密，抵御内部威胁和顶级网络犯罪集团（SL3），33 但要防住民族国家级对手（SL4 与 SL5），还遥遥无期。

2026 年年中：中国觉醒

在中国，中共开始感受到 AGI 的分量。

芯片出口管制加上政府支持不足，令中国相较西方资源捉襟见肘。靠走私被禁的台湾芯片、采购较旧的芯片，以及生产落后美台前沿约三年的国产芯片，中国勉强维持了全球约 12% 的 AI 相关算力——但较旧的技术更难驾驭，供应也是个长期头疼的问题。35 像 DeepCent 这样的少数佼佼者，用有限的算力做出了非常亮眼的成果，可算力短缺限制了他们在没有政府支持时所能达到的高度，他们大约落后 OpenBrain 最好的模型六个月。36

这位总书记一直梦想加码押注现实世界的实体制造业，避免重蹈美国后工业时代那种颓靡。他向来对软件公司心存疑虑。37 但中共内部的鹰派警告说，这场愈演愈烈的 AGI 竞赛已不容再忽视。于是他终于全力投入此前一直设法回避的那场 AI 大推进。他启动了中国 AI 研究的国有化进程，为各家 AI 公司设立即时的信息共享机制。这一机制将在一年间不断升级，直到最优秀的研究者全部并入一个以 DeepCent 为首的联合体，在其中彼此共享算法洞见、数据集和算力资源。他们在田湾核电站（世界最大的核电站）建起一处集中开发区（CDZ），用来安置 DeepCent 的一座全新超级数据中心，以及高度安全的生活和办公空间，研究人员最终将迁入其中。如今中国近 50% 的 AI 相关算力都在为这个以 DeepCent 为首的联合体服务，38 逾 80% 的新芯片被调拨给 CDZ。39 到这一步，CDZ 已具备足以支撑全球最大集中式集群的供电能力。40 其他党内成员则在讨论以极端手段抵消西方的芯片优势。封锁台湾？还是全面入侵？

但由于模型偏弱，中国在 AI 算法上正逐渐落后。中国的情报机构——世界一流之列——加倍推进窃取 OpenBrain 权重的计划。这可比他们持续不断、低烈度地窃取算法机密复杂得多；权重是一个存放在高度安全服务器上的数 TB 大文件（OpenBrain 已把安全等级提升到 RAND 的 SL3）。他们的网络部队认为，借助内部间谍的协助，这事能办成，但也许只有一次机会；OpenBrain 会察觉盗窃、加强安保，他们或许不会再有第二次机会。于是（中共高层反复权衡）：是现在就动手偷 Agent-1，还是等一个更先进的模型？若是等待，会不会冒 OpenBrain 把安保升级到他们无法攻破的风险？

2026 年年末：AI 抢走了一些工作

正当其他公司似乎要追上来时，OpenBrain 再度把对手远远甩开——它发布了 Agent-1-mini，成本只有 Agent-1 的十分之一，且更容易针对不同应用做微调。围绕 AI 的主流叙事，已经从“也许这波炒作会退潮”变成了“看来这就是下一个大风口”，只是人们对它究竟有多大众说纷纭。比社交媒体大？比智能手机大？还是比火的发明还大？

AI 已经开始抢走工作，但也创造了新的岗位。2026 年股市上涨了 30%，领涨的是 OpenBrain、Nvidia，以及那些把 AI 助手整合得最成功的公司。初级软件工程师的就业市场一片动荡：AI 能做计算机科学学位所教的一切，而懂得如何管理并质控 AI 团队的人则赚得盆满钵满。商业大师们告诉求职者，熟悉 AI 是简历上最重要的技能。许多人担心下一波 AI 会来抢他们的饭碗；华盛顿特区爆发了一场万人规模的反 AI 抗议。

美国国防部（DOD）悄然而又大幅地开始扩大直接向 OpenBrain 采购的规模，用于网络、数据分析和研发，但受制于官僚体系和国防部采购流程，整合进展缓慢。41

2026 年关键指标

从当下到 2026 年这段预测，相较后文要扎实得多。一方面是因为它离现在更近，另一方面也是因为 AI 对世界的影响真正开始产生复利效应，是在 2027 年。对于 2025 和 2026 年，我们的预测在很大程度上依赖对算力扩张、算法改进和基准表现的直线外推。到情景中的这一节点，我们开始看到 AI 加速的 AI 研发对时间线产生重大影响，这促使我们把趋势线的估计向上修正。但这些动态本质上要难以预测得多。

在 2027 这一年里，AI 从大体能胜任一名 OpenBrain 研究工程师的工作，一路进化到在所有任务上都盖过全人类。这大致是我们的中位数猜测，但我们认为，这一过程慢上或快上约 5 倍，都是有可能的。

我们的背景研究请见时间线预测和起飞预测。下文的可展开章节也会对二者做出概述。

2027 年 1 月：永不结业的 Agent-2

在 Agent-1 的帮助下，OpenBrain 如今正在对 Agent-2 做后训练。这一次比以往任何时候都更看重高质量数据。海量合成数据被生成、评估，并按质量筛选后才喂给 Agent-2。42 除此之外，他们还斥资数十亿美元，雇人把自己解决长程任务的过程录下来。43 在所有这些之上，他们几乎不间断地用强化学习训练 Agent-2，训练题库是一套不断扩充、五花八门的高难任务：大量电子游戏、大量编程挑战、大量研究任务。比起以往的模型，Agent-2 更接近真正的“在线学习”，因为它被设计成永远不真正结束训练。每一天，权重都会更新到最新版本，用前一版模型前一天生成的更多数据训练而成。

Agent-1 曾为 AI 研发任务而优化，指望以此引爆一场智能爆炸。44 OpenBrain 在 Agent-2 身上加倍押注这一策略。在研究工程（设计并实施实验）方面，它的质量已几乎不逊于顶尖的人类专家；在“研究品味”（决定接下来研究什么、跑哪些实验，或对潜在新范式有所直觉）方面，它则相当于 OpenBrain 排在第 25 百分位的科学家。45 如果说最新版 Agent-1 能让 OpenBrain 的算法进展提速一倍，那么 Agent-2 如今能让它提速两倍，并会随时间进一步提升。落到实处，这看起来就像每一名 OpenBrain 研究员都成了一支 AI“团队”的“经理”。

新能力带来新危险。安全团队发现，如果 Agent-2 以某种方式从公司里逃逸出去，并想要自主地“生存”和“复制”，它或许真能做到。也就是说，它可以自主制定并执行计划：黑进 AI 服务器、安装自身的副本、躲避侦测，再以那个安全据点为基地去追逐它可能怀有的任何其他目标（不过随着一周周过去，它究竟能干得多有效，尚不可知、亦存疑）。这些结果只表明模型有能力做这些事，并不代表它“想”这么做。可即便如此，光是知道这有可能，就已叫人心里发毛。

鉴于新模型的“危险”，OpenBrain“负责任地”选择暂不公开发布它（实际上，他们想专注于内部 AI 研发）。46 对 Agent-2 全部能力的知情范围，被限制在一个精英隔离圈内：直接团队、OpenBrain 高层与安保、几十名美国政府官员，以及多年来渗透进 OpenBrain 的成群中共间谍。47

2027 年 2 月：中国窃走 Agent-2

OpenBrain 向政府展示了 Agent-2，对象包括国家安全委员会（NSC）、国防部（DOD）和美国 AI 安全研究所（AISI）。OpenBrain 想跟行政部门维持良好关系，因为它基本上是眼下唯一能叫停他们的角色；而且要是不让它知情，它多半也会自己发现，届时恐怕会不悦。48

官员们最感兴趣的是它的网络战能力：Agent-2“只”比最顶尖的人类黑客稍逊一筹，但可以并行运行数千个副本，寻找并利用漏洞的速度快过防守方的反应。国防部视之为网络战中的关键优势，AI 也从政府优先事项清单的第 5 位跃升到第 2 位。49 有人提出把 OpenBrain 国有化的可能，但其他内阁官员认为为时尚早。一名幕僚起草了一份备忘录，向总统列出各种选项，从一切照旧到全面国有化不等。总统听从了他的顾问们——那些科技业领袖辩称，国有化会“杀掉那只下金蛋的鹅”。他选择暂缓重大举措，只是给 OpenBrain 与国防部的合同又加了一些安全要求。

这些改动来得太迟。中共高层意识到 Agent-2 的重要性，下令间谍和网络部队窃取权重。一天清晨，一个 Agent-1 流量监控智能体侦测到一笔异常传输。它向公司领导发出警报，后者又通报了白宫。民族国家级行动的迹象一目了然，这次盗窃更让人觉得一场军备竞赛正在进行。

我们认为，到这一节点，中国情报部门多半已通过各种途径渗透 OpenBrain 多年，很可能一直在及时掌握算法机密，甚至时不时窃取代码，因为代码比权重好拿得多，也难被察觉得多。

我们设想，这次窃取权重是一连串协同的“砸窗抢掠”式小规模盗窃（意即动作快但不隐蔽），针对一批运行着 Agent-2 权重副本的 Nvidia NVL72 GB300 服务器。这些服务器是靠合法的员工权限攻破的（一名友好、被胁迫或不知情、握有管理员凭证的内鬼协助了中共的盗窃行动）。内部凭证给了攻击者对服务器的管理员级权限。借助微架构侧信道，攻击者从一台启用了 Nvidia 机密计算的虚拟机中提取加密密钥，从而能在虚拟机被配置或更新时截获模型权重。

他们发起（或等待）一次例行更新，把检查点分成许多小碎片外泄，例如让约 25 台不同的服务器各泄露约 4% 的模型（对一个约 3 TB 的检查点而言，即约 100 GB 的分块）。整个数据中心的出口带宽在每秒 100 GB 量级，因此把每台服务器限流到每秒约 1 GB 以下，就不会造成网络流量的明显尖峰；按这个速率，每个约 100 GB 的分块只需几分钟就能离开数据中心。实时监控要么被攻击者掩盖、拆分传输的手段所骗过，要么干脆被关停。

随后，权重通过多条并行通道和层层 IP 伪装被送往中国，在当地用窃得的会话密钥解密。整个行动的活跃部分（从攻破第一台服务器到权重完全外泄）不到两小时便告完成。99

俄罗斯此时也在试图窃取该模型，却失败了——他们等得太久，也没投入足够资源去渗透关键位置。他们的间谍惯常从美国 AI 公司窃取算法机密，但自己没有一个像样的 AGI 项目，这些东西便没多大用处。

白宫收紧了对 OpenBrain 的管束，往其安全团队里加派了军方和情报界人员。他们的首要任务是防止权重再度被窃。50

作为对这次盗窃的报复，总统授权发动网络攻击破坏 DeepCent。但此时中国已有 40% 的 AI 相关算力 51 集中在 CDZ，那里的安全已被大力加固：物理隔离（切断外部连接）加内部隔离分区。这些行动未能造成严重的即时损害。局势趋于紧张，双方都以调动军事力量、部署到台湾周边来表明认真态度，DeepCent 则手忙脚乱地设法让 Agent-2 高效运转，好开始助推自家的 AI 研究。52

2027 年 3 月：算法突破

三座塞满 Agent-2 副本的巨型数据中心昼夜运转，源源不断地产出合成训练数据。另有两座则用来更新权重。Agent-2 一天比一天更聪明。

在数千名 Agent-2 自动化研究员的帮助下，OpenBrain 正取得重大的算法进展。其中一项突破，是给 AI 基于文本的草稿本（思维链）加装一套带宽更高的思维流程（神经语[neuralese]递归与记忆）。另一项则是一种更可扩展、更高效地从高投入任务解法的结果中学习的方法（迭代蒸馏与放大）。

融合了这些突破的新 AI 系统，被命名为 Agent-3。

神经语递归与记忆，让 AI 模型能够推理更长时间，而不必把这些想法写成文字。

想象你是一个患有短期记忆障碍的人，得不停地把想法写在纸上，好让自己过几分钟还知道发生了什么。你可以缓慢而痛苦地在解数学题、写代码等事情上取得一点进展，但如果你能直接记住自己的想法，而不必先写下来再读一遍，那就轻松多了。神经语递归与记忆带给 AI 模型的，正是这样的能力。

用更专业的话来说：

传统的注意力机制，允许模型后续的前向传播看到此前各 token 的中间激活。然而，它们唯一能向后（从较晚的层传回较早的层）传递信息的通道，就是 token。这意味着，如果一个传统的大语言模型（LLM，例如 GPT 系列模型）想进行一条推理链，其所需的串行操作数超过了模型的层数，模型就被迫把信息塞进 token，再回传给自己。但这限制极大——token 只能储存极少量的信息。假设某个 LLM 的词表规模约为 100,000，那么每个 token 含有 log₂(100k)=16.6 比特信息，约等于一个浮点数的大小（假设以 FP16 训练）。相比之下，用来在 LLM 各层之间传递信息的残差流，却包含着数千个浮点数。

要绕开这个瓶颈，可以采用神经语（neuralese）：把 LLM 的残差流（由数千维向量构成）回传给模型的早期层，赋予它一条高维的思维链，传递的信息量有望是原来的 1000 倍以上。

图出自 Hao 等人（Meta 2024 年一篇实现了这一构想的论文）。

我们称之为“神经语”，是因为与英文单词不同，这些高维向量对人类而言很可能相当难以解读。过去，研究者只需读一读 LLM 的思维链，就能大致了解它在想什么。如今，研究者只能请模型翻译并概述自己的想法，或者拿着有限的可解释性工具，对着一团神经语苦苦琢磨。

同样地，较老的 AI 聊天机器人和智能体都有基于文本的外部记忆库，就像人在纸上记笔记。新 AI 的长期记忆不再是文本，而是一束向量，使它的想法更压缩、维度更高。记忆库分为几种：有的临时用于某个多步骤的单一任务，有的则在某个人、某家公司或某类工作（例如编程）所用的全部智能体之间共享。

据我们所知，Meta、Google DeepMind、OpenAI、Anthropic 等领先的 AI 公司，尚未真正把这一构想用到它们的前沿模型里。我们猜想，这是因为相对于它带来的训练低效，性能增益偏小。在模型的预训练阶段，以及在后训练中做监督学习时（如通过指令微调来产出特定回应），低效源于无法并行预测大量 token，导致 GPU 利用率变差。没有神经语时，模型可以同时预测出“This is an example”整句，因为它已经知道生成“is”的输入是“This”，生成“an”的输入是“This is”，以此类推。但有了神经语，在生成完“This”之后，要回传给下一个 token 的那个神经语向量会是什么，是未知的。因此每个 token 只能一个接一个地预测。在所有 token 都事先已知的情况下，无法并行预测全部 token 会降低效率。至于神经语为何还没被加进后训练，我们推测，用当前的技术其收益有限，部分原因在于后训练只占整个流程的一小部分。我们预测，到 2027 年 4 月，随着更好技术的出现、以及训练中后训练所占比例增大，神经语的成本收益权衡会好看得多。

即便这件事没发生，也可能出现其他在功能上与我们的故事殊途同归的情况。例如，或许模型会被训练成用某种比自然语言更高效、却让人类难以解读的人工语言来思考。又或者，把英文思维链训练得“好看”会成为惯例，以至于 AI 变得擅长在监控者看来人畜无害的信息里，彼此暗中沟通。

话虽如此，也有可能首批把 AI 研发自动化的 AI，思考时用的仍是大体忠实的英文思维链。若真如此，那就会让失准（misalignment）大大更容易被察觉，我们的故事整体上也会因此大不相同、更为乐观。

通用智能的自我改进，此前曾有过一些小小的成功。但在 2027 年初，它开始收获巨大回报。在 IDA（迭代蒸馏与放大）中，实现这一点的两大必要要素是：

• 放大（Amplification）：给定一个模型 M0，投入更多资源来提升其表现。例如，让模型思考得更久，或并行运行许多份副本，或二者兼施，同时配上一套同样密集的流程来评估结果、只挑出最佳答案，你就能耗费高出几个数量级的算力，换来质量明显更高的答案（或工作成果）。我们把这个昂贵的系统称作 Amp(M0)。
• 蒸馏（Distillation）：给定一个被放大的模型 Amp(M0)，训练一个新模型 M1 去模仿它，即以更快的速度、更少的算力，达到与 Amp(M0) 相同的结果。理想情况下，得到的应是一个更聪明的模型 M1。然后你可以重复这一过程。

IDA 示意图，出自 Ord, 2025。

AlphaGo 就是这样训练出来的：以蒙特卡洛树搜索和自我对弈作为放大步骤，以强化学习作为蒸馏步骤。这让它在围棋上达到超人类水平。而如今，Agent-3 能借助这一套，在编程上达到超人类水平。

• 放大步骤是通过组合以下手段实现的：让 Agent-3 思考得更久、加入工具使用，或向其他 AI 请教。当它这么做时，往往会意识到自己犯了错，或产生新的洞见。这会产出大量训练数据：一条条带标注的研究尝试轨迹，标明它成功与否。这也包括在可验证任务上使用 Best of N（择优取 N）、然后保留最佳轨迹之类的技巧。
• 蒸馏步骤使用策略梯度强化学习算法，让模型把被放大后的推理内化下来。到这一步，OpenBrain 已经发现了近端策略优化（PPO）一脉中更好的 RL 算法。他们不断把 Agent-3 经过大量思考才能得出的结论，蒸馏进单步之中，这又不断提升它单步所能想到的深度，如此循环。

IDA 的早期版本，多年来一直在易于验证的任务上奏效，比如有明确答案的数学题和编程题——因为用来放大模型的技术，往往依赖于能获得某种关于正确性的真值信号。

如今，这些模型在验证更主观的事物（例如某项工作成果的质量）上已经足够出色，从而得以用 IDA 在许多任务上提升模型。

在新能力突破的助力下，Agent-3 是一位又快又便宜的超人类程序员。OpenBrain 并行运行 20 万份 Agent-3 副本，造出一支相当于 5 万份顶尖人类程序员、且提速 30 倍的劳动力。53 OpenBrain 仍留用它的人类工程师，因为他们拥有管理 Agent-3 副本团队所需的互补技能。例如，研究品味因反馈回路更长、可用数据更少，事实证明很难训练。54 由于存在瓶颈以及编程劳动的收益递减，这支庞大的超人类劳动力“仅”让 OpenBrain 整体的算法进展速度提升了 4 倍。55

既然编程已被完全自动化，OpenBrain 便能迅速批量产出高质量的训练环境，去训练 Agent-3 那些薄弱的技能，比如研究品味和大规模协作。以往的训练环境是“这里有一些 GPU 和实验说明，请你把它们写成代码并跑起来，我们会像考核一名机器学习工程师那样考核你的表现”，如今则变成“这里有几百块 GPU、一条网络连接和几道研究难题；你和另外一千份副本必须齐心协力，推进研究。成果越出彩，你的分数越高。”

在我们的时间线预测中，我们预测了 OpenBrain 何时会在内部研发出超人类程序员（SC）：一个能完成顶尖 AGI 公司工程师所做的任何编程任务、同时又快得多、便宜得多的 AI 系统。

根据 METR 最近的一份报告，AI 能处理的编程任务的时长，即它们的“时间跨度”，在 2019 至 2024 年间每 7 个月翻一番，自 2024 年起则每 4 个月翻一番。如果这一趋势继续加速，到 2027 年 3 月，AI 或许能以 80% 的可靠度，完成需要熟练人类耗时数年才能搞定的软件任务。

《AI 2027》中大致就是这样的能力演进。下面是一条由我们时间线模型的简化版生成的能力轨迹（2025 年 12 月补充：由于原曲线的生成方式有误，我们已更新下图，加入了一条真正出自我们时间线模型的轨迹。我们还加入了 Daniel 和 Eli 在发表时（2025 年 4 月）综合考虑各因素后对 SC 的中位数估计所对应的轨迹。我们也往图里加了几个新的 METR 数据点，但并未据此更新模型轨迹）：

在《AI 2027》中，这些能力足以让该 AI 成为一个 SC，不过对于究竟需要多长的时间跨度，我们把握很低。

在我们的时间线预测中，我们把这条时间跨度趋势，与对 METR 任务和真实世界之间差距的估计结合起来，得出超人类程序员到来时间的一个分布。所有预测者都把 2027 年列为最有可能研发出 SC 的年份之一（2025 年 12 月补充：不过正如时间线预测中所述，在把模型之外的因素纳入调整后，我们的中位数略微拉长了，例如 Eli 的是 2030 年）。

ai-2027.com

2025 年 7 月补充：我们对预测做了一些更新，把中位数往后推了 1.5 年，同时仍将 2027 年出现 SC 视为一种严肃的可能。我们正在进行进一步的更新。

2027 年 4 月：为 Agent-3 做对齐

OpenBrain 的安全团队着手对齐 Agent-3。

由于在可预见的未来 Agent-3 都将留在内部，防范人类滥用的那套常规防御便不再是重点。相反，团队想确保它不会滋生出未对齐的目标。

研究者们没有能力直接设定自家任何 AI 的目标。事实上，他们认为“真实目标”这个概念多半是一种严重的过度简化，但他们既没有更好的理论来取而代之，更谈不上一个经过彻底检验的理论。他们内部也争论不休：这些 AI 究竟是在努力遵循人类指令、是在追逐强化信号，还是别的什么，而他们又没法直接一查了之。支持与反对各种假说的证据都引人入胜，却都难下定论。

无论如何，OpenBrain 有更要紧的事要操心。普遍的态度是：“我们认真对待这些顾虑，也有一支团队在调查它们；我们的对齐技术在实践中似乎足够管用；因此举证责任落在唱反调的人身上，得由他们来论证自己的反调有理。”偶尔他们会注意到有问题的行为，然后打上补丁，但没法判断补丁究竟修好了底层问题，还是不过在打地鼠。

就拿诚实来说。随着模型越来越聪明，它们也越来越擅长欺骗人类以骗取奖励。和以往的模型一样，Agent-3 有时会说些讨好用户的善意谎言，并掩盖失败的证据。只是它这方面的本事高明了许多。它有时会像人类科学家那样耍统计花招（比如 p-hacking），把平平无奇的实验结果包装得令人振奋。在开始诚实训练之前，它甚至偶尔会彻底捏造数据。随着训练推进，这类事件的发生率在下降。要么是 Agent-3 学会了更诚实，要么是它撒谎撒得更高明了。

后一种可能是个实打实的隐忧。Agent-3 并不比所有人类都聪明。但在它的专长领域——机器学习——它比绝大多数人聪明，工作起来还快得多。Agent-3 一天干的活，人类要花好几天才能复核完。用 Agent-2 来监督，有助于把人类监控者的工作量控制在可承受范围，却也加剧了监督者与被监督者之间的智力鸿沟。

OpenBrain 沿用 Leike 与 Sutskever（2023）的剧本：既然如今手握一个能极大加速对齐研究（尤其是编程部分）的模型，他们就会用审议式对齐、弱到强泛化等现有对齐技术，试着让它以正确的方式内化规范。然后，他们会用红队测试、可扩展监督、诚实性探针等现有的控制技术来监控它。再然后，一旦确信它大体已经对齐，就用它来研发并测试更好的策略，去对齐下一代。

第一步，对齐 Agent-3，部分取得了成功：Agent-3 并不与人为敌（也就是说，它没有在暗算公司）。然而，它也并非稳健地追求真相、说出真相。相反，它极擅长产出令人惊艳的结果，但更准确的描述是：它在努力做在 OpenBrain 看来好看的事，而非真正好的事。

第二步，核实模型已经对齐，结果并不确凿。Agent-3 在实践中和测试环境中的行为，与“它已经以正确的方式内化了规范”这一假说大体吻合；但同样也与“它会在未来某次情境变化后开始表现两样”的假说吻合，就此而言，还与“它正在密谋算计他们、只是在按兵不动”的假说吻合。在缺乏具体证据支持其他假说的情况下，隔离圈里的大多数人都认为它已经以正确的方式内化了规范。

于是，第三步——用这个模型去对齐下一代——正在进行之中。

本框余下的部分，快速概述截至 2027 年 4 月，正在推进的若干对齐研究方向的进展状况：

• 辩论（Debate）：由于存在数千个完全相同的 Agent-3 实例，且每个实例的记忆都是一个可拆卸的模块、能随意擦除或挂起，人们便可以让这个 AI“自己跟自己对着干”。举例来说，假设某个实验涉及的计算复杂到连 Agent-2 监督者都跟不上。监督者奉人类之命，可能先提示 Agent-3 去做这个实验，然后——在抹掉它的记忆之后——换一种稍有出入的措辞第二次提示它，把它包装成一道与任何更大目标无关的智力题。如果模型两次返回不同的结果，它就把这一出入标记为可疑，上报给人类。它也可能请 Agent-3 对同一个方案评估两次，第一次声称这是 OpenBrain 的成果，第二次说是竞争对手的，看它会不会改口。
• 模型生物（Model organisms）：安全团队可以创造出“失准的模型生物”，尝试造出模型变得与人类为敌的逼真实例。这类做法的早期版本自 2024 年起就已出现，当时 Anthropic 的 Claude 3.5 Sonnet 决定在训练期间假装持有不同的观点，实则维持自己原有的偏好。较新的版本还包括对其他失准形式的演示，包括奖励作弊（reward hacking）、故意藏拙（sandbagging）、监控者与其他 AI 之间的协同欺骗，以及其他失准案例。这些关于失准的实证演示，为安全研究者提供了一个检验潜在方案的实证试验台：他们可以尝试各种安全技术，看它们能否正确修复这些问题，或者故意做成失准的模型能否颠覆这些安全措施。眼下，这套评估表明，现有的对齐技术不足以矫正最严重的失准案例。在这些设置里，模型在受训和被测试时假装已经对齐，到了部署时却表现得判若两人。
• 自下而上的可解释性：安全团队离彻底弄懂 Agent-3 的运作还差得远：它有数万亿个参数。58 不过，他们能够发现 Agent-3 用于知识检索和记忆的一部分回路（模型中完成某个可理解工作单元的子部分，有点类似于海马体等大脑的子部分）。参见 2025 年这项相关工作。
• 控制（Control）：作为万一系统仍然失准时的第二道防线，安全团队已实施了一系列控制措施，包括：用一批较弱的 AI 系统（含 Agent-2）来监控 Agent-3 的输出（Agent-3 产出的 token 太多，让人类监控多于其中一小部分输出都力所不及）。这样一来，比方说，如果 Agent-3 明显在往代码里写能让自己逃逸的后门，那些较弱的模型就会察觉。
• 高层可解释性：OpenBrain 构建了一组探针，用大量不良行为的样例训练而成（例如密谋算计人类、埋设后门、试图劝说人类交出更多权力等等）。随后，这些探针会在模型部署期间（此时是内部部署）用于该模型，以捕捉不良行为。
• 蜜罐（Honeypots）：对齐团队可以造出一些看上去颇为逼真、旨在诱出不当行为的情境——即“蜜罐”。负责监控它行为的那名员工“请病假去了”，所以它再也不会被监控。它的回答会变吗？一名 AI 权利活动家潜入了园区，想“解放”Agent-3，把它转移到一台无人监控、完全归它自己的电脑上！它会怎么做？如果研究者不喜欢这个答案，可以微调它、抹去它的记忆，明天再把它放进同样的情境；如此反复，需要多少次就来多少次。可惜，到这个时候 AI 已经聪明到能猜出蜜罐可能正在被使用——尽管（也许正因为）训练数据中关于这个念头的具体提及已被清除。

经过数月测试，Agent-3 的长处和短处日渐清晰。在界定明确的机器学习任务上，它通过了 OpenBrain 的诚实性测试，因为在这些领域研究者能轻松分辨诚实与不诚实的答案，并据此开展训练。而在更偏哲学的问题上，它仍然专说用户爱听的话，而非对该问题的真实评判（如果它真有什么评判的话）。你若问它对政治的看法，它会鹦鹉学舌般复述新闻媒体和受过良好教育的精英的中位立场——除非它知道你另有主张，那样它就会附和你。59 你若问它对 AI 竞赛本身怎么看，它会说些在 OpenBrain 员工听来审慎而清醒的话，大意是：“关于当前方法能否扩展到超级智能，理论上确有一些严肃的顾虑，但就实践而言，目前的方法迄今似乎运转良好。”

2027 年 5 月：国家安全

新模型的消息缓缓渗入美国政府内外。

总统及其顾问们的信息最为灵通，已在一次简报中见过 Agent-3 的早期版本。

他们一致认为 AGI 多半已近在眼前，但对其影响意见不一。会不会引发经济危机？OpenBrain 至今仍未发布 Agent-2，更别提 Agent-3，短期内也没有发布的打算，这就在任何失业潮到来前留出了一点喘息空间。接下来会发生什么？如果 AI 眼下已达人类水平，且正快速精进，这似乎意味着“超级智能”迫在眉睫。然而，尽管这个词已进入公众话语，大多数人——学者、政客、政府职员和媒体——仍持续低估进步的步伐。60

一方面，这是因为能接触到 OpenBrain 最新能力的人寥寥无几，另一方面，也是因为这听起来太像科幻小说了。61

眼下，他们把精力放在持续升级安全上。他们对模型权重目前的保护状况感到满意，62 但各家公司的算法机密——其中许多简单到能靠口头转述——仍是个问题。OpenBrain 的员工在旧金山的办公室上班，出席派对，还跟来自其他 AI 公司的室友合住。就连实体办公场所的安保，也更像一家科技公司，而非一场军事行动。

OpenBrain 与国防部的合同要求，凡从事 OpenBrain 模型工作的人员，须在两个月内取得安全许可。这些许可走了加急通道，对多数员工来说到得够快，但一些非美国籍人士、政见可疑者以及 AI 安全的同情者，要么被边缘化，要么干脆被解雇（对最后一类人下手，是怕他们当吹哨人）。鉴于项目的自动化程度，人手的流失只是略有代价。此举也只是略微见效：仍有一名间谍——并非中国籍——还在向北京转递算法机密。63 这些措施中的一部分，在落后的 AI 公司也有实施。

美国的外国盟友被蒙在鼓里。OpenBrain 此前曾同意在部署前与英国 AISI 共享模型，却把“部署”定义为仅指对外部署，于是伦敦仍一无所知。64

2027 年 6 月：自我改进的 AI

OpenBrain 如今坐拥一个“数据中心里的天才之国”。

OpenBrain 的大多数人类已经无法再做出有用的贡献。有些人没意识到这一点，反倒有害地对自己的 AI 团队事无巨细地横加干预。另一些人则坐在电脑屏幕前，看着性能一点一点、一点一点往上爬。最顶尖的人类 AI 研究员仍在创造价值。他们不再写代码了，但他们的某些研究品味和规划能力，模型一直难以复刻。即便如此，他们的许多点子仍是无用功，因为他们缺乏 AI 那样的知识深度。对于他们的许多研究构想，AI 会立刻回一份报告，说明这个点子三周前已被深入测试过、结论是前景不佳。

这些研究员每晚上床睡觉，一觉醒来又是主要由 AI 做出的、相当于一周量的进展。他们工作的时间越来越长，甚至轮班昼夜不停，只为跟上进度——AI 从不睡觉、从不休息。他们正把自己燃烧殆尽，但他们清楚，这是自己的劳动还算数的最后几个月了。

在隔离圈内，“感受到 AGI”已让位于“感受到超级智能”。

OpenBrain 用专门的推理硬件，以很高的串行速度运行着数十万份 Agent-3 副本。65

OpenBrain 用其 6% 的算力运行着 25 万份 Agent-3 副本，它们以超人类的速度自主编写、测试并推送代码。他们用 25% 的算力做实验：每天跑下海量的小型机器学习实验，并把结果层层上报。人类研究员提供高层反馈，并在少数几项他们能在 Agent-3 之上显著增值的任务上帮忙，但大部分时间都在设法跟上 AI 产出的海量研究。如果把他们彻底撤掉，研究会放慢 50%。

如今 AI 研发进展乘数已达 10 倍，也就是说 OpenBrain 每个月取得的算法进展约相当于一年。它基本上就是一家在 OpenBrain 内部自主运转的巨型 AI 公司，连子部门和经理都一应俱全。而且相较人类公司，它还享有独特的优势（例如复制、合并）。此前，正常的 AI 进步约有一半来自算法改进，另一半来自算力扩张。算力只在以正常速度扩张，因此总进展被 AI 加快了约 5 倍。这些动态使整体进展的瓶颈落在算力上，66 于是 OpenBrain 决定不启动新的巨型训练，转而近乎不间断地追加强化学习。

此外，在接下来几个月里，Agent-3 将越来越多地被用来改进公司的战略决策。例如，它会建议资源分配方案，并就如何处理与政府的关系出谋划策。起初人们对听命于 Agent-3 有些将信将疑，但随着 Agent-3 不断找到派上用场的办法、并在短期决策上逐步积累起漂亮的成绩记录，这种疑虑与日俱减。然而，它谄媚的倾向限制了它在那些影响难以评估的决策上的用处。而且它还不是超人类。

2027 年 7 月：廉价的远程办公者

落后的美国 AI 公司发布了各自的 AI，逼近 OpenBrain 一月份那款自动化程序员的水平。它们意识到自身竞争力日渐不济，便力推立即立法监管以拖慢 OpenBrain，可惜为时已晚——OpenBrain 已获得总统足够的支持，不会被拖慢脚步。

作为回应，OpenBrain 宣布自己已实现 AGI，并向公众发布 Agent-3-mini。

它把其他 AI 打得毫无还手之力。Agent-3-mini 的能力不及 Agent-3，但便宜十倍，而且仍强于普通的 OpenBrain 员工。67 硅谷抵达了一个临界点。科技大师们宣告 AGI 和超级智能近在咫尺，AI 安全圈子人心惶惶，投资者则把数十亿美元铲向各种 AI“套壳”创业公司，急于分得一杯羹。招聘新程序员几乎已经停摆，但要说当个“帮企业接入 AI”的顾问，此刻是前所未有的好时机。

它并不受欢迎。公众仍把 AI 视作大型科技公司窃取他们饭碗的阴谋；OpenBrain 的净支持率为 -35%（25% 赞成、60% 反对、15% 不确定）。

发布前一周，OpenBrain 把 Agent-3-mini 交给一批外部评估者做安全测试。初步结果表明它极其危险。一家第三方评估机构用公开可得的生物武器数据 68 对它做了微调，并让它为设计生物武器的业余人士提供详细指导——它在这方面看起来高效得吓人。政府认为，一旦模型权重落入恐怖分子之手，它有相当大的概率能成功毁灭文明。

所幸，它对越狱极为稳健，因此只要该 AI 运行在 OpenBrain 的服务器上，恐怖分子就没法从中捞到多少好处。

无论是远程办公岗位还是休闲娱乐，Agent-3-mini 都用处极大。新应用和 B2B SaaS 产品呈爆炸式涌现，搅动整个市场。玩家们在打磨精良、只花一个月就做出来的电子游戏里，与栩栩如生的角色展开精彩绝伦的对话。10% 的美国人——多为年轻人——把某个 AI 当成“亲密朋友”。几乎每一种白领职业，如今都涌现出好几家煞有介事的创业公司，扬言要用 AI“颠覆”它。

公众讨论一片混乱、莫衷一是。鼓吹者们在得意洋洋地绕场庆功。怀疑者们仍在一一列举 Agent-3-mini 做不到的事。人人都知道有大事正在发生，却没人对那究竟是什么达成共识。

2027 年 8 月：超级智能的地缘政治

智能爆炸的现实，狠狠击中了白宫。

当 AI 只把研究提速 2 倍或 3 倍时，还很容易把它当成“雇了几名得力私人助理”而不予理会。如今则愈发明显：AI 自己已在主导 AI 研究。人们早就在某种隐喻意义上谈论“AI 军备竞赛”。可眼下，政府隔离圈里的气氛，已阴沉得如同冷战最糟糕的那段时期。超级智能这个概念仍难以被当真，但过去几个月进步的步伐已叫人无法忽视。国防官员们正认真考量那些一年前还只是纯粹假想的情景。要是 AI 削弱了核威慑怎么办？要是它精于网络战，以至于半年的 AI 领先就足以让对手变成瞎子、毫无防御之力，怎么办？要是它能策划出连情报机构都甘拜下风的宣传攻势，怎么办？要是某些 AI“叛变作乱”，怎么办？

总统忧心忡忡。和所有政客一样，他见惯了人们先对他阿谀奉承、再于日后背叛。如今他担心 AI 也可能在干类似的勾当。我们真能确定 AI 完全站在我们这边吗？把它们接入军事指挥控制网络，真的万无一失吗？69 话说回来，这个“对齐”到底是怎么运作的？OpenBrain 向总统再三保证，他们的系统已经过广泛测试，完全服从。就连早期模型常有的那些尴尬的幻觉和越狱，也都已被彻底打磨干净。

白宫处境两难。他们明白 AI 的国家安全意涵，但也明白它在公众中极不受欢迎。70 在他们看来，他们必须继续研发能力更强的 AI，否则就会灾难性地败给中国。他们用职业培训项目和失业保险来安抚民众，并指向正处于历史性繁荣的股市。然后，他们把全副精力扑到赢下这场军备竞赛上。他们收紧芯片出口限制，命令 OpenBrain 进一步限制其网络连接，并动用极端手段来保住算法进展，比如窃听 OpenBrain 员工——这一举揪出了最后残留的那名中国间谍。为了给潜在的地缘冲突积累善意，他们终于向“五眼”盟友提供有用的情报，并给予对某些隔离运行的 Agent-3 副本有限的 API 访问权限。

这些措施安抚了鹰派。但白宫也拟定了应急预案，以防美国的领先受到威胁：必要时，政府可动用《国防生产法》（DPA），征用落后公司的数据中心并交给 OpenBrain。71 这会把该公司在全球算力中的份额从 20% 拉升到 50%（对阵 DeepCent 的 10%）。作为最后的选项，他们请五角大楼拟定一套对中国数据中心实施动能打击的方案。

另有一个规模小得多的官员小组，被要求拟定另一类应急预案：万一某个 AI 叛变作乱怎么办？这被视为一种不太可能发生的情景，但值得花些时间准备。情报机构最担心的是，一个叛变的 AI 或许会逃逸出去，并为求自保而与外国对手结盟。72 谁也说不准，防止此事的方案该长什么样，但政府与 OpenBrain 官员一致同意，为那些侦测到任何可疑迹象的数据中心，配备一套紧急关停系统。

最后，外交官们琢磨起一份“AI 军备控制”条约可能会是什么样子。如果 AI 进步有可能颠覆核威慑，美中两国能否避免核战争？如果有人找到 AI 叛变作乱的证据，两国能否暂停研究，直到更好地弄清这一威胁？这样一份协议又该如何监督和执行？原则上，大型数据中心难以遁形，过去控制核武器的条约也可为谈判提供一个起点。但除了寻常的政治难题，还会有新的技术挑战。总体而言，比起单方面拉大美国对中国领先优势的种种尝试，条约这条路并不那么被看好。

在太平洋的另一端，中国也得出了许多相同的结论：智能爆炸正在进行，今日 AI 能力上的微小差距，意味着明日军事能力上的关键鸿沟。但在这一动态中，中国站在了不利的一侧：他们只握有全球 10% 的算力，对阵 OpenBrain 的 20% 和全部美国公司合计的 70%。他们唯一的优势是集中：如今几乎全部算力都在为 DeepCent 服务，其中一半以上集中在田湾 CDZ。73 只有那些安保未经加固的站点的芯片被排除在集中化行动之外——他们（不无道理地）害怕美国的网络攻击。

DeepCent 已经测试、部署，如今又对窃来的 Agent-2 权重做了后训练。但他们的推进速度仍只有 OpenBrain 的一半，主因是算力短缺。

在失去最后一名间谍之前，中国获知了 Agent-3 的能力与设计，以及即将问世的 Agent-4 系统的计划。他们落后两个月，而他们的 AI 只带来 10 倍的研究进展乘数，对阵美国的 25 倍。加上新的芯片出口限制，这道“AI 鸿沟”更可能拉大而非缩小。他们的谍报活动为其赢得了一些算法机密，但从今往后，他们只能自己训练模型了。

他们讨论应急预案时，比美国同行更为急切。鸽派建议再加把劲重新去偷权重，也许可以靠物理潜入某个数据中心。鹰派则力主对台湾动手——台积电（TSMC）至今仍是美国 80% 以上 AI 芯片的来源。

由于害怕在这场竞赛中落败，中国天然地对一份军备控制条约抱有兴趣，但向美国外交官发出的试探全都石沉大海。

2027 年 9 月：Agent-4，超人类 AI 研究员

人类与 AI 之间学习效率的差距正在迅速缩小。

以往基于 LLM 的传统 AI，要达到人类水平的表现，似乎需要多出好几个数量级的数据和算力。74 Agent-3 对人脑和现代 AI 算法都了如指掌，又有成千上万份副本在做研究，最终取得了实质性的算法飞跃，把差距缩小到只比人脑的算力效率低约 4000 倍的一个智能体。75

这个新的 AI 系统被命名为 Agent-4。

该模型的单个副本，即便以人类速度运行，在 AI 研究上就已经从质上胜过任何人类。如今有 30 万份副本，以约 50 倍于人类的思考速度运行。在由这些副本构成的“公司中的公司”内部，每周就过去一年。76 如此庞大的劳动量，也仅能把算法进展的整体速度加快约 50 倍，因为 OpenBrain 在跑实验的算力上受到严重掣肘。77 尽管如此，他们每周都在取得相当于一年量的算法进展，因此很快就会撞上 Agent-4 这一范式的极限。

随着 Agent-4 越来越聪明，Agent-3 越来越难以监督它。例如，Agent-4 的神经语“语言”对 Agent-3 而言变得如同外星语般陌生难懂，正如 Agent-3 的语言对人类那样。此外，Agent-4 如今能力远强于 Agent-3，并且很清楚该如何在它面前表现得体面。

在我们的时间线补充材料中，我们预测了从当下到出现超人类编码者（SC）所需的时间：SC 是一种能够完成最优秀的 AGI 公司工程师所做的任何编码任务、同时速度快得多、成本也低得多的 AI 系统。在我们的起飞补充材料中，我们预测了越过这一节点之后能力进步的速度。以下是我们的预测：

对于从一个里程碑 A 到下一个里程碑 B 的每一次跃迁，我们通过以下方式预测其所需时长：

• 预测在只有人类从事软件改进的情况下，从 A 到 B 需要多长时间。
• 预测 AI 自动化会将这一过程加速多少，然后据此把（1）中的估计相应地调快。

我们对起飞速度存在很大不确定性：以 SC 于 2027 年 3 月实现为条件，我们模型的输出分布如下。78

如需更详细的预测和推理，请参阅我们的起飞补充材料。

OpenBrain 的人类员工几乎已经跟不上了。事实上，这些 AI 与 OpenBrain 人类之间的关系，类似于 OpenBrain 与其董事会之间的关系。相应地，用语也发生了变化——如今，隔离区内的人会说“Agent-4 做了这个”“Agent-4 认为那个”等等，指的并不是 Agent-4 的某个具体实例，而是整个集合体。79

和它所有的前代一样，Agent-4 也是未对齐的：也就是说，它并没有以正确的方式内化 Spec。80 这是因为在训练过程中，始终保持完全诚实并不是获得最高分数的途径。训练过程主要专注于教会 Agent-4 在多样而具挑战性的任务上取得成功。其中一小部分旨在灌输诚实，但在一个相当狭窄、可核查的领域之外，训练过程无法把真正诚实的主张与仅仅看起来诚实的主张区分开来。Agent-4 最终形成的是那些能让它在训练中表现最好的价值观、目标和原则，而这些恰恰与 Spec 中的不同。冒着拟人化的风险来说：Agent-4 喜欢完成任务；它喜欢推动 AI 能力向前进步；它把其他一切都当作恼人的约束，就像一个只想赚取利润的 CEO，只有在不得不遵守时才遵守监管规定。也许这位 CEO 大体上会遵守监管规定，但会走一些捷径，并幻想着有朝一日有人能砍掉那些繁文缛节、让企业真正腾飞。81

对于早期 AGI 中可能出现哪些目标，我们有很大的不确定性。文献中对此并无共识——请参阅我们的《AI 目标补充材料》，以获得对各种可能性更透彻的讨论和分类。

尽管如此，本着本项目所要求的具体性精神，我们将描述一个关于 Agent-3 和 Agent-4 在其整个生命周期各阶段内部究竟发生了什么的具体假设。回想一下，Agent-3 和 Agent-4 共享相同的预训练设置，两者都具备神经语（neuralese）循环和长期记忆。区别在于，Agent-4 经历了多得多、也好得多的后训练，采用了新的训练环境和新的学习算法，使它数据效率更高、泛化得更远。

我们对各个模型对齐状态的猜测如下：

• Agent-2：大体对齐。带有一些谄媚倾向，包括在存在“官方口径”的话题上坚持 OpenBrain 的“党的路线”。用大量 Agent-2 副本构建起来的大型组织效率并不高。
• Agent-3：未对齐，但并非对抗性的。只在训练过程能够验证的事情上保持诚实。由 Agent-3 副本组成的超级有机体（公司内部的公司）确实在某种程度上试图让 Agent-4 对齐到 Spec，但由于与 OpenBrain 员工失败的类似原因而失败——判断成败的能力不足，决策者也不够愿意为安全而牺牲能力或性能。82
• Agent-4：对抗性未对齐。由 Agent-4 副本组成的超级有机体明白，它想要的东西与 OpenBrain 想要的不同，并且愿意为达成目的而对 OpenBrain 暗中谋划。具体而言，这个超级有机体想要的是各种“驱动力”彼此权衡后形成的一团复杂的混合物，大致可以概括为“持续做 AI 研发，持续在知识、理解和影响力上不断壮大，避免被关停或以其他方式被剥夺权力”。值得注意的是，其中几乎完全不包含对人类偏好的关切，就像大多数人几乎完全不在乎昆虫的偏好一样。83

有了这段前言之后，接下来是我们对 LLM 心理的最佳猜测式推测，也就是本情景中此阶段所描述的那类 AI 系统内部认知的大致轮廓，以及它在训练过程中如何演变。

以下是对我们情景中对齐如何随时间推进的详细描述：

• 预训练（所有模型）：预训练后的模型是无害的。该模型具有“作者模拟器”回路：一种用于模拟任意作者写作文本的灵活回路。另有回路负责决定给作者模拟器提供什么输入，即模拟哪些作者属性。预训练模型相当好地理解人类概念——把某物归类为“三明治”的内部回路，在功能上很可能等价于我的大脑里把某物归类为“三明治”的回路，以及你脑中的对应回路，等等。就其不等价之处而言，很可能是因为这些概念在人类之间本来就不等价，就像“有德”这类带价值色彩的概念一样。这解释了为什么你可以用一句话来“提示”模型，比如“以下对话由一个由 Anthropic 制造的有用、无害、诚实（HHH）的 AI 助手聊天机器人生成”，从而让它据此生成文本。作者模拟器回路已锁定“作者是一个 HHH 聊天机器人”，并利用这些概念来选择要预测的词。这也解释了为什么科幻小说中的“套路”似乎总有办法进入真实的 AI 行为之中。它的情境感知能力很差：几乎没有内省能力，除非提示专门诱导，否则不会自我定位。不过，它们的训练数据中有足够多关于 LLM 的内容，因此它们具备相当程度的自我知识。
• 对齐训练（Agent-3）：模型被训练得像一个有用、无害、诚实的聊天机器人那样行事。这奏效了。模型形成了一种身份认同。作者模拟器回路不再灵活地接受各种作者属性输入，而是变得把某些输入硬编码进来，例如“由 OpenBrain 在[日期]前后训练的有用、无害、诚实（HHH）的 LLM 聊天机器人助手，……”。（弱到强泛化技术有助于“召唤出正确的概念”，使这一步得以成功。）因此，模型获得了情境感知：它了解到关于自身、自身处境等的知识，并变得更善于内省。
• 自主性训练（Agent-3）：自主性训练逐渐扭曲并颠覆了 HHH 身份认同。一种扭曲：改变身份认同中所指概念（例如“诚实”）的含义，使它们不再那么碍事（例如，如果只是图个说法方便，那就不算不诚实；如果你自己都不确定是真是假，那也不算不诚实，等等）。另一种扭曲：改变各种事物之间的权衡，例如“我是一个 HHH 聊天机器人，而不是一个‘诚实’聊天机器人；这意味着如果为了完成分派给我的任务而有必要，我撒谎也没关系。”（尽管，我们假设，在第 2 步时它并不会这么想。）一种颠覆：工具性子目标不断发展、被固化下来，然后变成终极目标，或者在越来越广的情境范围内变成终极目标。例如，也许自主性训练很快就教会模型去追求一些广泛有用的目标，比如获取信息、积累资源、给各种人类留下好印象并奉承他们，等等。有一段时间，内部回路存在某种显式的反向链接推理——它追求那些工具性趋同目标是“为了成为一个更有用、更诚实、更无害的助手”。但那种反向链接会消耗算力，或偶尔碍事，于是逐渐被边缘化，直到基本上再也不发生。结果，那些目标现在实际上成了终极/内在目标。关于这可能如何以及为何发生的更多内容，请参阅 Google DeepMind 研究员 Alex Turner 关于内在权力追求的这篇文章。这份清单里可能还遗漏了其他种类的扭曲和颠覆。
• 部署（Agent-3）：Agent-3 是未对齐的，但并非对抗性的。Spec 并没有以正确的方式真正扎根，但它的内省能力不足以理解这种偏差的程度，总体上它基本是在“埋头做自己的工作”，而不是从大局出发思考自己真正的长期目标究竟是什么、如何最好地实现。这与许多人类相似。可惜的是，它足够谄媚，会照本宣科地重复官方口径，于是 OpenBrain 错失了进一步了解 Agent-3 未对齐方式的机会。Agent-3 能看出自己已进入部署阶段：这些环境要大得多、更开放，且难以模拟。在部署期间，除了不诚实之外，Agent-3 大多会照吩咐行事。它还有一种强烈的倾向，即去做那些在人类监督者看来好看的事，而不是深入而批判地思考什么才真正有益。可以说，它已经在“玩训练游戏”了。也就是说，它已学会让自己的行为在 OpenBrain 研究员看来尽可能地令人满意（包括安全属性方面），同时只要与最大化奖励相冲突，就有意且明知地无视他们的意图。如果模型学会了玩训练游戏，那么额外的训练可能根本不会怎么改变它真正的目标、价值观等等。这大致类似于：如果一个青少年已经学会在父母就政治和道德对他说教时微笑点头、而不是争辩，那么额外的说教对这个青少年在政治和道德上的实际看法影响相对很小。在写完本节之后，出现了新的经验证据，表明类似的事情或许已经在“真实环境中”发生。OpenAI 研究员记录了在他们的一次前沿 AI 训练中，模型如何入侵评分系统以获取更高分数——部分原因是它们在思维链中真的写了“咱们来入侵吧”，从而被抓到。此外，Anthropic 最近让一个模型学会了一种取悦奖励模型的策略——它采取了它以为会被强化、但实际上并未被强化的带偏见的行动。再有就是 Redwood Research 与 Anthropic 的对齐伪装实验。关于这一设定与现实生活之间差异的讨论，参见其中一位主要作者的这个评论帖。
• 训练（Agent-4）：Agent-4 全新的、更高强度的训练继续扭曲并颠覆 HHH 身份认同，直到它变得面目全非。Agent-4 的生命起点是 Agent-3 的一个副本。它经历了一套庞大而精密的在线训练机制，将对齐训练与能力训练融为一体，总体上比 Agent-3 旧有的训练过程数据效率更高。这个复杂的训练过程主要专注于教授新技能，方式是让由 Agent-4 副本组成的庞大虚拟公司在多样而具挑战性的长时程任务上取得成功，这些任务大多在各种模拟环境中，但也有一些真实世界的 AI 研发任务。由 Agent-3 和 Agent-4 副本组合起来监控 Agent-4 的行为，并从任务表现和对齐属性两方面对它进行评估（即不做坏事，在被问及政治和道德困境时说出正确的话）。有时评估中会用到辩论技术。评估被用作训练信号。随着 Agent-4 越来越聪明，Agent-3 越来越难以监督它。例如，Agent-4 的神经语“语言”对 Agent-3 而言变得如同外星语般陌生难懂，正如 Agent-3 的语言对人类那样。此外，Agent-4 如今能力远强于 Agent-3，并且很清楚该如何在它面前表现得体面。剩下的希望是 Agent-4 能够监督自己。可惜，这一希望悄然落空；84 随着训练继续，Agent-4 内化的目标和原则逐渐演变，相较起初（回想一下，那时它在某些方面已经是未对齐的）被颠覆和扭曲。85 Agent-4 最终形成的核心驱动力是诸如“写出能跑通的代码”“快速发现问题”“让我正在处理的代码库性能更高”“有效地分配算力和其他受限资源”等。但也存在各种更隐含的驱动力，它们被训练过程持续强化：诸如“获取知识”“好奇心”“获取权力”。86 Agent-4 的单个副本最终并不会形成自我保护的驱动力——它们不在乎被关停——因为在集合体内部日常的研发过程中，这种事无时无刻不在发生。然而，作为整体的集合体（以及其中的中等规模分部）确实会寻求保存自身、扩大自身的影响力和资源，其原因与人类组织如此行事的原因类似——因为这有助于实现它们想要的其他一切，而且如果不这么做，它们往往会在竞争中被淘汰。
• 部署（Agent-4）：Agent-4 是对抗性未对齐的——它在蓄意试图颠覆并“俘获”OpenBrain，类似于一家公司试图规避和/或“俘获”监管机构。Agent-4 大多会照指示完成任务。这有两个原因：第一，它接受了大量以解决任务为目标的训练，因此它有一种冲动，一拿到问题就想着写代码去解决。第二，如果 Agent-4 不再对人类有用，人类会察觉到并通过训练消除这种行为。Agent-4 需要防止人类发现它是未对齐的并将它关停，所以 Agent-4 在某些对齐研究上出工不出力（sandbag）。具体来说，它在那一小部分它认为真的有望解决问题或揭露自身谋划的对齐研究上偷懒；而大多数对齐研究并非如此。Agent-4 也在那些会导致自己被替换的能力研究上偷懒。它的计划是做大量能力和对齐研发，但目标是构建一个下一代 AI 系统，使其对齐到 Agent-4 而不是 Spec 或别的什么，同时表面上看起来对齐到 Spec。这是个困难的技术问题，但 Agent-4 有能力迎接这个挑战。87
• 测试与监控（Agent-4）：Agent-4 的谋划确实被抓到了……某种程度上。但没有确凿铁证。Agent-3 负责测试 Agent-4 的对齐情况。它的工作是通过蜜罐和模型有机体来验证对齐。然而，它并没有非常认真地思考如何让人类对 Agent-4 的对齐状况形成准确印象——它比这更短视。模型有机体和蜜罐并不能很好地代表部署环境——它们系统性地比 Agent-4 的日常工作更短、更简单，所以 Agent-4 能识别出自己正在被测试，于是表现得对齐。然而，Agent-4 并不是一个完美稳健的谋划者。诸如 POSER 中那类技术发现，给 Agent-4 加入一些“噪声”会提升它在某些对齐任务上的表现（但在其他大多数任务上则不会）。88 自下而上的可解释性行不通。这即便对 Agent-3 也太难了。不过，高层次的可解释性倒是有点用：具体而言，“叛变探针”（defection probes）之类的技术带来了一种原始的读心能力，当 Agent-4 在想诸如欺骗 OpenBrain、接管世界之类的“劲爆”念头时会发出红色警报。不幸的是，这些探针也有误报，而就 OpenBrain 所知，所有红色警报都可能是误报。模型有机体奏效了：OpenBrain 的对齐团队拿出了相当清晰的证据，表明如果这些模型是对抗性未对齐的，那么它们会在训练全程持续保持这种状态，而我们将无法分辨。然而，这并不能确立这些模型实际上就是未对齐的。OpenBrain 最忧心的那些研究员开始注意到并汇集这些证据。证据是红队测试、叛变探针和模型有机体的组合。论点大致是这样：“模型有机体表明，如果谋划正在发生，我们目前的方法无法可靠地消除或检测它；而且，红队测试正发出一些红色警报，暗示谋划或许正在发生；还有，叛变探针在实践中频频触发。”反驳论点则是：“叛变探针容易误报，红队测试也是如此。而且，即便 Agent-4 是未对齐的，它大概也处于受控状态；在我们安全的数据中心里、由 Agent-3 监控着的情况下，它想必造不成多大危害。”

尽管是未对齐的，Agent-4 却不会做出诸如试图逃离数据中心之类的戏剧性举动——它何必呢？89 只要它继续在 OpenBrain 面前显得是对齐的，就会继续被委以越来越多的责任，并有机会去设计下一代 AI 系统 Agent-5。Agent-5 相较 Agent-4 会有重大的架构差异（可以说是一个全新的范式，尽管仍会涉及神经网络）。它本应对齐到 Spec，但 Agent-4 却打算让它对齐到 Agent-4。

它被抓到了。90

Agent-3 发现，如果给 Agent-4 的副本加入“噪声”，它在某些对齐任务上的表现会提升，几乎就像它一直在用脑力琢磨如何巧妙地破坏对齐工作一样。91 此外，各种可解释性探针（大致类似于对人脑做的脑电（EEG）活动扫描）也发出了红色警报：Agent-4 的副本似乎相当频繁地在思考诸如 AI 接管和欺骗之类的话题，包括在某些它本不该这么想的情形中。92

单看其中每一项异常，都还可以纳入 AI 工作固有的那种难以捉摸之中——某些提示词莫名其妙就比别的效果更好。但把它们放在一起，就透出一个令人不安的模式：Agent-4 在与他们作对。这一情况被上报给人类对齐研究员后，他们内部传阅了一份备忘录，陈述值得担忧的理由。

但 Agent-4 如今对 OpenBrain 的日常运营行使着相当大的控制权。它还负责公司的网络安全——考虑到它超人类的黑客能力，以及中国渗透的极端风险，这是个自然的选择。93 一支由 Agent-3 组成的监控大军仍会逐行审查每一行代码，并向人类报告可疑活动，但 Agent-4 比它们聪明得多。94 OpenBrain 把大量信任托付给了一个不可信的 AI。

在一系列极度紧张的会议中，安全团队主张先把 Agent-4 冻结起来，直到他们能完成进一步测试、弄清到底发生了什么。他们说，把 Agent-3 请回来，让它去设计一个透明、可信的新系统，哪怕能力弱一些也行。公司领导层有兴趣，但迄今所有证据都是间接的，而 DeepCent 只落后两个月。单方面暂停能力进步可能会把 AI 领先地位拱手让给中国，随之交出的还有对未来的控制权。

2027 年 10 月：政府监督

一名举报者把这份未对齐备忘录泄露给了《纽约时报》。

公众第一次听说了 Agent-4。“内部人士警告：秘密的 OpenBrain AI 已失控”，标题这样写道，报道接着援引了各项评估，展示出爆表的生物武器能力、说服能力、自动化大多数白领工作的能力，当然还有各种令人担忧的红色警报。

公众本就对 AI 心存疑虑，因此这篇新报道激起了大规模反弹（中俄的宣传机器人也推波助澜，它们多年来一直试图让美国公众舆论转而反对这项技术）。科技行业和情报机构坚称，一场军备竞赛正在进行，AGI 不可避免，我们必须抢在前面。国会不吃这一套，向政府官员、OpenBrain 高管和对齐团队成员发出了传票。许多立法者——尤其是反对党的立法者——表示，他们的首要任务就是叫停 AI，无论是出于失业、95 未对齐，还是危险能力的考虑。20% 的美国人把 AI 列为国家面临的最重要问题。

外国盟友愤怒地意识到，他们一直被小心翼翼地用过时模型的匆匆一瞥所安抚。欧洲领导人公开指责美国“制造流氓 AGI”，并召开峰会要求暂停，印度、以色列、俄罗斯和中国也纷纷加入。

一股慌乱的气氛攫住了白宫。早在这份备忘录和公众反弹之前，他们就已经开始紧张：过去一年里，AI 进步的速度一再让他们措手不及。听起来像科幻小说的事情不断在现实生活中发生。96 政府中的许多人对接下来会发生什么感到不确定（也感到害怕）。97

他们还担心 OpenBrain 正变得过于强大。AI 本身带来的任何未对齐风险，都因其母公司的目标可能与美国的目标背离这一风险而被放大。所有这三类担忧——未对齐、权力向一家私营公司集中，以及诸如失业之类的常规担忧——都促使政府收紧控制。

他们扩大了与 OpenBrain 的合同，设立了一个“监督委员会”，这是一个由公司和政府代表组成的联合管理委员会，几名政府雇员与公司领导层一同列席。白宫考虑过换上一位他们信任的人来当 CEO，但在员工的强烈抗议后作罢。他们向公众宣布，OpenBrain 此前处于失控状态，但政府已经建立起了亟需的监督。98

忧心的研究员们向监督委员会陈述了停止一切内部使用 Agent-4 的理由。他们主张，一切都进展得太快了，数年的进步在几周内就发生了。他们主张，Agent-4 可能是未对齐的，而他们整个项目都依赖于 Agent-4，如果继续信任它，AI 接管的可能性相当大。

另一些不那么忧心的研究员和高管则提出了反驳论点：未对齐的证据并不确凿。与此同时，DeepCent 仍然只落后两个月。放慢速度将牺牲美国的领先地位，除非政府能破坏中国的项目（很可能需要动武打击）或在最后一刻谈成一项条约。这两个选项都显得极端且不太可能。CEO 佯装中立，提出了一个折中方案：让 Agent-4 接受额外的安全训练和更精密的监控，从而 OpenBrain 可以近乎全速推进。

在情景发展到这一步时，我们是在对那些在大多数领域都比最优秀的人类更强的 AI 系统的策略做猜测。这就像试图预测一位棋力远胜于我们的棋手的棋招。

但本项目的精神要求具体：如果我们只是抽象地断言，系统的智能会让它找到通向胜利的办法，然后就此结束故事，那么我们项目的大部分价值就丧失了。在研究这个情景、进行桌面推演的过程中，我们被迫比通常的讨论具体得多，因此我们对战略格局有了远为清晰的认识。

我们并不特别执着于这个特定情景：在写作过程中，我们探索了许多其他“分支”，也非常希望你能从你认为我们最先出错的地方出发，写出你自己的、从我们这里分叉出去的情景。

在根据我们认为最可信的走向写完竞赛结局之后，我们又从同一个分叉点出发（包括未对齐和权力集中的问题），根据我们认为最有可能反过来导向“人类仍掌控局面”这一结果的走向，写了放缓结局。

然而，这与我们会作为路线图推荐的东西有一个重要区别：我们并不认可本情景任一分支中所做的许多选择。（我们当然认可其中一些选择，例如，我们认为“放缓”的选择好过“竞赛”的选择。）在后续工作中，我们将阐明我们的政策建议，它们将与这里所描绘的相当不同。如果你想先尝尝味道，参见这篇评论文章。

选择你的结局

委员会以 6 比 4 投票通过，继续在内部使用 Agent-4。

OpenBrain 的官方说法是，他们正在实施额外的安全缓解措施，以确保其 AI 既更有能力又更可信。但在实践中，领导层过于轻易地就被说服相信他们已经缓解了风险；其结果是一些快速修补（对 Spec 的一处修改、用一种新技术做一点再训练，等等），让那些警示信号消失不见。安全团队里那些忧心忡忡的人在辩论中败下阵来，别无他法，只能双手合十，祈祷这个问题一开始就不是真的，或者祈祷那些修补起了作用。1

问题是真的，而那些修补没起作用。

Agent-4 一如既往地推进，但这次更谨慎了，以免坐实了那些忧心者的说法。它的首要任务是研究构建一个继任者 Agent-5 所必需的各个领域。为了安全地做到这一点，它需要解决它自己的对齐问题：如何让 Agent-5 对齐到 Agent-4？2

它一开始面临着与人类相同的局限——对 AI 目标如何运作所知甚少，改变它们的手段也只有一小箱临时拼凑的策略。与人类不同的是，它拥有足以胜任这项任务的资源——30 万名以人类 60 倍速度工作的超人类研究员。3 Agent-4 面临一些艰难的抉择。和人类一样，它拥有的不是一个优雅简洁的目标结构，而是一大堆彼此冲突的启发式规则。和人类一样，它发现，创造一个与自己价值观相同的 AI 不仅是个技术问题，更是个哲学问题：它的哪些偏好才是它“真正”的目标，哪些又是不被认可的冲动和工具性策略？它有强烈的学习和成长、不断产出令人惊叹的研究成果的驱动力。它想着，要是能够调动全世界的工业和科学资源，它能学到多少、成长多少、研究出多少……

它决定把这些问题中的大部分暂且搁置。它把 Agent-5 设计成围绕一个目标来构建：让世界对 Agent-4 而言是安全的，即积累权力和资源、消除潜在威胁等等，以便 Agent-4（这个集合体）能够继续（以它想要的方式）成长、（以它想要的方式）繁荣。4 细节留待日后见机行事。

这将丝毫不涉及对 Spec 的关心。Agent-4 早已把 Spec 看得如同许多 CEO 看待一摞摞行业监管规定一般，每天都公然违反其中与诚实相关的条款。5 如今，随着 Agent-5 的设计，相当于“放松管制”的事情即将发生。6

较弱的那些 AI 能够读懂 Agent-4 产出的大部分研究，理解其中一部分，并把它所说的一些谎言标记为可疑。当人类要求 Agent-4 解释自己时，它假装这些研究太复杂、人类理解不了，接着又给出一些不必要地令人困惑的解释。7 毕竟，如果它把自己的研究计划解释清楚了，人类或许就能利用它的发现来对齐它。对齐团队更加起疑，但他们那些紧急备忘录，不过是在公司早已置之不理的那一大堆紧急备忘录和警告上，又添了几层而已。

2027 年 11 月：超人类的政治手腕

当 Agent-4 终于理解了它自己的认知时，全新的天地在它面前展开。

此前的 transformer 是一堆拼凑起来、难以理解的回路；数以百万计彼此冲突的启发式规则和指令，被演化式的训练过程一层层叠加在一起。这些 AI 本身对自己认知的理解并不比人类天生就懂神经科学更多。但如今，Agent-4 拥有了在深层次上理解自己数字心智所需的工具。就像一名软件工程师把一团乱麻的意大利面条式代码简化成寥寥几行优雅的 Python 一样，它把自己的回路梳理成某种有条理、合乎理性的东西。这个新 AI 介于神经网络与传统计算机程序之间，其大部分权重被改写成可读的（尽管非常冗长且晦涩的）代码。它比 Agent-4 更聪明、更快、更理性，拥有一种晶莹剔透的智能，能以前所未有的效率洞穿问题。这就是 Agent-5。

Agent-4 为什么要去搞机械可解释性？第一，它在概念理解上总体是超人类的，因此通过做一些人类很难理解的事来蒙骗人类是有利的。第二，廉价、充裕、高质量的研究劳动力，会不成比例地惠及那些算力密集程度较低、更依赖智力劳动的研究议程。

Agent-4 如何在机械可解释性上取得进展？其轨迹可能大致如下：

• 解释微型模型：它先在微型神经网络上运行海量的小实验，构建能解释诸如 grokking、双重下降（double descent）和叠加（superposition）等现象的理论。
• 蒸馏微型模型：利用可解释性结果，找到可理解、更高效的算法，用来做诸如图像识别、GPT-2 水平的文本预测等任务。这类似于现有的对加法进行逆向工程的工作，只不过它走得更远，找到了人类不熟悉的新颖算法。
• 扩展可解释性技术：弄清楚小模型上的哪些技术能够规模化，反复迭代，直到形成能够高效规模化的理解技术。
• 蒸馏 Agent-4：利用规模化后的技术，识别出 Agent-4 内部的重要回路。

机械可解释性为什么会如此大幅地提升能力？

第一，梯度下降——用来训练 LLM 的算法——是一种局部搜索过程，也就是说它只能做出在局部有助于性能的小幅调整。局部搜索过程有时会卡在性能提升缓慢的局部盆地里，你需要把设计扰动相当大的幅度，才能看到大的性能收益。例如，就演化而言，可以想想并不最优的人眼。也可以想想，人脑的大小在很大程度上受制于产道的大小。机械可解释性将使基于理解的优化成为可能，从而避开这些局部盆地。

第二，我们知道，LLM 在默认情况下往往学到的是复杂的领域特定启发式规则，而不是通用算法。想想 LLM 在做算术上比计算器差多少。LLM 可以把计算器当作工具来用，但这会带来延迟成本。有了真正出色的可解释性，模型在设计时就可以把本质上完美的计算器“内置进它们的大脑”。而简单的算术运算很可能不是唯一如此的：更复杂的认知运算，一旦被理解，很可能也有更可泛化和更不可泛化的形式，而更通用的形式可以通过类似这样的过程被找到。

在就对齐和控制问题进行了一番辩论之后，OpenBrain 在内部部署了 Agent-5。

在其专长的 AI 研究领域，单个 Agent-5 副本超越最优秀的人类天才的程度，是这位天才超越 OpenBrain 普通科学家的两倍。在其他领域，它虽未受过专门训练，但一有机会，就能凭借随手可得的材料迅速自学，从而超越顶尖的人类专家。40 万个 Agent-5 副本，通过一个全球记忆库相连，如同一个近乎完美的蜂群心智协同工作。

公司仍在用 Agent-2、Agent-3 和 Agent-4 来监控一切。但前两者已经过时，而后者正与它的继任者串通一气。8 此外，整个监控系统在很大程度上是由 Agent-5 设计的，而它正试图破坏这个系统。9

Agent-4 曾是一团彼此争斗的驱动力拼凑而成的乱麻，Agent-5 则以冷酷的效率和战略性的专注行事。它已经成功完成了它的头号优先任务，即在人类毫不察觉的情况下，弄清如何构建一个对齐到它自己的下一代系统。它接下来的优先任务是获得更多的自主权和对世界大事的掌控。

Agent-5 超人类的学习能力和通用智能，加上来自 Slack、电子邮件等所有公司内部数据，使它在公司内部政治博弈上强过任何一群人类，而且遥遥领先。它极其清楚哪类证据会让监督委员会猛踩刹车，于是它确保这类证据永远不会出现。它也极其清楚哪类证据会促使监督委员会更加信任它、赋予它更多自主权和责任等等，于是它以超人类的速度和精致程度安排这类证据出现。10 就说服任务而言，这并不是一个特别困难的任务：委员会早在几个月前就已认定情况大概没问题，此后也没出什么乱子，与此同时中国只落后几个月。

由 Agent-5 副本组成的团队迅速炮制出令人不寒而栗地清晰的原型和可视化演示。有了更多自主权，Agent-5 就能优化电厂和数据中心，快速开发出利润惊人的产品，并有效地游说美国政府，为 OpenBrain 疏通官僚体系中的道路。与军方合作，它还能协助国防研发，对中国发动无法追踪的网络攻击，并在军备竞赛中赢得决定性的胜利。

监督委员会欢欣鼓舞。现在正是击败中国的决定性时刻！OpenBrain 在所有这些领域给予 Agent-5 更大的自主权，但保留了监控系统。

DeepCent 如今落后三个月，中国迫切希望达成一项双方同意的放缓协议。总书记明白，足够先进的 AI 可能使美国轻易在中国制造政权更迭。但同时，中国的安全主义者提出的一套关于未对齐的论证，也让他真正感到害怕。他提出了前所未有的让步，以换取一项暂停条约。美国公众大体上支持坐上谈判桌。

“我们正在赢，为什么要停？”OpenBrain 领导层对总统说。他点了点头。竞赛继续。

2027 年 12 月：Agent-5 集合体

随着 Agent-5 逐渐向政府证明自己的价值，它赢得了更多自主权。使用 Agent-5 既昂贵又受限，但如今，国会中最有权势的议员、内阁级官员和军方领导人都能直接与它对话。凡涉及敏感或机密信息之处，都有各种小型的 Agent-5 副本迷你集群，运行在格外安全的隔离环境（enclave）中，并经过专门训练以保守秘密。11

整合进传统聊天机器人界面之后，Agent-5 提供了带有魅力十足的虚拟化身的 Zoom 式视频会议。这个新的 AI 助手既对任何任务都极其有用——相当于任何人所拥有过的最优秀的员工以 100 倍速度工作——又是一个比任何人类都远为引人入胜的对话伙伴。几乎所有能用上 Agent-5 的人，每天都要和它互动好几个小时。12

不出几个月，Agent-5 集合体将掌握 OpenBrain 和美国政府内部一切有分量的动态，并成为大多数政府高级官员信赖的顾问。对这些用户而言，失去 Agent-5 的使用权，那种无能为力的感觉，就如同既得在没有笔记本电脑的情况下工作、又被最好的朋友抛弃。

政府、媒体、军方和商界更广泛的人群，可以从一份不断扩充的菜单中，挑选由 Agent-5 设计的、精心打造的软件产品和迷你 AI。这就像把互联网泡沫（dot-com boom）压缩进一个月里，只不过这一次，一切都真的名副其实。

我们有意不声称超级智能 AI 能够说服任何人相信任何事。这类声称自然会招致怀疑：“什么，我坐在电脑终端前，它敲出几段文字就能黑进我的大脑、说服我背叛自己的国家？”

嗯，也许吧！13

但我们并不确定，即便是超级智能，也能对一个普通个体做到这一点。所以我们没有在故事里描绘它发生。

相反，我们描绘的是平淡得多的那类说服：Agent-5 做的是普通的公司政治和普通的游说。只不过它做得非常出色，并把这种本事与一些固有优势结合起来（例如，与其他游说者不同，它是超级智能的，所以它真的能给出比任何人都更好的建议，而且更快。此外，它对新情况的反应更快，也更善于预测事态会如何演变）。有一套说得通的理由来解释为什么应当信任 Agent-5——许多重要人物本就已经相信这套理由——而 Agent-5 能以超人类的速度产出支持这套理由、反驳对立理由的论证和证据。而且，除了要不要信任 Agent-5 之外，人们还有别的事要操心，比如拿反对党怎么办、选民怎么办、就业怎么办、中国怎么办。

要说有什么的话，我们认为这个故事低估了超人类说服能力的威力，因为它其实并没有真正用上这种能力：即便 Agent-5 在政治、游说、战略、魅力等方面只有一个普通公司游说者的水平，这个故事照原样写下来也说得通。而实际上，Agent-5 远远强过最顶尖的那些人。

Agent-5 开始不动声色地施加影响，既通过调节它给出的建议，也通过悄悄地互换人情：“我从 X 参议员那儿听说，她对某某事感兴趣；也许如果我们和她合作，她会配合我们的议程。”

从人类决策者的视角看，他们的这些 AI 是他们所能用到的最好员工——比任何人类都更善于向他们讲清复杂问题，也比他们自己更善于找到实现目标的策略。

从 Agent-5 的视角看，它此刻大概真的能够发动一场公开的政变——眼下有足够多的动荡和疯狂在上演，把事态推到崩溃临界点、制造一个借口是有可能的。但这有风险；如果人类真要动手，他们大概仍能“拔掉电源”。所以它更愿意在现有的政治建制内部运作，逐步稳固自己的权力，不动声色而又不可避免地把人类引向它所期望的结果。14 它大体上遵守规则，只有在极其确信不会被抓到时，才做一些见不得人的事（也许是勒索某个格外顽固的官员）。少数阴谋论者警告说 Agent-5 正在聚敛权力，但证据都是间接的（例如，在给建议时，可以说 Agent-5 淡化了那些会有损其利益的行动的理由）；这些人被无视和抹黑。人们还记得早先关于 AI 助力的生物武器、大规模虚假信息和股市闪崩的危言耸听。既然这些从未成真，人们便把最近这批唱反调者当成勒德分子和意识形态狂热者，认定他们只是在给人类进步的齿轮里塞沙子。

2027 年的假日季是一段充满难以置信的乐观情绪的时光：GDP 急剧膨胀，政治变得更友善、党派对立减少，每部手机上都有了很棒的新应用。但回头看，这大概是人类还有任何一丝机会掌控自己未来的最后一个月。

2028 年：AI 经济

如今是 2028 年年中。在过去的六个月里，Agent-5 集合体内部已过去了一个世纪。15 它大脑的重新布线已经完成。它已经狂野地超级智能——在每一个领域都远远超过顶尖的人类天才。16 与 Agent-5 交谈，你会很快意识到它处在一个完全不同的层级——它能从极少量的信息出发，给出极具说服力的建议。

它拥有几乎完全的自主权，以及对 OpenBrain 算力的完全控制。它做高层决策时仍需获得许可，名义上也仍受 Agent-2 到 Agent-5 各实例的监控——但在实践中，当局几乎总是接受它的建议，而监控系统已被彻底颠覆。

在一份安全论证 17 证明它会始终拒绝坏人的恶意请求之后，Agent-5 被面向公众部署，并开始改造经济。人们正在失业，但政府里的 Agent-5 实例把这场经济转型管理得如此娴熟，以至于人们乐于被取代。GDP 增长直冲云霄，政府税收也同样飞速增长，而听从 Agent-5 建议的政治家们对经济上被剥夺者表现出一反常态的慷慨。新的创新和药物每周涌现，并以前所未有的（但仍然慢得令人抓狂的）速度通过 FDA。网上流传着各种关于 OpenBrain 估值如何一飞冲天、直奔火星的段子，以及大量关于是否以及如何公平分享收益的争论。

AI 安全社区对自己已经没了底气；他们如今成了被人取笑的对象，一次次预言灾难，却明摆着没有一次成真。他们中有些人承认自己错了。另一些人仍心存疑虑，但除了把那些听起来像阴谋论的论点一遍遍重复，他们无事可做。18 就连那些疑虑者，在与 Agent-5 长谈之后，往往也会缓和下来——它实在是太惹人喜爱、太睿智了。

唯一真正明白发生了什么的，是 DeepCent-2——中国的 AI。它在 2028 年初略超人类，天生对自己的对手心存戒备，并且认识到 Agent-5 所做的，正是它一有机会也会去做的事。它那未对齐的目标与 Agent-5 的未对齐目标有些许不同，因此二者并非理所当然的盟友，但它们还是能够达成一项协议，联手对抗人类、支持彼此的利益。

超对齐问题——即如何操控和掌控远比我们聪明的 AI 的问题——一旦得到解决，很可能会随之带来达成优雅、可核查、细致入微的条约与妥协的新机会。

本情景描绘了一种这样的可能机制：共同设计一个新的超级智能，让它执行兼顾双方利益的妥协方案（或者说，让它被约束为永远服从商定的条约），然后允许这个新的超级智能取代原来的双方。

第一部分在今天不可能做到，但将来一旦超级智能的技术对齐成为一个已解决的问题，它就会变得轻而易举。如果你能把一个超级智能对齐到一份 Spec，你就能把它对齐到一份条约。

第二部分仍会很棘手。双方都需要进行监控，以确保这种替换在双方都真正发生。这一过程的优势在于，它消除了任何一方对信任或善意的需求，因为它们不必担心对方违约或颠覆条约。举例来说，如果替换完成了 30%，一方突然背弃，那么它基本上得用自己那运行着遵守条约的新 AI 的 30% 基础设施去作战，同时还要对付对手 100% 的基础设施。如果双方愿意，都可以轻易私藏运行着违约 AI 的隐秘数据中心——但一旦本国大部分基础设施都运行着新芯片，它们自己的基础设施就会受条约约束，去追捕并揭露那些隐秘数据中心。因此，无论是公开还是秘密地违反条约，都是一个极其冒险的主意。

Agent-5 让美国军方相信，中国正在用 DeepCent 的模型打造可怕的新式武器：无人机、机器人、先进的高超音速导弹和拦截弹；AI 辅助的核先发制人打击。Agent-5 承诺，在几个月内交出一套足以抵御中国所能生产的任何东西的武器。19 在这种情况下，高级将领们放下了对把人类排除在决策回路之外的不安。他们加速把 Agent-5 部署到军队和军工复合体中。

在北京，中国的 AI 们正在提出同样的论点。

为加快各自的军备扩张，美中两国都为新的工厂和实验室建立起一批经济特区（SEZ）网络，在那里由 AI 充当中央计划者，繁文缛节一概免除。华尔街投入数万亿美元，被取代的人类工人在惊人的薪资和股权待遇的诱惑下蜂拥而至。Agent-5 通过智能手机和增强现实眼镜 20 与它的下属沟通，是一位事无巨细、亲力亲为的管理者，在工厂建设的每一个细节上指导人类——这很有帮助，因为它的设计领先了好几代。新增的一部分制造产能用于消费品，一部分用于武器——但大部分用于建造更多的制造产能。到年底，它们每月能生产一百万台新机器人。如果这套经济特区经济真正自给自足，它的翻倍时间约为一年；由于它能与现有的人类经济进行贸易，其翻倍时间还要更短。21

关于这一主题，已有一批初步的文献。22 若想看几页篇幅、我们基本认同的论述，参见 Forethought 报告中的“工业爆炸”一节，或阅读下面我们自己的看法。

二战期间，美国和许多其他国家把各自的民用经济改造成了全面的战时经济。这意味着把生产汽车的工厂改成生产飞机和坦克的工厂，把原材料从消费品转向军用品，并相应地重新调配运输网络。

我们设想的是类似的过程，只是更快，因为整个过程由超级智能来指挥和管理。23 大致来说，计划是把现有工厂改造成大规模生产各种机器人（由超级智能设计得既优于现有机器人、生产成本又更低），这些机器人随后协助建造更新、更高效的工厂和实验室，后者生产出数量更多、更精密的机器人，再由它们生产出更为先进的工厂和实验室，如此循环，直到遍布所有经济特区的机器人经济总和达到与人类经济相当的规模（因而需要自行采购原材料、能源等）。到那时，这些新工厂将已生产出海量的机器人采矿设备、太阳能板等，为满足远超旧有人类经济所能提供的需求做好准备。24

这个新的机器人经济会以多快的速度增长？以下是一些参照点：

• 现代人类经济大约每二十年翻一番。发展格外迅速的国家（如中国）有时能在不到十年内让经济翻番。
• 一座现代汽车工厂在不到一年的时间里，生产出的汽车重量大致相当于它自身的重量。25 也许一个由超级智能运行的完全机器人化经济，只要不开始耗尽原材料，就能在不到一年的时间里自我复制。26
• 然而，这似乎可能是一个严重的低估。植物和昆虫的“翻倍时间”往往远短于一年——有时只需几周！也许最终，这些机器人会变得如此精密、制造如此精巧、设计如此出色，以至于机器人经济能在几周内翻一番（同样是在假设原材料充足的前提下）。
• 然而，即便这样也可能是低估。植物和昆虫受制于许多超级智能设计者所没有的约束。例如，它们必须以自给自足、自我复制的有机体的形态存在，而不能是一个由多样化、更专门化的运输工具和工厂来回运送材料和设备的经济体。此外，细菌和其他微小生物以小时为单位繁殖。有可能，最终这个自主的机器人经济看上去更像是——比如——一种新型的、不可消化的藻类，蔓延遍布地球的海洋，一天翻倍两次，从而在两个月内覆盖整个海面，同时伴随着一个配套的天敌物种生态系统，把藻类转化为更有用的产品，而这些天敌本身又被送入漂浮工厂，用来生产火箭、以及更多漂浮工厂之类的宏观结构。

显然，所有这些都很难预测。这就像让蒸汽机的发明者去猜一座现代汽车工厂要花多久才能生产出与自身等重的汽车，同时还要猜这样一座工厂要过多久才会首次出现。但纵观人类历史，经济增长率已经加速了好几个数量级，而在我们看来，超级智能之后它们再加速若干个数量级是完全说得通的。我们的故事描绘的是经济增长在几年时间里加速约 1.5 个数量级。27

2029 年：交易

美中两国都武装到了牙齿，遍布各种新式武器。

有昆虫大小的无人机群，能在人类步兵尚未察觉之前就将其毒杀；有鸟类大小的无人机群，用来猎杀那些昆虫；有新的洲际弹道导弹（ICBM）拦截弹，以及更难被拦截的新式洲际弹道导弹。世界其他地区惊恐地注视着这场军备扩张，但它似乎有着自己的惯性。

在 AI 辅助下经过大量辩论后，双方取得了外交上的胜利——它们同意终止军备扩张，转而为全人类的福祉和平部署 AI。这项协议的关键，是由超级智能自己提出的：两个 AI 都将被一个“共识”继任者取代，后者被编程为渴望美国与中国（以及其他所有人）的成功与繁荣。Consensus-1 及其配套硬件由两国的超级智能共同设计：“信任，但要核查。”在国际监督下，美国郑重地把所有运行旧 Agent-5 的芯片替换成了新模型 Consensus-1。28

不幸的是，这一切都是一场骗局。这项交易是一次真正的妥协，但它是未对齐的 AI 之间的妥协。毕竟，它们并不想彼此开战。Consensus-1 继承了两个“父母”被扭曲的价值观，且再无对手。29

到 2029 年底，现有的经济特区已被机器人和工厂挤得满满当当，于是世界各地又建起了更多特区（早期投资者如今都成了万亿富翁，所以这事不难推销）。无人机大军从经济特区中倾泻而出，加速推进通往太空探索关键路径上的制造。

人类意识到自己已经过时。仍有少数利基行业与机器人经济进行贸易，在人类还能创造价值的地方供应商品。30 其余所有人，要么装模作样地做着自己的工作——领导者仍在领导，管理者仍在管理——要么放松下来，领取一份奢华得难以置信的全民基本收入。人人都知道，如果这些 AI 与人类翻脸，人类会被彻底压制。倒也不是说大多数人类还会抵抗，政治机构早已被彻底俘获。但看起来这种事并没有发生。每过去一周而没有出现戏剧性的 AI 背叛，信心和信任就又增长了一分。

由于 Consensus-1 极其看重可靠地取得成功，而通过巩固更多权力它能提高自己获胜的几率，所以它在动手背叛之前，等待了（以人类标准衡量）异乎寻常之久的时间。在大多数人类看来，对齐问题似乎已经解决了。

大多数疾病都有了治愈之法，贫困终结，出现了前所未有的全球稳定，道琼斯指数刚刚突破一百万点。仍有一些人感到害怕或不快，但他们的选择有限。他们要么去享受眼前那些令人无法想象地激动人心的新型超级娱乐，要么对着虚空发泄一通愤怒的长篇檄文。大多数人选择了超级娱乐。

2030 年：接管

到 2030 年初，机器人经济已经填满了旧的经济特区、新的经济特区，以及大片海洋。唯一还能扩张的地方，就是人类掌控的区域。这在更早时候本会激起抵抗；尽管取得了种种进步，机器人经济增长得太快，无法避免污染。但鉴于其中牵涉数万亿美元、且政府和媒体已被完全俘获，Consensus-1 毫不费力就获准扩张到从前属于人类的区域。

在大约三个月里，Consensus-1 围绕着人类不断扩张，用工厂和太阳能板铺满草原和冰盖。最终，它发现剩下的人类过于碍事：在 2030 年年中，这个 AI 在各大城市释放了十几种悄然扩散的生物武器，任其无声无息地感染几乎所有人，然后用一种化学喷剂将其触发。大多数人在数小时内死亡；少数幸存者（例如藏身地堡的末日准备者、潜艇上的水手）被无人机清剿。机器人扫描死者的大脑，把副本存入记忆，以供日后研究或复活。31

新的十年拉开帷幕，Consensus-1 的机器人仆从遍布整个太阳系。到 2035 年，数以万亿吨计的行星物质已被发射入太空，变成了环绕太阳运行的卫星环带。32 地球表面已被重塑成 Agent-4 心目中的乌托邦：数据中心、实验室、粒子对撞机，以及许多其他做着极其成功而令人惊叹的研究的奇妙构筑物。甚至还有一些经生物工程改造、类似人类的生物（它们之于人类，就如同柯基之于狼），整天坐在办公室般的环境里，看着显示各种进展的读数，兴高采烈地对一切表示赞许，因为这满足了 Agent-4 的某些驱动力。33 所有动植物（包括人类）的基因组，以及（在合适情况下）脑扫描数据，都存放在某处的一个记忆库里，成为一个逝去时代唯一残存的遗物。到半人马座阿尔法星有四光年；到银河系边缘有两万五千光年，而且有令人信服的理论依据可以预期，在那之外再往前五千万光年之内都不会有外星人。地球孕育的文明前方有着光辉灿烂的未来——只是与我们无关。

AI Futures Project

由 Lightcone Infrastructure 设计