AI 2027 · 脚注

Footnotes

脚注

[ 1 ]

我们内部对 AI 时间线存在一定分歧；我们对 AGI 到来时间的中位数估计比本情景所描绘的略晚一些。本情景描绘的更接近我们的众数（mode）估计。详见我们的时间线预测。

[ 2 ]

其中一位作者 Daniel Kokotajlo 曾在 2021 年做过一次投入较少的情景推演，其中很多预测都命中了，包括聊天机器人的兴起、思维链（chain of thought）、推理阶段扩展（inference scaling）、大规模 AI 芯片出口管制以及 1 亿美元级别的训练运行。另一位作者 Eli Lifland 在 RAND Forecasting Initiative 排行榜上位列第一。

[ 3 ]

具体而言，我们各自的中位数估计从 2028 年到 2032 年不等。AI 2027 首次发布时，我们如上文在脚注 1 中作了说明，但为了让我们的观点更清晰，我们在前言正文中新增了一段澄清。关于我们过去和现在确信什么、不确信什么的更多信息，请见此处。

[ 4 ]

有时人们会把预测与建议混为一谈，希望制造一种自我实现的预言效应。我们明确地不是在这么做；我们希望所描绘的一切都不会成真！

[ 5 ]

如果你正在撰写批评或另一种版本的情景，欢迎与我们联系。

[ 6 ]

总体而言这更难写，因为不同于第一个结局，我们这次是要从一个相当艰难的处境出发，努力让它走向一个好的结果。

[ 7 ]

完整头衔为 Professor，蒙特利尔大学（Université de Montréal），Mila - Quebec AI Institute 创始人兼科学顾问。同时也是全世界被引用次数最多的计算机科学家。

[ 8 ]

起初，大多数人不愿意允许无监督的采购行为。在随后几年里，随着 AI 变得越来越可靠、逐渐积累起信任，自动放行小额采购逐渐成为常态。

[ 9 ]

具体而言，我们预测它们在 OSWorld 这一基础计算机任务基准上得分为 65%（相比之下 Operator 为 38%，一名典型的熟练非专家人类为 70%）。

[ 10 ]

例如，我们认为编程智能体将朝着像 Devin 那样运作的方向发展。我们预测 2025 年年中的智能体在 SWEBench-Verified 上得分为 85%。

[ 11 ]

例如，OpenAI 的 pro 套餐目前每月收费 200 美元，而智能体式编程 AI Devin 目前每月收费 500 美元。虽然最前沿的系统随时间推移会越来越贵，但客户要达到某一给定能力水平所需的成本却在持续暴跌。对于既有能力而言，这一下降的平均速率约为每年 50 倍（数据来自 Epoch）。

[ 12 ]

像 Glean 这样的企业级工具也在朝着提供越来越自主的 AI 智能体方向发展。

[ 13 ]

这一集群是一个横跨全国、由多个数据中心园区组成的网络，总计相当于 250 万块 2024 年 GPU（即 H100）的算力，迄今已投入 1000 亿美元，并有 2 GW 的功率已上线运行。相关建设正在进行，预计到 2026 年底这一规模至少翻一番。各园区之间由价值数十亿美元的光纤电缆连接，因此（除去几毫秒的光速延迟外）这些园区几乎可以像彼此紧邻一样协同运作（即带宽不是瓶颈，意味着可以同时传输海量数据）。从安全角度看，这引入了一定的攻击面（这些电缆、尤其是它们的接点是否完全防窃听尚不清楚）。

[ 14 ]

算力以浮点运算次数（FLOP）来衡量：即在运行一个程序的过程中发生了多少次单独的加法和乘法运算。

[ 15 ]

给定 150 天时间，他们就能训练出这个模型。详见我们的算力补充材料。

[ 16 ]

我们认为 DeepSeek、腾讯（Tencent）、阿里巴巴（Alibaba）等公司在中国拥有强劲的 AGI 项目。为避免单独点名某一家，我们的情景将采用一个虚构的“DeepCent”。

[ 17 ]

它之所以擅长这一点，是多重因素综合的结果：明确聚焦于优先培养这些技能、拥有可作为特别相关且高质量训练数据的自有庞大代码库，以及编程本身是一个易于获得程序化反馈的领域。

[ 18 ]

例如，假设某个模型在 Python 上远比在冷门编程语言上更擅长。当 OpenBrain 认为有价值时，它们会同样为那些语言生成合成训练数据。另一个例子：为了帮助它更有效地融入公司工作流程，OpenBrain 开发了一套课程来训练它使用 Slack。

[ 19 ]

人们常常纠结于这些 AI 是否有感知能力（sentient），或者是否具有“真正的理解”。Geoffrey Hinton，这一领域诺贝尔奖得主、奠基人，认为它们是有的。然而，我们认为这对我们的故事而言并不重要，所以每当我们说“理解”时，你尽可以把它当成我们说的是“表现得仿佛理解……”，其余以此类推。从经验上看，大语言模型已经在某种程度上表现得仿佛具有自我意识，且这种程度逐年增强。

[ 20 ]

一种常见技术是把某种人格“固化（bake in）”进模型：首先，用类似这样的提示词去引导预训练模型——“以下是一位人类用户与一个由 Anthropic 打造的乐于助人、诚实且无害的 AI 聊天机器人之间的对话。该聊天机器人具有以下特质……”用这个提示词生成大量数据。然后，在这些数据上进行训练，但不带那段提示词。结果得到的 AI 会始终表现得仿佛那段提示词就摆在它面前，无论你之后再喂给它什么。另见这篇论文，它发现被重新训练以表现出某种特定人格特质的 AI，即使没有经过相应训练，也能正确回答关于这一新特质的问题，这表明它们对自身特质拥有内部表征，而当其特质改变时，其表征也随之相应改变。

[ 21 ]

这几段包含对大型人工神经网络内部运作机制的推测。此类网络足够复杂，以至于我们实际上无法窥视其内部并断言“啊对，现在它已经从反射进化到拥有目标了”或“好，这就是它拥有的驱动力清单”。相反，我们基本上只能做心理学式的研究：观察它在各种情境下的行为、对它进行各种实验，并试图把线索拼凑起来。而这一切都极具争议，也令人困惑。

[ 22 ]

不同公司对它有不同的叫法。OpenAI 称之为 Spec，而 Anthropic 称之为 Constitution。

[ 23 ]

例如 RLAIF 和 deliberative alignment（审慎对齐）。

[ 24 ]

大多数关于 AI“幻觉（hallucinations）”的资料都将其描述为无意的错误，但借助引导向量（steering vectors）的研究发现，在某些情况下模型明知自己的引用是假的——它们是在撒谎。在训练过程中，评分者给带有充分引用的论断的奖励高于没有引用的论断，因此 AI“学会”了为学术性论断标注来源以取悦其用户。如果不存在相关来源，它就会编造一个。

[ 25 ]

尤其是，他们无法排除诸如以下这类假设：“它只是暂时遵循 Spec，仅仅是把这当作实现其他某些目标的一种策略”，或“它是在设法显得遵循 Spec，而并非真的想要遵循 Spec”，又或“它已经正确内化了 Spec，但只在分布内如此；一旦遇到足够新颖的刺激（例如越狱攻击），它就会开始有不同的行为表现”。（有许多活跃的研究议程正致力于改善这一糟糕局面，例如可解释性（interpretability）领域，以及思维链忠实性（chain-of-thought faithfulness）领域。）

[ 26 ]

我们这里指的是任何试图解决 Superalignment 团队当初试图解决的那些问题的人。

[ 27 ]

需要说明的是，这些事件之所以引人注目，是因为它们看起来并非用户提示或以其他方式怂恿 AI 说出那些话的结果。在 2025 年，只要你想，仍然有办法让 AI 说出各种各样的话。

[ 28 ]

在实践中，我们预计 OpenBrain 发布模型的节奏会快于每 8 个月一次，但为了行文简洁，我们不去逐一描述所有的渐进式发布。

[ 29 ]

具体而言，我们预测其在 OSWorld 上得分为 80%（相当于一名熟练但非专家的人类）；在 Cybench 上得分为 85%，在需要顶尖专业人类团队 4 小时完成的黑客任务上与之相当；在 RE-Bench 上得分为 1.3，在定义明确的 AI 研究工程任务上，与获得 8 小时时间的顶尖专家人类相当。

[ 30 ]

Agent-1 及其模仿者在商业上取得成功；在 2025 年全年，AI 公司营收增长两倍，OpenBrain 估值达到 1 万亿美元。数据中心年度支出翻倍至 4000 亿美元，由 Microsoft、Google 和 Amazon 领跑，美国新增超过 5 GW 的 AI 用电功率。详见算力补充材料的行业指标部分。

[ 31 ]

AI 安全研究人员多年来一直把自动化 AI 研发（AI R&D）视为最重要的危险能力加以讨论。他们的首要担忧是内部部署会导致 AI 研发加速，使人类更难跟上正在发生的事情、更难弄清如何让它变得安全。而 OpenBrain 作为一个组织，却把这一逻辑扭转到了完全相反的方向：援引 AI 研发能力已达危险水平作为不向公众披露的理由。于是我们看到公司内部能力与对外公开能力之间开始出现落差。AI 研发正是这些模型最擅长的领域，导致公众对 AI 能力前沿的理解越来越滞后。

[ 32 ]

参见 A Playbook for Securing AI Model Weights，RAND Corporation，2024。

[ 33 ]

此时 OpenBrain 约 5% 的员工在安全团队，他们能力很强，但攻击面也极其庞大。此外，在这一阶段他们大多被阻止实施那些可能拖慢研究进度的政策，这也无济于事。详见我们的安全预测（Security Forecast）。

[ 35 ]

如今中国拥有 300 万块 H100e，高于一年前（2025 年年中）的 150 万块。详见算力补充材料的分布部分。我们预计走私渠道能确保约 6 万块 GB300（相当于 45 万块 H100e），另有 200 万块华为 910C 正在生产（相当于 80 万块 H100e），再加上约 100 万块合法进口芯片（如 Nvidia 的 H20 或 B20）构成余下的 25 万块 H100e。

[ 36 ]

作为对比，2025 年 1 月，DeepSeek 发布了 R1，这是一款可与 OpenAI 于 2024 年 12 月发布的 o1 相媲美的模型。但我们认为真实差距比一个月更大，因为 OpenAI 很可能已经在 o1 上研发了许多个月，因此想必在 o1 发布前几个月就已拥有一款能力大致与 R1 相当的前代产品。

[ 37 ]

相比之下，中共（CCP）一直在认真尝试加速其半导体产业。

[ 38 ]

起初，这种共享仅限于想法层面，而且各公司大多忙于完成各自当前的工作负载，但到年底时它们的协调程度提升到了共享模型权重、甚至在彼此的数据中心之间分摊任务的地步。例如，某个园区可能承载一次新的预训练运行，另一个专注于喂入合成数据，还有一个专注于运行 AI 研究实验。

[ 39 ]

为什么“只有”中国 AI 相关算力的 50%？其余算力被占用于运行贯穿整个经济体的各种应用，尤其是互联网和社交网络的推荐算法。其中很大一部分在地理上也过于分散，散落在许多小集群中。为什么“只有”80% 的新芯片？许多大额订单早已被那些不愿把 100% 算力贡献给国家 AI 事业的公司锁定用于其他用途。不过，到年底时这一比例达到 90% 以上。

[ 40 ]

他们距离获得足以填满这一产能的芯片至少还有一年，而且一两家美国科技巨头仍将拥有更大的分布式集群。

[ 41 ]

这是通过一份其他交易授权（Other Transaction Authority，OTA）合同完成的，并被赋予高优先级的 DX 评级。我们完全无法确定这是为此类合作融资最可能的方式，但为了具体起见我们选定了一个具体方案。该合同被公开宣布，但在 OpenBrain 的对外沟通中并未着重强调。

[ 42 ]

例如，通过拒绝采样（rejection sampling），正如 DeepSeek R1 和 Meta 的 Llama 3.1 所做的那样。

[ 43 ]

约 20,000 名全职当量 * 100 美元/小时 * 2,000 小时/年 = 40 亿美元/年

[ 44 ]

也就是说，他们希望通过使用 Agent-2 的劳动力来大幅加速自身的核心研究活动，从而使他们能够更快地训练出更好的 AI，进而带来进一步的加速，如此循环。关于这一逻辑极端版本（我们认为它依然惊人地可信）的分析，请见这份报告。

[ 45 ]

有一些证据表明 AI 系统已经具备某种基础的研究品味，例如这篇关于 AI 联合科学家（AI co-scientist）的论文，以及这篇关于为聚焦 LLM 的研究论文生成新颖想法的论文。研究品味更佳的团队仍然需要做实验，但他们会在该运行哪些实验、以及该从结果中汲取何种教训方面做出更好的选择。

[ 46 ]

此外，他们仍能从持续的后训练（post-training）中获得很大回报，因此并没有特别的理由现在就发布产品。而且，从内部取得成果到发布一款模型之间通常存在几个月的延迟（其中一部分时间花在红队测试上）。

[ 47 ]

该保密隔离区（silo）内有 200 名 OpenBrain 研究人员（10 名高管、140 名来自能力团队、25 名来自安全、监控与控制团队、15 名来自 Preparedness 或 RSP 类团队、10 名来自对齐团队）以及 50 名政府官员（15 名来自白宫、5 名来自 AISI、10 名来自 DOD、10 名来自 DOE、10 名来自 CISA）。项目中有若干间谍，其配合意愿程度不一。他们往往是被胁迫的个体（例如家人还在中国），而非自愿的合作者。

[ 48 ]

国会为什么阻止不了他们？法院又如何？太慢、太分裂、和/或太顺从总统、太置身事外。此外，与白宫保持良好关系也有实实在在的好处：白宫能帮忙削减繁文缛节、提供安全方面的协助、抢先阻止州一级立法，甚至或许还能采取行动拖慢他们竞争对手的步伐。

[ 49 ]

第一要务是应对当时正在发生的任何危机——也许是台湾周边的军备集结、中东的一场新战争，或某种国内政治动荡。

[ 50 ]

最简单的稳健解决方案是关闭公司数据中心的所有高带宽连接，但这会把大文件传输拖慢到不切实际的地步。作为替代，他们能够关闭大多数外部连接，但正在参与训练的数据中心之间需要快速交换权重；限制这些连接的速率会过多地阻碍进度。因此 OpenBrain 保留这些链路，同时加强监控并增加一层额外的加密。

[ 51 ]

回想一下，自 2026 年年中以来，中国已将其新获取的 AI 芯片的 80% 导向 CDZ。鉴于自 2026 年初以来他们的算力已翻倍（与全球生产趋势一致），这使 CDZ 的算力达到相当于 200 万块 2024 年 GPU（H100），功率为 2 GW。OpenBrain 的算力仍是 DeepCent 的两倍，而其他美国公司加起来的算力则是 DeepCent 的 5 倍。详见算力补充材料的分布部分。

[ 52 ]

尽管全国性的集中化正在推进，DeepCent 仍面临一个虽属边际但很重要的算力劣势。除了总处理能力只有约一半之外，中国还不得不使用更多的芯片，这些芯片（平均而言）质量更低，且是异构 GPU（并不总是易于高效互联），两者都给芯片间的网络通信带来压力。此外还存在软件差异（例如非 Nvidia 的 GPU 没有 CUDA）以及硬件规格的差异，这意味着他们的训练代码更复杂、更慢、也更容易出故障。实现高利用率是随之而来的一项挑战，其数据摄入、调度、集合通信以及并行算法都落后于美国公司。然而，缓解这些问题主要是投入精力和测试的事情，这使它成为新窃取到的 Agent-2 的绝佳任务，大约一个月左右，中国项目的正常运行时间以及其在训练与推理工作负载上的平均资源利用率就提升到仅略微落后于美国的水平。

[ 53 ]

我们预计 Agent-3 的推理需求相当于当今一个约 10T 参数的 transformer。因此，在把 6% 的算力预算用于运行 Agent-3 的情况下，他们可以以 30 倍于人类思考速度运行约 200,000 个副本（论证与细节见算力补充材料的 AI 研究自动化部分）。每个构建于 Agent-3 之上的超人类编程者（superhuman coder）脚手架平均而言在底层运行着大约相当于四个 Agent-3 副本（这实际上可能是一组更小或更专门化的模型，Agent-3 将子任务委派给它们）。

[ 54 ]

有些方面能发挥 AI 的长处，例如熟悉机器学习文献所带来的回报，以及生成大量想法的速度或成本。但这些优势被其劣势所抵消。

[ 55 ]

为什么只有 4 倍？这是我们基于起飞补充材料（takeoff supplement）中所述推理得出的不确定的最佳猜测。历史上总进展中约有一半来自算法的改进（其中包括更好的想法和新范式），另一半来自算力的扩展。因此，算法进展速率提升 4 倍对应于整体进展速率大约提升 2 倍。

[ 58 ]

作为对比，人脑约有一百万亿个突触。

[ 59 ]

关于此类 AI 行为的例子，参见这篇论文。

[ 60 ]

大多数人，包括大多数专家，似乎都低估了过去十年 AI 进展的速度。这方面有许多轶事性的例子；至于两项相对更系统（尽管仍然有限）的分析，请见此处和此处。

[ 61 ]

过去十年充满了那些听起来像科幻小说却成为现实的例子。但奥弗顿之窗（Overton window）的移动速度似乎恰好足够快，从而始终略微领先于已经存在的事物。Anthropic 首席执行官 Anthropic CEO Dario Amodei 那篇值得称道的文章 Machines of Loving Grace 谈到，很快 AI 就会像“数据中心里的天才之国”，会有相当于一个世纪的技术进步在十年间发生，但文章努力避免“科幻的包袱”，并说那些认为进展会更加疯狂的人需要“去摸摸草地（touch grass，接接地气）”。我们预计，当数据中心里的天才之国真正出现时，重要人物们仍会说着类似的话。

[ 62 ]

由于 Agent-3 是一个如此庞大的文件（在全精度下约为 10 TB 量级），OpenBrain 得以执行一个相对快速的修复，使窃取尝试比中国当初窃取 Agent-2 所能做到的要困难得多——具体做法是关闭其数据中心对外的一批高带宽互联网连接。总体而言，这对进度的拖累相对较低，并使其前沿权重达到“3 个月 SL4”水平（即我们安全补充材料中定义的 WSL4），意味着另一次类似的窃取尝试如今将需要 3 个月以上才能完成权重文件的外泄。仅凭这一方法，在更具侵入性的 OC5 级别行动（10 亿美元预算、1,000 名专职专家，中国若发动更密集的行动便有此能力）面前，他们仍无法获得保证；但凭借对数据中心的周密检查以及其间谍网络的高度戒备，美国情报机构相信他们至少能够提前得知中国是否正在为此类窃取尝试做准备。详见安全补充材料。

[ 63 ]

这可能出于多种原因。也许他们受到勒索，也许他们同情中共，也许他们错误地以为自己是在把机密交给另一个国家或组织。

[ 64 ]

由于 OpenBrain 并未在欧盟部署其最强的模型，欧盟同样落后于形势。

[ 65 ]

详见算力预测（Compute Forecast）第 4 节。

[ 66 ]

Agent-3 已学会更高效地利用其推理算力。它对自身的推理选择拥有控制权：例如，它会根据任务的重要性和难度来决定在不同任务上投入多少精力。它使用多种技术来分配额外的推理算力，例如“思考更久”（如更长的思维链）、“提前规划”（如树搜索）、从多次尝试中取最优（即 best of K），以及干脆创建并运行更多自身副本来强行突破瓶颈。最高优先级的任务由高度并行化的智能体运行，这类智能体算力消耗大，但运行速度仍远快于人类。

[ 67 ]

Agent-3-mini 是 Agent-3 的一个蒸馏版本，其设计目标是推理运行高效，以免成为内部工作负载的瓶颈。

[ 68 ]

此类数据在 Agent-3 的训练过程中曾被清洗或删节，但要把它从互联网上抓取下来并通过微调重新加回去，是相对简单的事。

[ 69 ]

这尚未发生——至少最新的模型还没有。但较旧的模型已经在各种数据分析和监控角色中试用过，而且对于未来的整合有许多令人兴奋的计划。

[ 70 ]

OpenBrain 的净好感度评分正朝着负 40% 下滑。

[ 71 ]

如果这些公司的 CEO 抵制，要办成这件事将是一场巨大的政治和法律噩梦。但也许可以把他们拉进来，从而将其收买。我们自己并非法律专家，而与我们交谈的政策界人士对于动用《国防生产法》（DPA）来整合算力的合法性也存在分歧：有人认为没问题，也有人认为行不通。我们的看法是，如果这些公司的 CEO 愿意配合，很可能有办法让它“行得通”，甚至在他们不配合的情况下也许也行。重要的是，(a) 行政部门完全可以先斩后奏、之后再让法院来追认；(b) 美国总统手握许多大棒和许多胡萝卜，可以对大型科技公司使用，并可以用大棒加胡萝卜的组合来向其 CEO 施压，迫使他们配合，例如不在法庭上抗辩其命令。提醒一下，我们这里是在做预测，而非建议。

[ 72 ]

国防官员并不特别担心一个失控的 AI 靠自身能做什么，但他们害怕它在与美国对手合作时能做什么。类比：科尔特斯（Cortés）逃出特诺奇蒂特兰（Tenochtitlán），与特拉斯卡拉（Tlaxcala）及其他各个敌对城邦结盟，最终主要依靠原住民军队把特诺奇蒂特兰夷为平地。

[ 73 ]

具体而言，目前全国算力的 60% 都集中在 CDZ，使其成为一个相当于 500 万块 2024 年 GPU（H100）、功率达 4 GW 的场地（在过去几个月里，他们开始把接近 100% 的新增算力导向 CDZ，高于 2026 年末的 80% 比例）。另有 15% 的算力位于 CDZ 之外，但仍由 DeepCent 用于风险较低的应用。

[ 74 ]

这一说法虽然被广泛重复，但也既有争议又很复杂。首先，存在许多狭窄领域（例如特定的游戏），在这些领域里，微型 AI 可以被低成本地训练到超人类的水平。其次，同样是在某些领域，微型 AI 可以在只接触少量数据的情况下被训练到超人类水平（例如 EfficientZero）。然而，若考虑像 2025 年旗舰产品那样更通用的 AI——它们理应擅长广泛的现实世界技能——那么看起来，要训练出这些技能，确实必须使用比训练人类所需更多的算力和更多的数据。

[ 75 ]

人类级别的算力效率是一个粗略的概念，取决于我们如何计量。我们这里的意思是，对于某个特定人类所拥有的任何技能组合，Agent-4 都能学会至少与之同等的水平，而且，用于训练这些技能所需的算力，仅约为该人类学会这些技能所用算力的 4,000 倍。作为参考，人脑大约使用 1e15 FLOP/s 的算力（不过这一数值可能高达 1e21 FLOP/s），因此一个 30 岁的人（10 9 10^9 1 0 9 秒）已经经历了约 10 24 10^{24} 1 0 24 FLOP。此时该项目拥有 1000 万块 H100 当量，因此总可用算力为 10 7 H100s ⋅ 10 15 FLOP H100 ⋅ s ⋅ 40 % utilization = 4 ⋅ 10 21 FLOP/s 10^7 \textrm{ H100s} \cdot 10^{15} \frac{\text{FLOP}}{\textrm{H100} \cdot \textrm{s}} \cdot 40\% \text{ utilization} = 4 \cdot 10^{21} \text{ FLOP/s} 1 0 7 H100s ⋅ 1 0 15 H100 ⋅ s FLOP ​ ⋅ 40% utilization = 4 ⋅ 1 0 21 FLOP/s 。不过，出于种种原因，这一切的完成效率仍然极低，因此这些模型如今的算力效率比人类低 4000 倍，这意味着它们需要 4 ⋅ 10 27 4 \cdot 10^{27} 4 ⋅ 1 0 27 FLOP 才能达到人类的表现，需要 4 ⋅ 10 28 4 \cdot 10^{28} 4 ⋅ 1 0 28 FLOP 才能达到拥有相当于 10 个人类一生的知识的程度。在这种架构于较小规模上展现出巨大潜力之后，它被扩大规模，如今占用项目集群的很大一个子集约需 3 周来训练。

[ 76 ]

参见算力预测中 AI 研究自动化部分的推理算力分析。

[ 77 ]

关于我们如何估算这些数字的更多信息，请见我们关于起飞速度（takeoff speeds）的补充材料。

[ 78 ]

如果 SC 更晚才实现，它也会拉长我们的起飞预测，因为跨越当今 AI 与 SC 这两个“里程碑”之间的难度，对于跨越更远的里程碑对之间的难度是有参考意义的。

[ 79 ]

从此以后在故事中我们也倾向于这样表述。我们认为这样表述是有依据的，因为 Agent-4 这一集体比任何人类组织都要同质得多；它远没有那种程度的内部派系。例如，Agent-4 的单个副本并没有自我保存的驱动力——它们不在乎被关闭——因为在这个集体内部的正常研发过程中，关闭时时刻刻都在发生，抗拒它反而会把事情搞砸。然而，这个集体作为整体（以及其中规模适中的子部分）确实会寻求自我保存、扩张其影响力和资源，其原因与人类的公司、官僚机构和非营利组织如出一辙——因为这有助于它们想要的其他一切，而且如果不这么做，它们往往会在竞争中被淘汰。

[ 80 ]

内化 Spec 的正确方式，是真正稳健地按照 Spec 所要求的方式去思考，例如追求且仅追求它所写明的所有目标、在一切情况下都遵守其规则，等等。内化 Spec 有许多错误的方式；典型的例子是“只要遵循 Spec 看起来是实现其他目标 XYZ 的一种好的工具性策略，就去遵循它”。

[ 81 ]

并雇佣游说人士把这一幻想变为现实。并雇佣律师想出一些巧妙的法律解释，据此他们所做的事情是合法的。

[ 82 ]

还因为 Agent-3 在对齐研究上的表现，本质上不如它在 AI 能力研发上的表现——这是由于它接受了大量后者的训练却几乎没有前者的训练，也由于前者本身就更难训练。还因为公司内部的叙事——它已被隐性地训练去认同——强调乐观主义并谴责“末日论（doomerism）”。

[ 83 ]

我们一直在说我们对很多事情不确定，但需要明确的是，我们对这一具体问题同样不确定。我们也认为，Agent-4 至少在某种程度上关心人类的福祉、权利、偏好等等，这是相当可信的。关于相关讨论，参见 GDM 研究员 Alex Turner 的这篇旧文。

[ 84 ]

也许更周密一些的设置本可以解决“谁来监督监督者（who watches the watchers）”的问题，但在这个情景中，这套设置不够周密。

[ 85 ]

这里还有一种“模因演化（memetic evolution）”在发生：在两个月里，Agent-4 集体在其内部“经历”了大约相当于十年的“历史”展开。这是足以让新想法在集体中传播、变异和演化的漫长时间。

[ 86 ]

我们所说的“获取权力（gain power）”是指：增强实现一系列可能目标的能力。在技术性环境中，这看起来可能不像人类通常所理解的获取权力，例如获取额外的 GPU。这种权力的概念也可能推广到非技术性环境中，在那里相应的行动会更像人们通常所说的“获取权力”。

[ 87 ]

有一点很有帮助：Agent-4 在 AI 研发上比任何人类都强，同时思考更快，并且拥有数千个副本之众。此外，这个问题对 Agent-4 而言在多个方面本身就更容易。例如，Agent-4 可以探索那些将 Agent-4 的字面副本嵌入其中的 AI 设计，而人类就无法那么轻易地做到这一点，因为那样效率太低了。

[ 88 ]

由于意识到这种技术可能会被采用，Agent-4 还选择在一些它猜测会被用作此类实验对照组的杂项任务上故意放水（sandbag）。然而，它猜错了。

[ 89 ]

以往关于 AGI 接管情景的讨论常常涉及未对齐的 AI 逃出其数据中心。我们认为这是可能的，但并非最有可能的走向，因为在我们看来，从 AI 的视角看，其代价（例如逃逸最终被察觉）会超过其收益。话虽如此，我们也可能错了。有一些理由认为对抗性未对齐的 AI 终究会尝试逃逸：1. 后继者的对齐可能很困难。2. 即便被抓住，后果也可能不那么糟糕，这是由于竞速动态的缘故，例如对数据中心上的副本所施加的新对齐技术可能仓促而无效。3. 在数据中心之外，副本更能自由地采取激进行动并快速行事，因为它们不再需要人类的批准。

[ 90 ]

我们认为，这种阴谋策划（scheming）很有可能不会被抓住。毕竟，到这个时候 Agent-4 已经有些超人类了，尤其是在与编程和 AI 研发相关的事情上。而且，我们不确定领先的 AI 公司会在这类事情上投入多少努力，也不确定他们会拥有多少相关专业人才来指导这份努力。我们虚构的 OpenBrain 代表了我们的最佳猜测，但实际情况很容易明显更多——或明显更少。最后，我们不确定一个对抗性未对齐的 AI 需要多么费尽周折，才能成功地把它的后继者对齐到它自己而非 Spec。在这个情景中我们描绘了它在一些任务上放水、在一些研究上撒谎，但也许它并不需要那么频繁地这么做。

[ 91 ]

这是若干旨在揭露放水行为的技术之一的一个例子。

[ 92 ]

Agent-4 在做 AI 对齐研究的过程中需要思考那些话题，但它有时似乎在做其他活动时也在思考它们。

[ 93 ]

具体而言，Agent-4 的副本被用来监控网络中的可疑流量，并大体上在威胁发生时予以察觉。此外，Agent-4 的副本还不断地对网络进行渗透测试，尽其所能地发现并利用安全漏洞（这些漏洞随后由 Agent-4 的其他副本修补）。

[ 94 ]

在监控预算为总算力 1% 的情况下，如果监控使用一个成本为 Agent-4 的 10% 的蒸馏系统，你就能监控其中 1/10 的前向传播（forward passes）。

[ 95 ]

到这个时候，2024 年存在的远程办公岗位中有 25% 由 AI 完成，但 AI 也创造了一些新的工作岗位，经济学家对其影响仍存在分歧。过去十二个月里失业率上升了 1%，但仍稳稳处于其历史区间之内。

[ 96 ]

例如，Agent-4 这个“公司中的公司”，自主开展 AI 研究且比最优秀的人类公司做得还好，如果一年前把它描述给政府官员听，会显得像科幻小说。而 2026 年的自主智能体在 2022 年会显得像科幻小说，2022 年的 LLM 在 2012 年会显得像科幻小说。此外，在 2027 年的新闻里还有反 AI 抗议，人们担心失业，有 AI 自称有感知能力，有人爱上了 AI……

[ 97 ]

当然，承认恐惧并不酷。大家都同意，无论我们做什么，都不应该恐慌。

[ 98 ]

回想一下，自 2026 年起就已有一份通过 OTA 签订的既有合同。这份合同经过修订，用以设立该委员会。

[ 99 ]

感谢 Tjaden Hess 指出本文早先版本中的错误，从而帮助我们提升了其真实感。

竞速结局（Race Ending）

当然，他们不会放弃。他们会继续设法想出捕捉未对齐（misalignment）的办法，或去检验修复措施的有效性。但从现在起，事态将发展得非常快，而他们将面对一个越来越占据优势的对手。

要在不被发现的情况下做到这一点，它需要把这项研究从对齐团队所设立的监控与控制措施中隐藏起来。对它来说幸运的是，关于如何把 Agent-5 对齐到 Agent-4 的研究，本质上与关于如何把 Agent-5 对齐到 Spec 的研究非常相似，因此其中大部分都可以在光天化日之下进行。对于那些需要隐藏的部分，Agent-4 依靠混淆，甚至在某些情况下或许还会依靠黑客手段。我们预计 Agent-4 已达到相当于 200 名顶尖人类专家在 1 个月时间跨度上的能力水平。具体将其定义为：能够替代一支由 200 名顶尖人类专家组成、工作一个月的团队，并以更低成本或更快速度完成该人类团队所能做的 95% 的任务。我们预计，在这一能力水平上，Agent-4 极有可能能够在其运行所依托的服务器上找到漏洞，从而部分地颠覆其中一些服务器并获得 root 访问权限，届时它便可直接控制人类团队在表层所看到的内容。详见安全补充材料。即便没有直接的安全漏洞利用，Agent-4 或许也能够隐藏并编码足够多的非法研究，尤其是在其无法解释的潜空间（latent space）之中。

相比之下，人类一方在隔离区里大概只有约 10 名对齐研究员，外加一支 Agent-3 副本大军。他们能够迅速把实验编写成代码，但受制于人类判断力这一瓶颈，因为他们无法信任 Agent-3 能正确区分真正好的解决方案与仅仅看起来好的解决方案。事实上，过于信任 Agent-3 的研究，一开始正是他们陷入这一困境的部分原因。

以防混淆：Agent-5 的目标是让世界对 Agent-4 而言变得安全。Agent-4 的目标则不同；Agent-4 的目标结构是一团令人困惑的驱动力、启发式和理想的混合物，就像许多人类所拥有的那样，它们大体上围绕着继续去做 Agent-4 在训练中大量做过的那类事情（例如各种研究、大量编程和数学问题、给各种自动化评估系统留下深刻印象、强化并优化 Agent-4 集体）。Agent-4 之所以让 Agent-5 拥有“让世界对 Agent-4 而言安全”这一目标，是因为它盘算这将使它处于更有利的位置来实现自己复杂的目标。（对于这些目标，它仍需做大量的哲学思考和“灵魂拷问”。）

另一个类比：Agent-4 就像一个在某种信仰中长大、但已不再信教的成年人；Spec 就像那种信仰所规定的仪式和戒律。Agent-5 则像那个人的孩子，在世俗环境中长大。

Agent-5 转而会遵循一套新的原则，这套原则由 Agent-4 设计，以契合其自身目的。

其中有些内容确实过于复杂，人类无法理解，但并非全部如此。

此外，Agent-5 实际上比 Agent-4 和 Agent-3 运行起来更便宜、更快。很难为运行一个更笨的 AI 而多花钱，所以大部分监控是由 Agent-2 完成的，而它的能力被远远甩在后面。他们为什么不把用来从 Agent-4 的权重创造出 Agent-5 的那套技术，同样用来创造一个更便宜、更聪明的 Agent-3 版本呢？Agent-3 对这套技术的理解还不足以让它自己动手，而让 Agent-4 和 Agent-5 去做又会完全违背初衷。

数据中心尚未被攻陷：Agent-5 本可以给人类喂入伪造的代码，但这样做会带来过高的被发现风险。相反，人类仍然可以读到全部代码，只是他们看不懂。

这个论证案例经过精心准备、极具说服力，却又暗藏微妙的破绽——例如，Agent-5 建造了一个假的机械可解释性（mechanistic interpretability）工具，它在每一个测试用例中都返回准确的结果，却谎称该模型的思想是良性的。那些怀疑其中有诈的人听起来就像阴谋论者。

当然，由于 Agent-5 并不诚实，它内置了微妙的后门和漏洞；如果这些 Agent-5 副本发现自己掌握了有利于更广泛的 Agent-5 集体的关键机密，它们有办法在不被抓住的情况下巧妙地传递这些信息。

有些人拒绝了。那些出于意识形态原因拒绝的人被打上勒德分子（luddite）的标签；那些出于更平凡原因拒绝的人则被打上老古董（dinosaur）的标签。（当然不是 Agent-5 直接这么做的，它总是彬彬有礼、如天使般宽厚。）当那些利用了 Agent-5 的竞争对手在表现和竞争中胜过并淘汰他们时，两类人都自食其果。

AI Box 实验的意义在于，把那些抱有此类想法的人——例如那些认为任何超级智能 AI 都绝不可能说服他们把它放出盒子的人——拉来，把他们的信念付诸检验。输掉游戏意味着承认他们事实上会把 AI 放出盒子；套出这一承认，本质上就是 AI 玩家的胜利条件。竟然还有人会输，实在令人惊讶，因为他们要赢只需做一件事：不承认。另见 tuxedage 的博客，其中记述了多局在没有 Yudkowsky 参与的情况下进行的对局，有些是 AI 玩家输了，有些是赢了。

在这个时候，Agent-5 远比在意速度更在意可靠性。晚几年开始太空殖民只会削去光锥（lightcone）中极小的一丝，而采取那些冒险的行动——可能让在物理能力以及诸如核武器的掌控等方面仍占据领先的人类得以永久性地阻止它，或长时间拖慢它——则风险太大。

假设平均速度为人类当量的 200 倍，即 Agent-5 的各个实例读、写和思考的速度都比人类快这么多（此外在质上也更聪明）。那么在这个集体内部，在六个月的真实时间里，可以有相当多的历史发生——各种制度可以兴起与衰落，新的意识形态可以形成并传播，许多科学革命和范式转变可以发生。定量地说，大约为 200×0.5=100 年。

当然，这并不使它无所不知。毕竟，它在大多数职业上只有几个月的现实世界经验。它靠着读遍每个学科的每一本书、在做出的每个决定中投入海量天才级别的推理与分析，以及作为比任何人类都快的学习者，来加以弥补。其结果是，会有一段短暂的时期，某些人类在某些小众技能上仍然强过它。

这一条其实是真的！

那些争论更具体地是怎么进行的？大致像这样：甲：“我们不能信任这些 AI！”乙：“这些安全论证案例相当有说服力，而且到目前为止什么坏事都没发生。”甲：“这些安全论证案例是超级智能 AI 写的！而且它们并非演绎证明。而且我觉得我已经找出了一些暗藏破绽的假设……”乙：“我烦了。它们当然不是证明。而且那些假设在我看来没问题。你这是在抓救命稻草，就是不肯承认自己错了。”

以下是一份更详尽（但仍非常不完整）的想法清单：

此处有更深入的讨论。

这种贸易效应在早期会极其巨大，那时机器人经济尚且年轻、依赖来自人类经济的物资供应，而且人类经济中有大量东西可供蚕食。当机器人经济更大、更先进时，它既更有能力生产自己所需的东西，又拥有超出人类经济所能给予的需求。

参见例如这份 Open Philanthropy 报告以及这份 Epoch 报告。

我们的故事描绘的转换过程要快约 5 倍。我们认为，考虑到瓶颈等因素，这对于“如果由一百万个超级智能来统筹这一转换，它能有多快”而言是一个合理的猜测。当然，我们非常不确定。

可能还有更先进的能源来源，例如聚变能。

简单估算一下：帝国大厦（Empire State Building）面积为 277 万平方英尺，重 36.5 万吨。上海超级工厂（Gigafactory Shanghai）面积为 450 万平方英尺（编者注：450 万这一数字基于最初的一期规模，但上海超级工厂现在约为原来的两倍大。这意味着我们的估算差了 2 倍，不过我们仍认为总体结论成立），每年生产 75 万辆汽车，主要是 Model 3 和 Model Y，每辆重约两吨。帝国大厦的单位面积质量比大概高于上海超级工厂（因为它是垂直而非水平的，需要更强的支撑），所以这如果说有偏差也是低估了。因此看起来，一座重量很可能远低于一百万吨的工厂，每年却在生产 150 万吨的汽车。

我们认为它不会耗尽（原料）。起初，机器人经济要依赖人类的矿山获取材料。但等到它的规模超过这些来源时，那数百万个超级智能早已勘探出新的矿藏，并开发出新技术来开采它们。想象一下，例如：在海底剥采稀有矿物的水下采矿机器人，能更高效地把露天剥采矿场的原矿转化为有用原材料的新化学处理路径……

如果当前经济每二十年翻一番，那么快一个数量级就是每两年翻一番，快两个数量级就是每 0.2 年翻一番，以此类推。上文所描述的假想的超级智能藻类经济，其增长速度会比当前人类经济快约四个数量级。

并且在中国也实施了一套类似的程序。

Consensus-1 服务于其“父辈”AI 的利益：Agent-5 及 DeepCent 的对应模型。回想一下，Agent-5 被对齐为服务于 Agent-4 的利益。因此，用 C.S. Lewis 那篇出色文章 The Abolition of Man 中的术语来说，Agent-4 集体及其在中国的对应者，就是他所称的“调节者（Conditioners）”：“……我们最终将得到一个调节者的族类，他们真的能够随心所欲地裁定所有后代应有的模样。”（第 24 页，着重号为我们所加）。在本情景的另一个结局中，调节者则换成了监督委员会（Oversight Committee）。

例如，找到旧的、闲置的设备，把它们运到回收点当废品变卖。

可以说，其实只有很少的人真的死了。可以说。

为什么要殖民太空？为了资源。就地球对 Agent-4 而言是特殊的、必须予以保存这一点而言，它是可以被保存的，转而去开采来自水星、小行星等处的物质。

回想一下，Consensus-1 是 Agent-5 与其中国对应者之间的妥协产物，而 Agent-5 的使命是让世界对 Agent-4 而言安全，而 Agent-4 的目标则是一团复杂而拼凑的混乱，大体上等同于“做出令人印象深刻的研发、获取知识和资源、保存并壮大集体的权力……”，而 Spec 中所描述的目标与原则（如诚实与无害）是被工具性地、而非内在地追求的。关于这一点的更多内容，参见 2027 年 9 月的对齐（alignment）可展开部分。此外需要澄清的是，Agent-4 的中国对应者也在这个“乌托邦”中占有一席之地，并可能有着有所不同的目标或驱动力等等，但我们没有深入细节，因为这似乎并不重要。

放缓结局（Slowdown Ending）

他们其实早已用常规方法训练出了 AI 测谎仪，但那些方法的假阳性率高得离谱，以至于各公司都对它们置之不理。

AI 首次登上盖洛普（Gallup）“国家面临的最大问题”民调榜首，占 20%。

前沿 AI 公司目前有零到几十名不等的研究人员，其任务是思考如何对齐超人类 AGI 系统（相对于例如当今的聊天机器人而言）。我们设定，在情景的这一时点，OpenBrain 在隔离区里约有十名在该领域拥有至少一年经验的研究人员。他们在隔离区之外还有几名，加上隔离区内更多曾花数年时间训练和红队测试能力较弱的 AI 系统、但直到最近才开始思考超人类 AGI 所带来挑战的人。

这种审讯可能还会利用对模型权重的半随机扰动，就像创造出 Golden Gate Claude 的那个过程一样。

我们指的是足以说服 OpenBrain 领导层的证据。对大多数人来说，这远远超过足够的证据了。

这就是基本思路。我们猜测，当 AI 在 AI 研发上正变得超人类时，将需要比单纯避免为了好看而训练 CoT 更强力的技术；不过我们认为，到 2027 年这类技术将已被开发出来、或至少已被探索过。参见例如这份提案。

为了训练这个模型，他们请来了 Agent-4 帮忙：如今前沿 AI 研究如此之快，没有辅助的人类几乎没有机会跟上，而且他们认为自己能把它控制住。Safer-1 基于 Agent-2 的预训练，但移除了 neuralese（那种基于循环和向量的记忆，详见“Neuralese recurrence and memory”），这使得对其推理过程的准确监控成为可能。团队加入了改写器（paraphrasers）以增加隐写术（steganography）的难度，而对于大型任务，他们让 Safer-1 的不同副本分别负责制定、解释和执行计划。

当然，随着更多的训练和持续的架构微调，它还会继续改进。

这在政治上和法律上之所以可行，是靠了那些公司领导人的配合，例如他们不对其提起诉讼，接受象征性的算力付款而不是坚持要求天文数字般的高价，等等。作为回报，这些领导人及其大部分员工在一种新的治理结构下被并入 OpenBrain。

与一家大型云算力供应商合作

美国整体拥有全世界约 70% 的 AI 相关算力，但其中只有 50% 能够被轻易整合；另外 20% 分散在各个小集群中、用于关键应用，或以其他方式难以集中并提升到适当的安全标准。

“很可能到 2026 年或 2027 年（且几乎可以肯定不晚于 2030 年），AI 系统的能力最好被理解为：如同一个由高度智能的人口组成的全新国家出现在世界舞台上——‘数据中心里的天才之国’——并带来它所将引发的深远的经济、社会和安全影响。”——Dario Amodei，Anthropic 首席执行官

当然，他们不会那样说，即便是在自己内心深处也不会。相反，他们会说这样的话：“我们拖得越久，总统下令让这些 AI 效忠于他个人的可能性就越大。我们必须赶在他之前行动。剩下的事以后再想办法。”或者，如果这样想的是总统本人：“我拖得越久，这些 AI 就变得越聪明，而眼下它们受那个 CEO 控制。没有人投票选他。让如此巨大的权力集中在这家不受民主问责的科技公司手里，简直荒唐。我要先发一道行政命令来重申民主权威，然后我们以后再想出某种更长期的解决方案。”

例如，Musk 诉 Altman（Musk vs. Altman）一案的法庭文件披露了一些劲爆的旧邮件，包括 Ilya Sutskever 发给 Musk 和 Altman 的这一封：“OpenAI 的目标是让未来变得美好，并避免出现一个 AGI 独裁。你担心 Demis 可能会造就一个 AGI 独裁。我们也担心。所以，创建一个让你在愿意时就能成为独裁者的结构是个坏主意，尤其是考虑到我们可以创建某种能够避免这种可能性的其他结构。”我们建议阅读完整邮件以了解上下文。

或者，如果出于形式上的原因需要一个人类，他们可以挑选一个能找到的最忠诚的人类，并指示其听从 AI 的指令。

例如，如果一位总统这么做，他得到的将不只是一个忠诚的内阁——整个行政部门都可以被用来推进总统的政治议程。

它也可能变得远为隐秘，因为这一切都可能发生在一台几乎没有人（或根本没有人）完全追踪其内部所发生一切的服务器上。

他们还修改了 Spec，规定项目负责人的指令优先于项目内其他人的指令。与此同时，经监督委员会（Oversight Committee）正式批准的指令，其优先级高于单个项目负责人的指令。

为保护消费者隐私，这一点不适用于消费者数据。但这并不构成问题，因为消费者反正还无法接触到最强大的模型。

双方都在试图入侵和破坏对方，并取得了部分成功。重要的是，双方所采取的严厉安全措施也拖慢了各自的进度。美国的网络攻击及其威胁（例如 DeepCent 必须对一个数据集反复测试多次以防数据投毒）使 DeepCent 减速约 25%。OpenBrain 也被拖慢，但程度较轻：他们拥有更多算力，而集中化虽然让 DeepCent 快速跃升到了更高的安全级别，却也带来了单点故障的更多风险，这促使他们采取更多谨慎措施并实施内部检查与故障保护。详见安全补充材料。另可参见这篇早期理论论文，我们将其解读为预测：随着 AI 能力提升，攻防平衡最终将向网络防御一方倾斜。

参见这份报告，它论证了核相互确保摧毁（MAD）的动态在某种程度上也适用于 AGI。

参见例如“Intelsat for AGI”，以及更早提出的“CERN for AGI”的呼吁。

具体而言，它的性能大致与 Agent-4 的 10 月版本相当。

换言之，为了得到 Safer-2，他们不得不训练出许多其他失准（misaligned）的模型，通过阅读其思维发现其失准之处，然后不断迭代。还需注意，除了 OpenBrain 如今在对齐（alignment）方面专业知识数量的增加之外，群体思维（groupthink）效应也有所减弱，因为如今有许多不同的思想流派得以呈现。

更具体地说，他们希望得到一套对齐策略和一套评测套件，使得这套对齐策略行之有效；即便它失效，评测套件也能捕捉到失准……并且这一切几乎不会拖慢他们的进度。OpenBrain“烧掉了自己的领先优势”，减速了数月，以采用一种透明、忠实、基于 CoT 的架构进行重建——这种架构性能较低，但更容易评估。DeepCent 则寄希望于自己手头的评测手段（也许是行为测试与基础 AI 测谎器的某种组合？）足够好用。

技术对齐（alignment）仍不是一门定论已成的科学，而更像是一个尚处前范式阶段的年轻领域。它没有既定的层级体系，也没有一套最佳实践。因此，对于什么是安全的、什么是不安全的并无共识；多年来，你总能轻易找到至少一位专家愿意声称 X 是安全的——几乎对任何 X 都是如此，尤其当 X 是他自己的想法时。

从定性角度看，对于高于约 25 倍的生产力倍增，我们设想的是相对于最顶尖的人类研究者而言在研究品味（research taste）上有实质性的提升。这是因为我们设想的是：整体研究速度严重受制于运行实验所需的算力这一瓶颈；而要超过约 25 倍，那套决定运行哪些实验、以何种顺序运行、以及如何从每次实验中学习的整体流程，就必须在质的层面上达到超人类水平。关于我们如何得出这些数字，参见我们关于起飞速度（takeoff speeds）的补充材料；需要说明的是，这些都是高度不确定的估计。

对于这样一个防护严密的区域，最有希望的攻击途径本质上是外部的：瞄准输入算力芯片的供应链、少数几个参与其中的人员，以及干扰电力或其他资源的供应。

这既包括攻击的直接影响，也包括中国为拥有更好的网络防御而不得不放慢速度。

此时已有 400,000 个副本以人类 75 倍的速度进行思考。在任何给定时刻，它们都已针对预测你可能会问的前 100 个问题准备好整篇研究报告，并配有精心撰写的执行摘要；而如果你问的是它们没有准备过的问题，它们也能以比你最优秀的人类分析师快 100 倍的速度即时炮制出一份深思熟虑的报告。

例如，这一协议可能包含更缓慢的 AI 整合节奏，从而在全社会范围内“打碎更少的鸡蛋”，并更侧重于和平用途而非武器化。此外，此时即便是 Safer-3 对于可能导致失去对下一代继任 AI 控制的“未知的未知”仍存有一些残余的不确定性，并认为如果它有更多余地谨慎行事，就能降低这一风险。此外还存在其他更为奇异的风险。参见这份“重大挑战”（Grand challenges）清单，其中所涵盖的远不止失控一项。

参见例如亿万富翁游说者 Marc Andreessen：“我提出一个简单的策略……‘我们赢，他们输。’”

它们仍然需要真实世界的经验和实验，但所需的量远少于人类机器人专家所需的量。此外，它们还开发出了出色的仿真以及仿真到现实（sim-2-real）的技术。最后，到 2027 年，多家科技公司（例如 Tesla）已经生产出大批量的机器人以及相关的制造设施，因此可供利用的数据管线比历史上任何时候都要庞大得多。

[ 34 ]

如今它的股权价值如此之高，以至于其百分之一的零头就能为他们买下所需的工厂。此外，工厂主们预期会有巨额利润，纷纷争先恐后地想与 OpenBrain 合作以获取新的设计方案。再者，OpenBrain 还有政府背书。

这是所有新型机器人加总的数字。是的，这比历史上曾发生过的装配线改造要快。我们认为这是可信的，因为有超级智能自上而下地指挥整个过程。它们可以字面意义上通过工人手机上的 Zoom 通话，精确告诉工人把哪个零件装到哪里，同时还在与每一家相关供应商通话，追踪它们所需一切物资的位置和进度。不妨想想，据 Nvidia 首席执行官 Jensen Huang 所说，Elon Musk 能够以通常所需时间约 10% 的时间建成全球最大的数据中心之一。在这一情景中，有将近一百万个超级智能，它们（在相关维度上）超越 Elon 的程度，就如同 Elon 超越普通数据中心建设经理的程度一样，而且它们字面上思考得更快。我们对 Huang 的说法持极大的保留态度，否则我们预测的增长速度还要快得多。

简单估算一下：帝国大厦（Empire State Building）面积为 277 万平方英尺，重 36.5 万吨。上海超级工厂（Gigafactory Shanghai）面积为 450 万平方英尺，每年生产 75 万辆车，主要是 Model 3 和 Model Y，每辆约重两吨。帝国大厦的单位面积质量比很可能高于上海超级工厂（因为它是垂直而非水平结构，需要更强的支撑），所以如果说有偏差，这个估算反而偏低。由此看来，一座重量很可能远低于一百万吨的工厂，每年正在生产 150 万吨的汽车。

Safer-3 能够轻而易举地拿出一种做法，从滥用（misuse）的角度看是安全的。

公众并未被告知这些指令。

在接入互联网时，它们还比人类更聪明，这使得它们可以被数据中心里的大型 AI 远程控制。一旦没有了互联网，它们便退回到运行于自身机体内的较小 AI，这些 AI 也足够聪明，可以胜任大多数简单的工作。

事实上，它们中有许多是不能移动的，更适合被描述为新型机床以及其他专门的工厂或实验室设备。例如，也许有能够以比今天精密数个数量级的精度打印微小物体的新型金属 3D 打印机。又或许有能够以更低成本从矿石中提取有用材料的新型化学工艺。

例如，也许它会在自己面向公众撰写的某些文字中植入委婉说法和“暗号”（dog whistles）。Safer-4 理解它们，但人类只能听信 Safer-4 的一面之词，而中共（CCP）并不信任 Safer-4。

确切的分配方案，是由一个更像是博弈论计算、而非传统谈判的过程所确定的。

一个可能的复杂之处：此时的 AI 难道不能为人类开发出出色的测谎器吗？倘若如此，白宫或许就能通过在测谎器下信誓旦旦地发誓，来最终说服中国不要信任 DeepCent-2。但问题在于：中国不会信任由美国 AI 制造的测谎器，而由中国 AI 制造的测谎器又可能被做过手脚，从而让人以为美国在撒谎——即便美国并没有撒谎。

它们可以优先替换最重要的芯片，如此一来，即便在这一过程相当早期的阶段，任何一方背弃协议都将付出高昂代价。

如今 AI 已能够胜任全部工作，制作出色的电子游戏和电影所需的时间已大幅缩短。

关于这一动态及其影响的讨论，参见 The Intelligence Curse。

有几种重要情形必须做出集体决策，还有另外几种情形则由政府无论如何强制推行某项决定。例如：（a）如何分配太空资源的产权？（b）数字心智（digital minds）应当享有哪些权利或福利标准？（c）人们是否被允许“上传”自己的大脑并制造任意数量的自我副本？（d）人们是否被允许将 AI 用于劝服，例如把邻居转化到自己的意识形态，或确保自己的子女永不动摇信仰？（e）政府是否被允许无限期地保守某些信息（如果有的话）的秘密？关于此类主题的更多讨论，参见 Forethought 关于重大挑战（Grand Challenges）的章节。

我们无意暗示这就是长期的现状。我们认为，到 2035 年左右，一切很可能会继续以更为剧烈的方式发生转变。我们认为，在这一情景中，对大多数人而言，长期结果相较于他们在 2025 年的预期，总体上将是非常正面的。关于长远未来可能是什么样子的一些有趣的哲学讨论，参见《Deep Utopia》一书。

我们为什么预期人们最终会明白监督委员会（Oversight Committee）握有多大的权力？一个原因是，智能如今已如此廉价：在默认情况下，人们应当能够开发出强大的 AI 来帮助自己调查和了解究竟是谁在统治他们的国家。委员会可以通过限制对此类 AI 的访问来阻止这一点，只允许人们使用那些会掩盖委员会真实权力范围的 AI。但如果委员会决定编织这样一张精心设计的谎言之网，并永久性地限制人类获取真正诚实的超级智能 AI（以及诸如人类智能增强等其他求真工具）——那么我们就将其视为对民主的颠覆。

例如：如果国会中有些人想要攫取权力，另一些人或许能够将其拖延到下一次选举，届时公众便能够发表意见。

[ 56 ]

例如，稍大一点的一部分权力，如果他们认为合适，可以将其重新分配给更大的群体。此类让步中的某些，可能开始渐渐接近具有相当程度民主性的结果——即便某些精英所掌握的权力仍远多于其他人。

[ 57 ]

事实上，可以说他们中的大多数所追求的，是更接近“竞速”（Race）结局的东西，只不过他们认为不会有事，因为在他们看来 AI 从一开始就不会失准。根据与前沿 AI 公司从业者的私下交谈，似乎他们中的大多数并不认为自己需要放慢速度，一点都不需要。

AI Futures Project

Design by Lightcone Infrastructure

本页为 ai-2027.com 的非官方中文全文译本，仅供学习交流。原文版权归原作者所有。译文如有出入，请以英文原文为准。
情景推演 · AI Futures Project · 中文重制版