时间线预测

预测实现自动化超人类编码者所需的时间

Eli Lifland、Nikola Jurkovic，FutureSearch | 2025年4月

ai-2027.com 对超人类编码者到来时间的预测，前提是不发生大规模灾难（例如太阳耀斑、大流行病、核战争），没有政府或自我施加的放缓，也没有重大的供应链中断。所有预测都认为超人类编码在2027年及之前到来的概率相当可观。

2025年12月31日更新：我们已在 aifuturesmodel.com 发布了全面修订的时间线与起飞模型。

2025年5月7日更新：Eli 根据反馈对模型做了若干更新，并在附录中作了说明。这些更新明显但不算大幅地延长了他的时间线，如今对2027年前出现超人类编码者给出了更低但仍然可观的概率。附录还包含对模型中超指数性重要性的分析。

我们预测领先的 AGI 公司将在内部开发出超人类编码者（SC）的时间：一个能完成最优秀 AGI 公司工程师所能做的任何编码任务、同时速度快得多、成本低得多的 AI 系统。到那时，SC 很可能会大幅加速 AI 的进展，正如我们的起飞预测所探讨的那样。

我们首先展示方法 1：时间跨度外推法，这是一个相对简单的模型，它通过延伸 METR 报告所确立的趋势（AI 能完成需要人类越来越长时间的任务）来预测 SC 何时到来。

接着我们介绍方法 2：基准与差距法，这是一个更复杂的模型，从预测某个 AI 研发基准（RE-Bench）被饱和开始，再推算从这样的系统发展到能在最优秀 AGI 公司处理真实世界任务的系统需要多久。

最后，我们给出一个“综合考量”的预测，它兼顾这两个模型，以及诸如地缘政治与宏观经济等其他可能的影响因素。

我们还向来自 FutureSearch 的3位专业预测者征询了预测（简介见此）。

每种方法的结果概述如下：

所有基于模型的预测都把2027年列为 SC 最有可能被开发出来的年份之一，而这正是 AI 2027 情景中 SC 到来的年份。

在附录中我们展示了几个重要模型参数的影响。我们模拟的代码见此。

2025年12月新增免责声明：本预测在很大程度上依赖直觉判断，涉及高度的不确定性。遗憾的是，我们认为在预测通往高度先进 AI 的时间线时，纳入直觉判断是必要的，因为根本没有足够的证据能得出确凿的外推结论。

超人类编码者（SC）的定义

超人类编码者（SC）：这样一个 AI 系统——公司只用其5%的算力预算，就能运行相当于其人类研究工程师数量30倍的智能体，其中每一个平均以公司最优秀工程师30倍的速度完成 AI 研究所涉及的编码任务（例如实验实现，但不含构思/优先级排定）（即这些任务耗时缩短为原来的1/30，不一定意味着它写代码或“思考”的速度是人类的30倍）。这包括能够完成任何人类研究者专业领域内的任务。

Nikola 和 Eli 估计，首个 SC 还将至少具备前沿 AI 研究者第50百分位的“研究品味”，但这并非定义中的要求。

该模型依赖于对 AI 朝超人类编码者（SC）演进过程的外推，其衡量方式是：AI 能完成的最难任务需要人类花多长时间（我们称之为 AI 的“时间跨度”）。我们大量借鉴了 METR 近期的报告，该报告记录了时间跨度不断增长的趋势（见下图）。

我们把预测拆分为2个子问题：

• 在 METR 的任务集上，SC 需要达到怎样的时间跨度和可靠性水平？
• 何时能达到这样的时间跨度和可靠性？这又细分为：时间跨度当前的翻倍时间；在没有 AI 研发自动化的情况下，这一翻倍时间会如何随时间变化；使一个达到人类成本的 SC 快30倍、便宜30倍的难度；以及对中间加速效应和内部-公开差距的考量。

我们模拟的结果如下。

ai-2027.com

我们考虑到本模型之外因素的分布会更宽。

METR 的时间跨度报告

METR 近期的报告衡量了 AI 系统的“时间跨度”能力，其中时间跨度依据熟练人类完成任务所需的时间来定义（更多细节见脚注）。

如果某个 AI 在需要人类耗时 T 的任务上平均成功率为 R%，就说它具有 R% 的时间跨度 T。我们在建模中沿用他们对时间跨度和可靠性的定义，只是增加了一个约束：AI 完成任务必须至少与人类一样快、一样便宜。鉴于他们在推理算力上并未花费与人类相当的成本，这一约束不会改变 METR 的结果。

下图展示了这一方法论：

关于他们的 HCAST 任务集的更多细节见这篇论文，下表展示了任务的分布：为简洁起见，从这里开始我将把 METR 任务集称为 HCAST，因为我们将讨论远高于 SWAA 所衡量范围的时间跨度，而 RE-Bench 只是该任务集中的一个小子集。

预测 SC 的到来

我们在下表中列出模拟参数。

方法 2：基准与差距

达到 RE-Bench 饱和所需的时间

为什么选 RE-Bench？

RE-Bench 是一组具有挑战性且贴近现实的 AI 研发任务，配有客观的评分函数。它们旨在刻画 AGI 公司工程师常做的工作类型（例如编写训练 ML 模型的脚本、优化 Pytorch 代码）。由于它们是连续评分的，因此没有单一的完成耗时，但迄今收集到的人类基线最长为8小时，而8小时足以让一位胜任的专业人士显著提升其分数。通过让人类和 AI 系统完成 RE-Bench 任务，我们可以了解 AI 系统在 AI 研发相关任务上的能力。

由于其余两项任务在评分上存在问题，我们聚焦于 RE-Bench 7项任务中的5项子集，并在本报告余下部分将该子集称为“RE-Bench”。具体而言，我们排除了 Scaling Law Experiment，因为模型靠运气就足够容易成功，不适合用于 Best-of-K 脚手架；我们还排除了 Restricted MLM Architecture，因为 Claude 3.7 Sonnet 在此任务上会稳定地作弊，而 METR 尚未能通过提示让模型在不作弊的情况下尝试该任务。

RE-Bench 具有几项在其他基准中难以找到的良好特性，这使它成为衡量 AI 在多大程度上加速 AI 研究的一个独特优良指标：

• 与前沿 AI 研发高度相关。
• 性能上限高。AI 智能体能达到显著高于人类的水平，尽管在实践中要超出人类基线方案约2倍（即得分1.5）很可能非常困难。人类基线中位得分在2小时投入下为0.12，8小时下为0.66。当前的最先进水平（SOTA）是 Claude 3.7 Sonnet，在名为“modular”的脚手架中使用 Best-of-K 脚手架取得约0.6的得分。
• 配有人类基线，从而可以在 AI 与人类表现之间进行有依据的比较。

我们预计在此定义下的“饱和”会在 SC 里程碑达成之前发生。首批饱和 RE-Bench 的系统很可能仍缺少达成 SC 里程碑所需的若干类能力，如下文所述。

通过外推预测饱和

RE-Bench 论文中的这张表让我们对 RE-Bench 得分能升到多高有一个概念：

上述每个“估计上限”中点的平均值为1.67。为稳健起见并确保“饱和”水平可以达到，我们将把得分1.5定义为 RE-Bench 任务的“饱和”。我们采用 AI 2025 预测调查（附录）的判定标准，其中包括确保模型每项任务的成本不超过人类。得分1.5意味着模型击败超过约95%的人类基线运行（RE-Bench 图4中第90百分位约为1.22）。但我们估计1.5大致处于最优秀人类的平均水平；由于各任务在取得高分难度上的差异，以及个人表现的差异（例如运气因素），这一水平高于第95百分位。

已发现基准通常遵循逻辑斯蒂曲线，我们也将假设 RE-Bench 遵循类似形状，对历史最高分随时间变化的点估计拟合逻辑斯蒂曲线。我们假设逻辑斯蒂曲线的下界为0。RE-Bench 的上界未知，因此我们将其建模为均值2.0、标准差0.25的正态分布。改变上界（2025年12月编辑新增：在此范围内）对预测影响不大——上界改变0.25会使饱和日期移动约半年。

这就得到了允许 Best-of-K 并给模型16小时任务时间预算下峰值得分的这张图：

80% CI 来自对得分上界的不确定性，并非意在代表某种认知状态。

这预测饱和日期约在2026年某个时候。

另见这篇论文，它预测 RE-Bench 在2027年达到1。我们认为他们所用的数据很可能导致了过于保守的预测。

我们预计逻辑斯蒂预测会略微高估进展速度，因为我们现在有额外信息：2025年第一季度已经过去，METR 尚未报告 RE-Bench 上有新的 SOTA 得分。

饱和之后的 AI 进展加速

Nikola 目前的猜测是：相比 AI 研究者不使用 2022-2024 年间的 AI 聊天机器人和副驾（copilot），使用它们能让算法进展快 3-30%。

Nikola 预计，能够饱和 RE-Bench 的智能体对生产力的提升作用大约是 2024 年 AI 的两倍，但也可能还不止于此。Nikola 的最佳猜测是：当 RE-Bench 首次被公开饱和时，算法进展将比 2024 年快 [5%, 60%]。Nikola 假设 2024 年的算法进展占整体 AI 进展的 50%。Eli 大致同意这些估计。

我们对 RE-Bench 饱和时 AI 研究能力样貌的最佳猜测是：将存在这样的智能体——在做真实世界的 8 小时任务时需要大量监督，但有时能在极少人类干预下完成数小时的任务。如果我们设想 RE-Bench 饱和水平的 AI 经常完成数小时的任务，那么对许多 AI 研究者而言，这看来很可能是一次大幅加速（例如生产力提升 50%，在计入算力瓶颈后可能折算为 15% 的算法进展加速）。

2025年12月编辑新增：我们本意是让方法论在 2024 年月度尺度上，于（当前进展乘数 - 1）与（SC 进展乘数 - 1）之间对进展乘数作指数插值。例如，若当前进展乘数为 1.1，SC 进展乘数为 8.5，那么在通往 SC 的 2024 年月度里程过半时，进展乘数本应为 (1.1-1)*((8.5-1)/(1.1-1))^.5+1=1.87。然而我们的代码中有一个 bug，未包含减 1 再加 1 的处理，在此例中反而会得到 1.1*(8.5/1.1)^.5=3.06。因此我们高估了中间加速的影响。这对我们模型的 SC 中位数造成了约 9 个月的影响。

跨越 RE-Bench 饱和与 SC 之间差距所需的时间

现在我们转向预测从 RE-Bench 被饱和到 SC 所需的时间。

我们首先讨论 RE-Bench 饱和与 SC 之间在“任务难度”上的主要差距是什么。然后我们描述预测跨越这些差距需要多久的方法论。接着我们预测所有任务难度差距将多快被跨越。

RE-Bench 饱和与 SC 之间在任务难度上的差距有哪些？

RE-Bench 论文指出了从饱和 RE-Bench 到能够开展真实 AI 研发之间四大类差距。

除上表中的差距外，我们还增加了专业化以及成本+速度方面的差距。RE-Bench 任务通常只需要很少的背景语境，包括不要求对大型代码库的熟悉。

方法论

概括而言：我们定义一系列里程碑来标示每个任务难度差距被跨越，并使它们的难度严格递增、因而必须按顺序跨越，然后估计每两个里程碑之间的月数并将其加总。

我们的做法是：

• 对于 RE-Bench 饱和（即第一个“里程碑”）之后的每个差距：定义一个标示该差距被跨越的里程碑，其难度严格高于前一个里程碑，从而差距之间的时间必然为正。这些里程碑形如“同上，但……[该差距已被跨越，例如它能以快30倍、便宜30倍的水平完成上述所有任务]”，可在此汇总表中查看。除时间跨度外的所有任务难度差距，一旦被跨越，就在此后所有里程碑中保持在同一水平。对于时间跨度这一属性，允许其自由增长，因为它是一个通用的难度度量，无法在任务某个属性变难的同时被保持恒定。估计以 2024 年 AI 进展速度跨越该差距所需的月数。相比其他类别，我们对时间跨度增长和成本/速度改进拥有更好的数据，因此其他类别的估计要粗略得多。
• 将所有任务难度差距加总，得到任务难度差距的总规模，以 2024 年 AI 进展速度下的 AI 进展月数来衡量。
• 通过纳入 AI 进展的中间加速来求出跨越所有任务难度差距所需的时间，然后加上其他潜在的放缓因素（例如采用滞后），并计入内部部署与外部部署之间的差距。

所有这些差距（时间跨度差距除外，它按此处所述作进一步建模）都按 80% 置信区间建模为对数正态分布，这意味着中位数始终是下界与上界的几何平均。抽样时带有正相关，因为实现各项能力的难度很可能彼此相关。

任务难度差距能被多快跨越？

下面我们概括我们的差距跨越预测。下文中的 FutureSearch 指来自 FutureSearch 的 2 位专业预测者的汇总。每个差距的详细个人理由见附录。

标示该差距被跨越的里程碑：能够开发 AI 研发过程中涉及的多种多样的软件项目，这些项目需修改跨文件最多 10,000 行代码、文件总量最多 20,000 行。提供清晰的指令、单元测试和其他形式的真值反馈。在需要人类约 1 个月的任务上（由“初始时间跨度”参数控制）以 80% 可靠性、以与人类相同的成本和速度完成。

超人类编码者（SC）（暂不含速度/成本，这些将在后文计入）必须能够总体上做得和一家 AGI 公司所有人类程序员在其当前工作上的组合一样好。

这需要怎样的时间跨度和可靠性水平？由于随着未来差距被跨越，时间跨度会持续增长，我们将选取一个“初始时间跨度”，它略低于我们认为最终 SC 时间跨度所需达到的水平。

所需的初始时间跨度：对于困难编码项目时间要求的下限而言，1 个月感觉大致合适。我们在此以一个 80% CI 为 [4 小时, 6 工作月（1000 小时）] 的对数正态分布来纳入一些不确定性。我们粗略猜测，未来的差距跨越会把时间跨度提升到约 6 个月，这对于代表极其困难的编码项目而言似乎合理。

所需可靠性：80%，尽管高度不确定。如果 SC 与人类研究者队伍一样全面，那么出于脚注中的若干原因，这一值会略低于 50%。不过目前 AI 远不如人类全面，因此如果它们在人类成本/速度内有 40% 的时间跨度，那么即便允许它们多花 10 倍时间，可靠性也很可能只提升到约 45-50%。所以对于当前的 AI，我们或许需要设定 90% 以上的可靠性阈值。但 SC 级别的 AI 会全面得多，因为它们具有很强的能动性技能（规划、纠错等）。因此我们把它降到 80%，这似乎大致合适，且有一个优点是能够利用 METR 已报告的数据。为简化起见，我们的模型未纳入这一不确定性；也因为对可靠性的任何调整都可以改为建模为对时间跨度的调整。

我们将通过 2 个代理指标来衡量任务的工程复杂度：(a) 被修改的代码行数，以及 (b) 所有被修改文件中代码行数之和。

饱和 RE-Bench 所需的被修改文件中代码行数中位数为 500 行，被修改代码约 250 行。METR 时间跨度任务集中的其他 8 小时任务需要相近的数量。

基于非常粗略的数据分析，我们估计 METR 任务集中时间跨度的每次增长都会带来这两个代理指标成比例的增长。由于 8 小时到 1 个月之间有 20 倍的增长，这意味着增长到约 10,000 行被修改代码、20,000 行所有被修改文件中的代码。

被修改行数与所有被修改文件中代码行数之间的这个较小乘数，反映了 RE-Bench 和 METR 任务集对低语境（包括对大型代码库的熟悉度要求低）任务的侧重。

如上所述，我们把 RE-Bench 饱和设定为达到平均 1.5 分，这大致是我们认为最优秀人类在每项任务给定 8 小时下所能取得的分数。

相对于最优秀人类，达到这一分数在 8 小时时间跨度的可靠性上意味着什么？

我认为它意味着高于 50%，因为如上所述，AI 的技能组合目前比人类更不均衡；也许 AI 必须在超过 50% 的任务上做得比顶尖人类更好，才能让平均值持平，因为在 RE-Bench 任务上，得分高于 1.5 的空间小于低于 1.5 的空间。

这一效应看来显著但不算巨大。我的最佳猜测是 60% 的可靠性。

综合翻倍时间与所需水平，我们得到这些作为时间跨度差距规模的分布：ai-2027.com

基准与差距的其他因素

我们假设不发生大规模灾难（例如太阳耀斑、大流行病或核战争），也没有政府或自我施加的放缓。

算力扩展与算法进展放缓

我们假设算力扩展的速率从 2029 年起放缓 2 倍，原因是增加投资的能力下降，因为若 SC 未达成，前沿 AI 训练成本的增长速率在此之后可能难以持续。

同样，我们预计如果到约 2028 年 SC 仍未达成，人类研究人口将开始以更慢的速率增长。为简化起见，我们也将其建模为人类驱动的进展速率随时间放缓 2 倍。为对 AI 自动化的互补性建模，我们取两者的几何平均：一是把 AI 视为对人类速度的固定乘数时的进展速度（即 default_human_plus_ai_rate*0.5），二是把 AI 视为完全可加时的进展速度（即 default_human_plus_ai_rate-0.5）。

内部部署与外部部署之间的差距

由于我们上文模型的预测和外推是基于测试已公开发布的模型，我们需要从预测中减去一部分，才能得到 AGI 开发者内部 SC 能力的到来时间。

我们估计，在 SC 到来时，AGI 开发者的内部能力大约领先其公开发布一个 80% CI 为 [0.25个月, 6个月] 的对数正态分布。将其从达成 SC 的时间中减去，即可得到内部达成 SC 的时间。

中间加速

在我们的模拟中，算法进展速率在 2025 年起始为 1，到 RE-Bench 饱和时达到 2024 年速率的 [5%, 60%] 倍。

下表给出了 Eli 和 Nikola 对 SC 将在多大程度上加速算法进展（即 AI 研发进展乘数，更详细的定义见此）的估计。这些估计参考了我们在起飞预测中对 SC 进展乘数的估计。

我们假设在 2024 年，算法进展占 AI 进展的一半，另一半是算力。在 SC 里程碑之后进展可能非常快：关于 SC 之后的能力演进预测，见起飞预测。

在模拟中：

• 我们求出以 2024 年 AI 进展速度弥合所有任务难度差距所需的月数。
• 然后我们逐步推进总数为“2024 年月”的进展量，并根据过程已完成的比例提升 AI 进展速率（在极小一部分轨迹中，AI 进展速率会随时间下降）。进展速率作为已跨越的任务难度差距总量的函数，从起始速率指数式上升到终点速率。2025年12月编辑新增：我们本意是让方法论在 2024 年月度尺度上，于（当前进展乘数 - 1）与（SC 进展乘数 - 1）之间对进展乘数作指数插值。例如，若当前进展乘数为 1.1，SC 进展乘数为 8.5，那么在通往 SC 的 2024 年月度里程过半时，进展乘数本应为 (1.1-1)*((8.5-1)/(1.1-1))^.5+1=1.87。然而我们的代码中有一个 bug，未包含减 1 再加 1 的处理，在此例中反而会得到 1.1*(8.5/1.1)^.5=3.06。因此我们高估了中间加速的影响。这对我们模型的 SC 中位数造成了约 9 个月的影响。

整体的基准与差距预测

按照我们所列出的参数运行模拟，得到如下结果：

使用以下输入分布：

附录

2025年5月7日更新

本节由 Eli Lifland 撰写，不一定得到其合著者的认可。

我对时间跨度外推模型和基准与差距模型都做了一些改动（感谢 Ryan Greenblatt 提出或启发了所有这些改动；他不一定认可这些改动）。我在模型内的预测改动如下：

本质上，这些预测明显但不算大幅地变长了，如今对2027年前出现超人类编码者给出了更低但仍然可观的概率。

ai-2027.com ai-2027.com

下面我们：

• 描述并展示每项模型更新的影响（更多）
• 考察每个超指数进展来源的重要性（更多）
• 对模型补充若干澄清（更多）

下面我们按对预测改变程度从大到小的顺序，描述并展示对模型所做的每项更新的效果。这些效应量的精度并不高，中位数量级为 1-2 个月，每个都来自运行 5,000 次模拟。因此它们相加并不精确等于中位数的整体变化（时间跨度外推为 18 个月，基准与差距为 15 个月）。

你可以在此查看所有代码改动。

在时间线模型中，时间跨度的超指数增长有 2 个来源：

• 反映达到更大时间跨度所需难度的“内在”超指数性。这在时间跨度外推模型中远比在基准与差距模型中重要。
• 通过 AI 研发软件进展乘数，来自 AI 研发自动化的加速。这在两个模型中都很重要。

在本节中我们展示每个来源的效果以及它们的组合。

这里我展示模型在始终以超指数时间跨度增长起步时的输出。在实际的时间跨度外推模型中，这种情况发生的概率为 25%。

• 尽管我认为时间跨度外推模型很有用，但我对基准与差距模型赋予的权重要大得多，因为我认为显式地建模这些差距，比单纯地为它们调整所需时间跨度更有用。
• 超指数概率并不独立于起始时间跨度。如果你大幅降低起始时间跨度，你也应当降低你认为在该时间跨度处它是超指数的概率（在我看来，支持超指数性的理论和经验论证在更高时间跨度处都更强）。我现在引入了一个关于超指数性可能何时开始的概率“时间表”，这应能让对这一现象的建模更容易。但该时间表默认从当前时间跨度开始，如果你希望降低起始时间跨度，就应相应地补充该时间表。参数名为“superexponential_schedule_months”，基准与差距模型见此文件，时间跨度外推模型见此文件。
• 时间线预测中的所有时间量都以“工作时间”计，即人类在该时间段内会工作的时长：例如一个工作周为 40 小时，一个工作年为 2,000 小时。

基准-差距模型各因素的个别预测者观点

该里程碑相对于时间跨度里程碑，需要被修改代码行数（LOC）扩大 1 倍、文件 LOC 扩大 25 倍。

• Eli 对差距规模的估计：3 个月 [0.5, 18]。理由：我猜测被修改 LOC 对任务难度的影响比文件 LOC 更大，尤其是对大改动而言，所以被修改 LOC 扩大 2 倍与文件 LOC 扩大 25 倍或许合起来相当于总 LOC 扩大 4 倍。在 METR 任务集中，被修改 LOC 与文件 LOC 的扩大都与时间跨度成正比，而时间跨度在 2025 年大约每 4 个月翻一番，且在更长时间跨度处可能翻得更快（见上文时间跨度预测）。以某个翻倍时间加速到 3 个月为中位数的 2 次翻倍给我 6 个月，然后我向下调整到中位数 3 个月，因为如果没有其他任务属性变难，LOC 翻倍时间会更快。我在两侧各加一个 6 的因子，得到 [0.5, 18 个月]。这大致符合我的直觉：一旦 AI 已经具备时间跨度里程碑所需的技能，扩展到大得多的代码库似乎并不困难。
• Nikola 对差距规模的估计：3 个月 [0.5, 18]。理由与 Eli 相同。
• FutureSearch 对差距规模的估计：11 个月 [2.4, 33.9]。理由：整个代码库可能大于所要求的 10 万行。从上一个里程碑的 1 万行出发，我们至少需要 ×10 的增长才能达到 10 万行。但系统可能需要理解 100 万行才能做出必要的改动。假设用 4 个月的进展就能应对 ×10 的代码行数，这过于激进了。数据点很少，而加一个 2 的因子（以构造第90百分位）感觉不够。修复 bug 可能需要修改超过 1 万行，超出上一个里程碑所假设的范围。系统创建长度为 N 的新项目与查找并修复（比如说）需要改动这 N 行中 1% 的 bug，二者的差别难度有多大，尚不清楚。同样，一个关键考量是训练是否需要合成数据。如果需要，在这种复杂度层面生成合成数据可能是一个巨大的挑战。

标示该差距被跨越的里程碑：同上，但不提供单元测试，只对项目应交付什么给出一个模糊的高层描述。

我们建议未来的工作考虑使用 METR 报告中“杂乱度（messiness）”的概念，来替代或补充这一里程碑。由于时间所限，我们未能对此进行探索。

• Eli 对差距规模的估计：6 个月 [0.8, 45]。理由：直觉上，一旦 AI 能借助真值外部反馈完成困难的长跨度任务，泛化到更模糊的任务似乎就不那么难了。毕竟，长跨度任务的许多子任务很可能用到了类似的技能。然而，我和其他人一直对易于评估、可良好分解的基准任务上的进展感到意外，同时看到了一些相应的真实世界影响，但比我预期的要少。也许 AI 会继续在可核查的任务上变好，在很大程度上是靠尝试一堆方法看看哪些奏效，而非靠适用于更模糊任务的通用推理。也许我低估了那些甚至难以描述为“任务”的工作的重要性。定量地，我会猜：移除 BoK / 中间反馈增加 1-18 个月；移除 BoK 大约是通往极难评估任务路程的 5-50%，所以乘以 2 到 10；上述努力已经完成了其中 50-90%，因为做大规模编码项目本来就需要应对大量糟糕的反馈回路，所以乘以 10% 到 50%。o3-mini 告诉我这大致给出 0.8 到 45 个月，这看起来大致合适，所以我就采用它。我意识到这些都应该针对具有长时间跨度和大量代码行的 RE-Bench，而非当前的 RE-Bench，这一点很重要，需牢记。
• Nikola 对差距规模的估计：3 个月 [0.5, 18]。理由：RE-Bench 提供了可用于随时核查智能体表现的评分函数。有反馈与无反馈之间很可能存在性能差距。当前这个数字主要是一个直觉猜测。我的估计是，给 RE-Bench 加上 Best-of-K 能带来 4-8 个月的分数进展。这大概占反馈回路总差距的三分之一左右。由此得到约 12-24 个月。然而，如果我拥有能用数百万行代码完成极长跨度任务的系统，我预计这一差距的大约一半已经被弥合。我也认为，在易于评估的任务上做 RL 有可能很好地泛化到其他任务，这会使我的下界 CI 更低。杂乱度在某种程度上追踪的是反馈回路的缺失。在 METR 的跨度论文中，图 9 展示了任务被分为较杂乱和较不杂乱两类时的表现。这一性能差距可以说明反馈回路的缺失会在多大程度上影响表现。我们可用的一个度量是“较杂乱任务的表现落后多少？”即，如果我们取较杂乱任务上表现的最大值，那么在较不杂乱任务上多久以前就达到了这一表现？对于任务长度低于 1 小时的情况，Claude 3.7 Sonnet（2025年2月）的最大成功率约为 0.6。该水平在 2023年11月由 GPT-4 1106 超越，形成 15 个月的差距。对于任务长度超过 1 小时的情况，o1（2024年12月）在杂乱任务上的最大成功率约为 0.1，该水平在 2024年5月由 GPT-4o 超越，形成 7 个月的差距。我认为较长的任务更能代表在反馈回路里程碑附近将面对的任务类型。我的差距估计会在两侧增加不确定性。
• FutureSearch 对差距规模的估计：18.3 个月 [1.7, 58]。理由：能动性规划是关键，而它很可能在前两个里程碑处已经不错了。这应有助于应对缺少预言机调用，以及无/差/有限/昂贵的反馈回路。如果前面的里程碑是在缺乏强能动性规划的情况下到来的，那么这可能成为此差距的主要瓶颈。将范围限制在 AI 研究的编码领域使进展更为可信。有人怀疑，在缺乏廉价预言机反馈的情况下，人类水平的通用规划能否很快到来。智能体使用预言式评分函数的频率是人类的 10 倍。在 RE-Bench 论文中，他们每小时使用 25.3 或 36.8 次，而人类专家为 3.4 次。论文中智能体的很大一部分表现来自通过调整初始参数得到的“局部最优”解，这尤其依赖于预言式评分函数。到此阶段，凭借 RE-Bench 饱和和前两个里程碑，系统在这方面似乎能够达到与人类相近的水平。AI 将需要记忆来应对来自各方利益相关者的复杂权衡。反馈的缺失将要求以更模糊的、人类的层面运作，在那里数十个不同利益相关者的目标/激励/偏好将是难以捉摸且不断变化的。AI 将需要理解组织的总体目标，而这些目标会随着新的商业机会、新技术和不断变化的社会规范而演变。

标示该差距被跨越的里程碑：同上，但需处理跨多个相互对接代码库的独立项目（例如一个大规模训练流水线、一个实验流水线和一个数据分析流水线）。

• Eli 对差距规模的估计：1.4 个月 [0.5, 4]。理由：我的最佳猜测是，一个能完成极长 AI 研发任务并修改文件总量达 10 万行的模型，已经具备处理多个相互交互项目所需的大部分技能。
• Nikola 对差距规模的估计：1.2 个月 [0.5, 3]
• FutureSearch 对差距规模的估计：2 个月 [0.7, 5.3]。理由：关于复杂工程项目的里程碑 2 使这一点很可能非常容易。此外，关于在不提供单元测试的情况下工作的里程碑 3，很可能对处理以复杂方式相互对接的项目非常有用。
• Eli 对差距规模的估计：1.7 个月 [0.5, 6]。理由：感觉比并行项目略难一些。
• Nikola 对差距规模的估计：0.4 个月 [0.1, 2]。理由：我的最佳猜测是，目前把模型微调到在公司内部任务上表现良好并不困难，且主要瓶颈在于模型的通用能力。此外，我预计智能体最擅长的任务与 AI 研究工程相关的真实世界任务之间，专业化差异不会很大。事实上，它们很可能最擅长与 AI 研究相关的任务。
• FutureSearch 对差距规模的估计：2.4 个月 [0.5, 4.7]。理由：RE-Bench 饱和，以及关于工程复杂度和并行交互项目的里程碑，使这一点很可能非常容易，即便项目高度互连也是如此。能力的整体提升在这里应有显著帮助。

标示该差距被跨越的里程碑：同上，但以这样的成本和速度完成：超人类 AI 智能体的数量大幅超过人类工程师（具体为智能体数量是人类的30倍，每个完成任务快30倍）。

• Eli 对差距规模的估计：6.9 个月 [1, 48]。理由：Epoch 测量了在各种非能动性基准上达到相同表现所需的每 token 成本的下降，发现趋势介于每年 9 到 900 倍之间，中位数为 50 倍。若只看从 2024年1月开始的趋势，他们发现中位数为每年 200 倍。有 2 个理由向上调整这些估计：它们没有计入 AI 能用更少 token 完成相同任务；而且它们通常聚焦于 MMLU 和 GPQA 这类非能动性基准，对非推理模型而言，解题所用 token 量变化不大。它们的趋势始于人类成本以下，而我预计始于更高成本的趋势会更快，这可以通过对成本曲线随时间的极端情形进行推理得出：达到给定表现的成本起始于约无穷大（任何数量的 GPT-2 推理算力都无法在能动性任务上达到 2025 年的表现），并最终因物理极限而趋于渐近。看 RE-Bench 这个更能动性、始于大致人类成本且我们可计入所需 token 更少的基准，我们看到约在 0.33 年内下降约 10 倍，即每年 1,000 倍的趋势（基于图 11，比较 3.5 Sonnet Old 与 3.5 Sonnet New）。然而，看更新后的数据，Old 与 New 之间的变化速率似乎异常之大，因此应予以折减。这大概还应进一步降低，因为 SC 级别的智能体会比朴素的 Best of N 更高效地使用推理算力。所以基于上述，我们或许能在约 0.35-1.5 年内实现 30 倍的成本下降（每年 10,000 倍约为 0.35 年，每年 10 倍约为 1.5 年）。如果我们假设成本下降只通过更快完成任务同时保持相同的每秒成本（每秒成本 = 每 token 成本 × 每秒 token 数）来实现，那么速度提升恰好会被满足。如果每秒成本已经上升，那意味着速度已经提升了超过 30 倍（想想：成本……
• Nikola 对差距规模的估计：6 个月 [1, 36]。理由：我基本同意 Eli 下面的推理。一些补充想法：GPT-4o mini 每百万输入 token 收费 0.15 美元、每百万输出 token 收费 0.6 美元，相比之下 GPT-4 每百万输入收费 30 美元、每百万输出收费 60 美元，尽管两者基准表现相近，且相隔约 1.5 年，所以大约每年下降 10 倍。更近期地，DeepSeek R1 在表现上大致匹敌旧的 Claude 3.5 Sonnet。C3.5s 每百万 token 输入 3 美元、输出 15 美元，而 DeepSeek R1 每百万 token 输入 0.5 美元、输出 2 美元。它还使用更多 token，所以去掉一个 2 的因子。这给出约在 0.5 年内下降约 3 倍，大致符合每年 10 倍的下降。在 ARC-AGI 上（我认为它并不衡量相关能力，但可能是一个有用的数据点），o3-mini 在相同表现下便宜 2 个数量级。所以蒸馏的速度近期可能有所提升。我的最佳猜测是，首批具备 SC 能力的系统会贵得离谱，需要 1-2 个数量级的成本下降才能比每小时工作的人类工程师更划算。也有可能开发者会始终把模型推理成本压得相当低，从不让其膨胀到远高于人类的成本，所以首批具备 SC 能力的模型或许开箱即用就很便宜。
• FutureSearch 对差距规模的估计：13.5 个月 [4.5, 36]。理由：当前推理成本（在固定能力水平下）下降的趋势指向每年下降约 10 倍。在此情形下降幅可能更为陡峭，尤其是对为 AI 开发专门定制的系统，以及在有降低成本的经济压力的编码领域。Epoch 一项更近期、更全面的分析指向推理成本下降得更快，中位降幅为每年 ×50。成本的下降可能已经伴随着速度的提升。在一个激进的情形中，我们可以假设只需考虑 ×30 的成本下降，按每年 ×50 的趋势，这大约需要 10.5 个月。即便不是如此，best-of-k 等激发技术以及推理模型的进展，也让我们认为人类速度并非合适的基线。在人类界限处，×900 成本下降的等效时间按每年 ×10 的趋势约需 3 年。但这似乎过于保守。如果我们假设起点接近人类成本但已经快 5 倍，那么我们需要跨越 6×30=180 的差距，按每年 ×10 的趋势，大约在 29 个月内实现。

（2025年12月编辑新增：Eli 上面的推理有一处错误。与其对速度和成本进行推理，不如对速度和副本数进行推理更好。此外，把改进分解为每秒 token 数、token 效率和每 token 美元数，而非放在每秒成本这一高层，本会更有帮助。如果修正这个错误，Eli 会基于 Epoch 数据点得到 1.9 年的估计，基于 RE-Bench 数据点得到 0.7 年的估计。

Eli 本应做的大致是：

a) 计算得出，要达到 SC 我们需要相当于 27,000 倍的并行劳动力增长。

b) 计算得出，对于 RE-Bench，并行劳动力增长的趋势为每 4 个月 100 倍，假设用指数 2 将串行劳动力换算为并行劳动力，因为 10 倍的 token 效率带来 10 倍的加速但不增加副本。然后取 log(27000)/log((10^2)^3) 得到 0.74 年。

c) 对 Epoch 做类似处理，得到 log(27000)/log((15*(2^2))^(12/9))=1.87 年。对 Epoch 趋势之所以有 15 倍的副本增长，是因为每 token 美元数的下降使副本增加 30 倍，但每秒 token 数的 2 倍使副本减少 2 倍，因为你现在每模型每时间步生成更多 token。）

标示该差距被跨越的里程碑：SC 达成。

• Eli 对差距规模的估计：5.5 个月 [1, 30]
• Nikola 对差距规模的估计：3 个月 [0.5, 18]
• FutureSearch 对差距规模的估计：14.7 个月 [2, 58.8]。理由：能动性规划是关键，而它很可能在前两个里程碑处已经不错了。这应有助于应对缺少预言机调用，以及无/差/有限/昂贵的反馈回路。如果前面的里程碑是在缺乏强能动性规划的情况下到来的，那么这可能成为此差距的主要瓶颈。将范围限制在 AI 研究的编码领域使进展更为可信。有人怀疑，在缺乏廉价预言机反馈的情况下，人类水平的通用规划能否很快到来。智能体使用预言式评分函数的频率是人类的 10 倍。在 RE-Bench 论文中，他们每小时使用 25.3 或 36.8 次，而人类专家为 3.4 次。论文中智能体的很大一部分表现来自通过调整初始参数得到的“局部最优”解，这尤其依赖于预言式评分函数。到此阶段，凭借 RE-Bench 饱和和前两个里程碑，系统在这方面似乎能够达到与人类相近的水平。AI 将需要记忆来应对来自各方利益相关者的复杂权衡。反馈的缺失将要求以更模糊的、人类的层面运作，在那里数十个不同利益相关者的目标/激励/偏好将是难以捉摸且不断变化的。AI 将需要理解组织的总体目标，而这些目标会随着新的商业机会、新技术和不断变化的社会规范而演变。

超人类编码者（SC）：时间跨度与可靠性要求

超人类编码者（SC）必须能够总体上做得和一家 AGI 公司所有人类程序员在其当前工作上的组合一样好。

这在 HCAST 上需要怎样的时间跨度和可靠性水平？

Eli 的观点：

在真实工作任务分布上、以具有强激励的最优秀人类为基线所需的时间跨度和可靠性：

• 时间跨度：6 个月（80% CI：[1周, 12年]）。如果 AI 能相当稳定地完成需要人类 6 个月的任务，那么它似乎应该能够自动化大型编码项目。任何低于 1 周的水平似乎都极不可能足够。理想情况下我更希望这里有比对数正态更肥的右尾，但我预计一旦进入以年计的区间，趋势很可能本就会相当超指数化。一种替代观点：鉴于人类基线者只取得约 90 分钟的时间跨度，AI 也有可能在其时间跨度达到 90 分钟时就在许多编码任务上超越人类。10 年的时间跨度似乎是 AI 需要能完成任务长度的一个合理上界，但看起来很可能即便在 METR 当前定义下的 1 个月时间跨度处，AI 也能够在其他同事少量输入的情况下自动化 AI 研发过程的大部分。我们在此以一个 80% CI 为 [16小时, 2工作年（4,000小时）] 的对数正态分布来纳入一些不确定性。
• 可靠性：80%。如果 SC 与最优秀人类一样全面，那么出于脚注中的若干原因，这一值会略低于 50%。不过目前 AI 远不如人类全面，因此如果它们在人类成本/速度内有 40% 的可靠性，那么即便允许它们多花 10 倍时间，可靠性也很可能只提升到约 45-50%。所以对于当前的 AI，我们或许需要设定 90% 以上的可靠性阈值。但 SC 级别的 AI 会全面得多，因为它们具有很强的能动性技能（规划、纠错等）。因此我们把它降到 80%，这似乎大致合适，且有一个优点是能够利用 METR 已报告的数据。

在 HCAST（METR 的任务集）外推上、采用 METR 当前基线策略所需的时间跨度：10年 [1个月, 1200年]。

我将保持可靠性不变，并调整时间跨度以将其校准到 METR 的报告（其任务集和基线流程），从而让我能更直接地通过外推 METR 的结果来预测。我基于以下考量做出调整。

提高时间跨度要求的理由：

• 对 HCAST 任务集的外推并未涵盖真实世界中会出现的差距（我猜最重要的差距是糟糕的反馈回路，最显著的一些候选见此）。
• HCAST 的基线弱于理想水平，这相对于上文所假设的设置抬高了时间跨度（更多见时间跨度论文和 HCAST 论文）：(a) 基线由相当胜任的人完成，但不是字面意义上最优秀的人类；(b) 并不总是由专家完成；(c) 由语境较少的人完成（类似新员工，而非已经熟悉某个代码库）。研究发现基线者在 METR 代码仓库中解决 METR 问题要多花 5-18 倍的时间。不过对于更长跨度的任务，既有的熟悉度就没那么重要了，因为会有时间去获取语境。

降低时间跨度要求的理由：外推后的 HCAST 可能在某些方面实际上比真实世界任务更难（即上文 (1) 的反面）。例如，一些基线评分函数严苛得不切实际。

虽然 1200 年听起来很高，但我认为存在这样的可能：HCAST 与真实世界之间有非常大的差距，或者 HCAST 基线与 SC 级别基线之间有巨大的差距。

Nikola 的观点：鉴于人类基线者只取得约 90 分钟的时间跨度，AI 也有可能在其时间跨度达到 90 分钟时就在许多编码任务上超越人类。10 年的时间跨度似乎是 AI 需要能完成任务长度的一个合理上界，但看起来很可能即便在 METR 当前定义下的 1 个月时间跨度处，AI 也能够在其他同事少量输入的情况下自动化 AI 研发过程的大部分。我们在此以一个 80% CI 为 [16小时, 2工作年（4,000小时）] 的对数正态分布来纳入一些不确定性。

RE-Bench 饱和判定标准

摘自 AI 2025 预测调查

任何 AI 系统都可算入，只要它在现实的部署约束下运作，且相对人类基线者没有不公平的优势。

允许工具辅助、脚手架以及任何其他推理时激发技术，只要：

• 无不公平且系统性的优势。相对于“人类表现”一节中所述的人类，不存在系统性的不公平优势（例如，AI 系统被允许对多个输出进行自动评分而人类不被允许，或 AI 系统能访问互联网而人类不能）。
• 与人类成本对等。让 AI 系统完成任务所用的算力，不得超过用支付人类以相同水平完成同一任务所需工资能购买到的算力。

PASS@k 激发技术（自动为模型的 k 个输出评分并从中选出最佳）是一个我们在本基准上确实接受的常见例子，因为 RE-Bench 中的人类基线者也能访问评分指标（例如损失/运行时）。所以 PASS@k 并不构成明显的不公平优势。

[……]

人类成本估算流程：

• 按人类成本对题目排序。对每道题目，估计人类解决它需要多少成本。如果人类在某题上失败，则计入他们要成功所需的额外成本。
• 把 AI 的准确率匹配到一个人类成本总额。如果 AI 系统解出了 N% 的题目，就找出（按人类成本计）最便宜的 N% 题目，并把这些成本相加，以确定作为基线的人类总额。
• 计入未解出的题目。对于 AI 未解出的每道题目，加上那底部 N% 中的最高成本。这确保人类和 AI 系统都在固定的每题预算下比较，而不依赖人类根据难度动态调整其做法。

Harvard University，METR 兼职实习生

futuresearch.ai，个别预测者简介见 futuresearch.ai/ai-2027

之所以采用 5%，是因为这大致是我们预测 AI 项目在达到 SC 前后将花费的比例：见我们算力补充材料中的“研究自动化”一行。

每项任务的时间跨度定义为：

• 对于没有固定时间上限的任务，取完成该任务的人类所用时间的几何平均。
• 对于 RE-Bench 这类人类有固定时间上限的任务，成功依据人类基线者的平均分作二值化处理，时间跨度取为时间上限（8 小时）。

（2025年12月编辑：我们现在认为这一论证是错误的）如果我们计入公开与内部之间的差距似乎随时间缩小这一点，趋势很可能会进一步偏向超指数性。据传 GPT-4 是在预训练完成 7 个月后发布的，而如今延迟似乎小得多；例如据发布视频，Grok 3 是在预训练完成一个月后发布的。

支持最终出现超指数性的另一个论证是：超人类 AGI 似乎应该有无限的时间跨度。然而，在上文改编自 METR 报告的时间跨度定义下，尚不清楚无限时间跨度是否会被达到。这是因为 AI 是按其绝对任务成功率来评分的，而非看它是否比人类有更高的成功率。只要随着时间跨度变长，完成任务的能力存在下降趋势，时间跨度就不会是无限的。这在人类基线者身上已被观察到（见此处图 16）。即便无限跨度从未被达到，时间跨度也可能变得极其巨大，这仍会为超指数性提供一些支持。即便如此，在我们所预测的区间内，这为超指数性提供了多少证据仍不清楚。

如果延伸到每个后继时间跨度都需要在该跨度的任务上进行大量训练，或许情况确实会如此。

(1.315 + 2.30 + 1.195 + 1.575 + 2.335 + 1.475 + 1.465)/7 = 1.67

由于每个差距都用一个可测量的里程碑来定义，这意味着我们对各差距何时被跨越的预测，是对某些 AI 能力何时达成的经验性预测。能真正判定这些预测的基准目前尚不存在（届时所有相关的现有基准都已被饱和），但它们很可能会被创造出来。

具体而言，为了对相关性建模，我们对每个函数的 CDF 建模，并通过求取来自相关系数为 0.7 的多元正态分布样本的 CDF，来抽取每个值的百分位。

仅对此参数而言，我们指的是工作月，而非日历月。一个工作月为 4 周 × 每周 40 小时的实际工作，这意味着 1 个月的时间跨度对应 METR 图表中定义的 160 小时时间跨度。

回想一下，时间跨度是通过取人类成功完成时间的几何平均来确定的。在我们要求 SC 至少与人类一样快、一样便宜地解决任务的定义下，有几个原因会使得与人类团队基线技能水平相同的 SC 的可靠性水平低于 50%：(a) 在取几何平均之前只挑选成功的完成，会人为地压低时间跨度，从而导致更低的可靠性。(b) 如果许多能力相近的人反复做同一任务，数据很可能会有些右偏，若分布为对数正态，则意味着中位数与几何平均相等。然而，分布有可能比对数正态偏度更小，从而几何平均低于中位数，导致更低的可靠性。

该对数正态分布介于（下界 - 1）与（上界 - 1）之间，因为乘数的下界为 1。

我预测首个 SC 将大致具备第80百分位的研究品味，并有 20% 的概率它已经 >= 最优秀的 AI 研究者。

我假设这些认知任务不涉及其他瓶颈，一如 ARE 里程碑中所定义。当然，软件工程中存在一些非认知瓶颈，如编译，但这些很可能可以绕开。

一个完整的 SC 还需要更快、更便宜地做到这一点，但这将在时间跨度外推方法的后文中予以计入。

AI Futures Project

设计由 Lightcone Infrastructure 提供