起飞预测

Takeoff Forecast · 补充研究

Daniel Kokotajlo, Eli Lifland | 2025年4月

ai-2027.com 我们起飞预测的概览,假设训练算力不再增加。我们对从超人类编码者里程碑(于2027年3月达成)到人工超级智能这段时间的中位数预测约为1年,误差区间很宽。

2025年12月31日更新:我们已在 aifuturesmodel.com 发布了全面翻新的时间线与起飞模型。

在我们的时间线预测中,我们预测了从当下到超人类编码者(SC)之间的时间:一个能完成最优秀AGI公司工程师所能做的任何编码任务,同时快得多、便宜得多的AI系统。在本预测中,我们以SC于2027年3月达成为条件,这也是它在我们的情景中被达成的日期。

现在,我们将预测起飞:从超人类编码者到远超人类能力之间的时间。超人类编码者及其后续者将自动化完成跨越这段差距所需的大部分AI研发工作。

我们的方法论聚焦于预测软件驱动的智能爆炸的可行性与速度,在这种爆炸中,AI能力在数月至数年的尺度上出现巨大提升,主要由更高效地使用算力(改进的软件)驱动,而非更多的训练或推理算力。首先,我们列举出一系列AI能力里程碑的进展,重点关注AI研发能力,尽管我们认为通用能力也会同步提升。然后,对于里程碑A与B之间的每段差距,我们:

我们以SC于2027年3月达成为条件的预测总结在下面的图表和表格中。这些均假设训练算力不再增加。

ai-2027.com

里程碑以SC于2027年3月达成为条件的预计日期(中位数 + 80%置信区间)情景中达成的日期(竞速结局)仅靠人类、仅靠软件到下一里程碑的时间(中位数 + 80%置信区间)AI研发进展倍增器:AI相对于仅靠人类带来的算法进展加速
超人类编码者(SC):一个能完成最优秀人类编码者在AI研究相关任务上的工作、但速度更快,且便宜到足以运行大量副本的AI系统。2027年3月2027年3月SC到SAR:15%概率为0年;否则为4年(80%置信区间:1.5到10;对数正态)(推理)5(推理)
超人类AI研究者(SAR):一个能完成最优秀人类AI研究者的工作、但速度更快,且便宜到足以运行大量副本的AI系统。2027年7月(2027年3月到2028年3月)2027年8月SAR到SIAR:19年(80%置信区间:2.3到380)(推理)25(推理)
超级智能AI研究者(SIAR):一个在AI研究上远胜于最优秀人类研究者的AI系统。2027年11月(2027年5月到2034年)2027年11月SIAR到ASI:95年(80%置信区间:2.4到1,000,000)(推理)250(推理)
人工超级智能(ASI):一个在每一项认知任务上都远胜于最优秀人类的AI系统。2028年4月(2027年6月到>2100年)2027年12月N/A2,000(推理)

下文中,我们将:

我们模拟所用的代码在此。

2025年12月添加的免责声明:本预测在很大程度上依赖直觉判断,且涉及高度的不确定性。遗憾的是,我们认为要预测AI起飞速度,纳入直觉判断是必要的,因为根本没有足够的证据来做出确凿的外推。

概览

我们聚焦于预测一场潜在的软件驱动的智能爆炸,在其中AI能力在数月至数年的尺度上出现巨大提升,主要由更高效地使用算力(改进的软件)驱动,而非更多的训练算力。

首先,我们列举一系列AI能力里程碑的进展(更精确的定义见下文):

然后,对于里程碑A与B之间的每段差距,我们:

聚焦于软件改进

我们把AI的进展拆分为硬件:使用了多少算力(「compute」);以及软件:用来把算力转化为更强AI的算法和数据。

在本文中,我们主要聚焦于一场可能的软件驱动的智能爆炸,在其中AI能力在数月至数年的尺度上出现巨大提升,主要由更高效地使用算力(改进的软件)驱动,而非更多的训练算力。本报告详细讨论了软件驱动的智能爆炸的可能性。我们聚焦于软件,是因为其反馈回路更强:改进的算法几乎可以立即用于训练更强的AI,而改进的硬件设计则需要相当长的时间才能规模化生产(用任何类似我们当前方法的手段)。

里程碑定义

下面我们给出我们选择预测的AI能力里程碑。

里程碑名称与简短定义情景侧边栏中的名称完整定义
超人类编码者(SC):一个能完成最优秀人类编码者在AI研究相关任务上的工作、但速度更快,且便宜到足以运行大量副本的AI系统。超人类编码者一个这样的AI系统:公司可用其算力预算的5%运行相当于其人类研究者数量30倍的智能体,其中每个智能体平均以公司顶尖编码者30倍的速度完成AI研究相关的编码任务(例如实验实现,但不含构思/优先级排序)(即任务耗时为其1/30,不一定是指其写代码或「思考」的速度是人类的30倍)。它必须具备足够多样的专业知识,以平均达到同样水平地胜任其他具有互补技能的顶尖编码者的工作。由于SC是AI研究的一个子集,它不可能出现在完全的超人类AI研究者(下文的SAR)之后。话虽如此,它在首次达成时也会具备一定程度的「研究品味」和其他AI研究技能,甚至如果编码是最后一项所需技能,它可能已经是一个完整的SAR。
超人类AI研究者(SAR):一个能完成最优秀人类AI研究者的工作、但速度更快,且便宜到足以运行大量副本的AI系统。超人类AI研究者一个能完成最优秀人类AI研究者工作、但速度快30倍、且智能体数量多30倍的AI系统,如上文超人类编码者里程碑中所定义。它必须具备足够多样的专业知识,以平均达到同样水平地胜任其他具有互补技能的顶尖研究者的工作。
超级智能AI研究者(SIAR):一个远胜于最优秀人类AI研究者的AI系统。SAR与SIAR之间的差距是「自动化的中位数研究者」到SAR之间差距的2倍。超级智能AI研究者一个远胜于最优秀人类研究者的AI系统:SAR与SIAR之间的差距是「自动化的中位数AGI公司研究者」到SAR之间差距的2倍。这里所谓2倍,是指如果我们考察AGI公司研究者的技能分布(以适用认知任务上的技能来衡量,而非包含算力瓶颈在内的总体生产力;所以基本上就是劳动价值),那么该AI高于顶尖研究者的程度,比顶尖研究者高于中位数研究者的程度多出2个翻倍(即在对数空间中差距大2倍)。它同样满足30倍的任务完成速度和30倍副本数量的要求。
人工超级智能(ASI):一个在每一项认知任务上都远胜于最优秀人类的AI系统。全面超级智能粗略地说,就是一个针对每一项认知任务的SAR。一个在每一项认知任务上都胜过最优秀人类专家的AI系统,其胜过的程度比最优秀人类专家胜过中位数人类专家的程度多2倍(面向整个领域,而非像SAR那样面向单个公司)。

仅靠人类、仅靠软件的预测

设想这样一个情景:我们从一个SC起步,人类被要求在无法使用SC来加速研究的情况下创造出一个SAR。他们还使用固定的硬件供给,且无法训练总训练FLOP超过训练SC所用量的系统。人类研究者的规模是固定的。关于该情景的更多细节,见下文的「无AI」澄清。

随着时间推移,他们会遭遇收益递减,我们力图在预测中把这一点纳入考量。

我们的方法论包括预测在上述情景中人类研究者从SC到SAR需要多久,以及相应地预测里程碑之间进一步跨越的时间。我们通过结合对能力跨越具体细节的推理、并显式计入收益递减来完成这一预测(在SC→SAR的预测中,我们并未显式计入收益递减,而是力求通过我们对所需时间的直觉来隐式处理)。

计入AI研发自动化:AI研发进展倍增器

概览

简而言之,AI研发进展倍增器指的是使用AI时AI软件改进推进的速度比不使用AI时快多少。

为了把进展倍增器纳入我们的预测,我们首先预测里程碑A和B各自带来的AI研发进展倍增器,然后运行一个模拟——在其中把倍增器随时间在这两者之间进行插值——以得出A与B之间日历时间的预测分布。

我们的进展倍增器预测基于对AI对研究过程之影响的推理,以及对AI研究者的调查。

AI研发进展倍增器定义

更全面地,考虑以下条件:

两个项目都不被允许进行显著的算力扩张。在(1)而非(2)中,AI研发能力会提升得快多少?也就是说,对于什么样的N值,你公司的算法进展生产力在以下两种情况之间是等效的:(a)N周内没有2024年后的AI来加速算法进展,vs.(b)1周内有2024年后的AI?例如,若N为5,则5周无AI的进展等效于1周有AI的进展,因此AI把生产力提高了5倍。

关于进展倍增器定义细节的澄清,见附录。

从SC到SAR

我们假设已在2027年3月达到超人类编码者。那么,还要多久才能达到超人类AI研究者(SAR):即技能与最优秀人类研究者相当、但完成任务快30倍、数量多30倍的AI智能体?

我们的方法将是(如上文所述):

结果概览:

预测推理
SC到SAR,仅靠人类、仅靠软件的时间15%概率为0年;否则为4年(80%置信区间:1.5到10;对数正态)基于情形分析,取决于训练一个SAR的要求(更多)。
SC进展倍增器5对SC提供的各种加速的分解(更多)。
SAR进展倍增器(在下一节中,计算中间加速时需要)25三种方法的结合,其中最主要的是依赖对AI研究者就各种假设情景所作回答的调查(更多)。
SC与SAR之间的时间0.3年(15%概率为0年,第90百分位为0.95年)FutureSearch综合结果(n=4):0.55年(0, 2.1)模拟结果

从SC到SAR的仅靠人类的时间线

在只有人类从事AI研发且训练算力不增加的情况下,从SC到SAR需要多久?以下是我们的预测,通过对从SC到SAR可能所需条件的分解得出:

从SC到SAR需要什么?仅靠人类、仅靠软件的时间线推理摘要
1)首个SC已经是一个SAR或非常接近SAR(15%)0年莫拉维克悖论,以及普遍无法猜测哪些技能最终会比其他技能更难(更多)。
2a)训练缺失的SAR技能所需算力不比SC更密集(25%)2年(80%置信区间1到4;对数正态)或许需要新的训练环境,但由于这些技能差别不大,它们所需算力并不比训练SC所需的更密集(更多)。
2b)在没有进一步算法进展的情况下,训练缺失的SAR技能会比SC所需算力更密集(30%)约5年(80%置信区间:2到15;对数正态)或许需要新的训练环境,而且它们的算力密集程度也大得多,例如让更大的智能体团队在主观意义上的数年间完成大型ML研究项目,而非在主观意义上的数月间完成中等规模的ML编码项目(更多)。
3)跨越从SC到SAR的差距是一个科学问题而非工程问题(30%)约5年(80%置信区间:2到15;对数正态)我们猜测这类局限需要数年而非数十年才能克服;只需看看过去十年的进展,例如从AlphaGo到EfficientZero(更多)。
总体分布15%概率为0年;否则为4年(80%置信区间:1.5到10;对数正态)用一个对数正态分布来近似上述各情形的混合。

情形1:首个SC已经是一个SAR(15%)

可能出现这种情况的一些原因:

若情形1成立,则从SC到SAR的时间为0年。

情形2:首个SC不是SAR,原因是其训练环境没有教会它必要的技能(55%)

在这种情况下,通往SAR的最短路径很可能涉及编写全新且改进的训练环境来教授这些技能。例如,也许新环境涉及管理一支由SC组成的研究团队,任务包括「复现这篇论文」「在这个SOTA上做出改进」「在实验运行前预测其结果」以及「假设你的训练数据截止到6个月前,预测过去6个月最有前景的研究突破」。

然而,为这类任务获取真实标签(ground truth)似乎非常困难,这可能成为构建正确训练环境的一大概念性障碍。不过,这并非对所有任务都是障碍,而且此时我们已经有了SC。许多SC任务同样很难获取真实标签数据,例如「写出忠实体现管理该项目的科学家意图的、安全整洁的代码」。也许对SC奏效的方法,稍加调试后也会对SAR奏效。若不然,则进入下文的情形3。

训练缺失的SAR技能的环境,默认并不比训练SC的成本需要更多算力。在这种情况下,瓶颈在于新训练环境的设计、构建与测试。

在由人类工程师完成这些工作的情况下,我们猜测这需要1到4年。

在这种情况下,训练SAR所需的环境将需要大幅增加算力支出。因此,SAR里程碑将在「有效算力」增加一定量之后才能达成,其间算法进展会降低算力需求,例如通过更高效的架构、更高效的RL算法、更复杂的训练环境等。

在由人类工程师完成这些工作的情况下,我们猜测这需要约2到15年。

情形3:(30%)跨越从SC到SAR的差距是一个科学问题而非工程问题

最后,首个SC之所以不是SAR,也可能是由于某些其他局限(例如使用了数据效率低下的架构+RL算法,或需要真实标签训练信号)。在情形3中,跨越从SC到SAR的差距是一个科学问题而非仅仅是工程问题,例如:

总体而言,我们猜测这类局限需要数年——但不是数十年——才能克服;只需看看过去十年的进展,想想已经克服了多少类似的障碍。例如,在博弈类RL AI的历史上,我们大约用了十年就从AlphaGo走到了EfficientZero。

请记住,我们假设SC于2027年3月达成。我们认为,大多数会阻止SAR在2027年变得可行的可能障碍,同样会阻止SC在2027年变得可行。

所以在这种情况下,我们猜测在由人类从事AI研发时,这需要约2到15年。

SC会将AI研发加速约5倍

请记住,超人类编码者(SC)的定义为:

超人类编码者(SC):一个这样的AI系统:公司可用其算力预算的5%运行相当于其人类研究者数量30倍的智能体,其中每个智能体平均以公司顶尖编码者30倍的速度完成AI研究相关的编码任务(例如实验实现,但不含构思/优先级排序)(即任务耗时为其1/30,不一定是指其写代码或「思考」的速度是人类的30倍)。这包括能够完成任何人类研究者专业领域内的任务。

我们大体上把AI软件研发过程理解为主要涉及两类活动:

我们认为实验实现比实验选择更容易自动化,因为更容易获得大量自然编码数据,也更容易生成合成数据——这是由于编码比实验选择更容易评估。这在当今的AI系统中得到了印证,它们在编码方面的帮助大于在实验选择方面。

当我们讨论SC时,我们讨论的是在(2)实验实现上与最优秀人类相当、同时更快更便宜的AI。在主线情形中,SC并不完全自动化AI研发;相反,AGI项目中的精英人类科学家管理着大批AI智能体团队,后者迅速执行他们的研究愿景。

一个更详细的AI软件研发模型来自一份Epoch报告:

更现实的图景会是分形的——大回路由更小的回路组成,后者又由更小的回路组成。放大来看,我们会发现诸如「想出代码应有的一个新功能;把它草拟出来;运行代码看它是否奏效;重复……」这样的小回路。例如,一个典型的月份可能是这样的:

项目的大部分算力都投入到正在进行的大型新训练运行中。剩余的算力被分配给N个团队。这N个团队中的每一个每周进行1次小规模训练运行;在这些运行的间隙,个别团队成员进行微规模的「热身运行」来测试和调试他们的代码。因此,想法先在微规模上测试并调试,然后这些想法较好的版本在小规模上测试,接着最有前景的存活想法被进一步测试、放大到更大规模,并最终整合进训练运行。总体而言,算力不会被浪费——当一个团队(或个人)在写代码或分析他们最新的结果时,GPU正嗡嗡地运行着别人的实验。

如果存在一个SC并被整合进这一过程,它可以大幅缩短完成回路中某些任务所需的时间,从而加快整体进展的步伐。有了大量廉价、快速的编码劳动力,单个研究项目就无需在写代码和运行实验之间交替。相反,过程中的「写代码」部分被大幅加速,以至于与其他部分相比它所耗时间可忽略不计。按定义,它至少被加速30倍,因为SC平均比最优秀编码者快30倍,再加上SC副本数是人类编码者的30倍,以及AI达到的是最优秀而非平均水平人类编码者的水平,加速还会更多。我们姑且说它被加速约100倍。

然而,编码上的这种100倍加速,将转化为整体研究速度上远小于100倍的加速——因为整体研究回路包括例如等待实验运行、讨论和分析实验结果、讨论下一个实验应该是什么等等,而我们假设的SC不会把这些加速多少;因此过程中的这些部分将成为瓶颈。

把这些瓶颈纳入考量,整体加速会是多少?我们不知道。但以下是我们目前的最佳猜测分解:

这四项加速估计通过一个Guesstimate模型组合起来,得到5.8倍的总加速(90%置信区间:3.4倍到10倍)。(这是模型内的不确定性;我们整体的实际不确定性更大。)另有一些调整:

本分析的一些局限:

我们将预测为5倍。我们重申这只是一个猜测,现实中它可能明显更快或更慢。

从SAR到SIAR

现在我们已达到超人类AI研究者,它正把AI研发加速25倍。那么,还要多久才能达到超级智能AI研究者(SIAR):一个胜过最优秀人类AI研究者的AI系统,其胜过程度是最优秀人类研究者相对AGI公司中位数研究者程度的2倍,同时速度快30倍、数量多30倍。

预测推理
SAR到SIAR,仅靠人类、仅靠软件的时间19年(80%置信区间:2.3到380)以SAR于2027年达成为条件的FutureSearch综合结果(n=3):11.5年(1.75, 27)基于对「自动化的中位数研究者」到SAR之间时间的比较(更多)。
SAR进展倍增器25倍三种方法的结合,其中最主要的是依赖对AI研究者就各种假设情景所作回答的调查(更多)。
SIAR进展倍增器(在下一节中,计算中间加速时需要)250倍基于关于人类范围内更优秀研究者之收益的调查数据(更多)。
SAR与SIAR之间的时间0.3年(80%置信区间:0.04到56 以SAR于2027年达成为条件的FutureSearch综合结果(n=3):1年(0.1, 2.1)通过模拟

从SAR到SIAR的仅靠人类的时间线

以下是一个简化模型,说明在固定硬件供给下,用于改进AI算法的人类劳动如何转化为以OpenBrain内部人类范围为参照来衡量的AI研发能力的提升:

在这个简化模型内,我们将思考我们情景中自动化的中位数OpenBrain研究者的到来,达到这一点花费了多少研究存量,以及从中位数研究者到SAR花费了多少研究。

通过做几个例子的情形分析,思考在我们的简化模型下收益递减在此如何运作:

总体上,我将按以下方式对我的预测建模:

这给出19年的中位数(80%置信区间:2.3到380)。我将采用它作为我的预测。

SAR会将AI研发加速约25倍

首先,我们讨论拥有SAR会是什么样子。然后,我们通过几种方法预测SAR进展倍增器:

预测的进展倍增器推理
方法1:加速分解417(90%置信区间:130到1900)结合对SAR预期加速的分解
方法2:对子问题的调查26(90%置信区间:8到139)由我们对AI研究者的调查所参照的一系列假设情景
方法3:更直接的调查24(90%置信区间:5到112)我们采用一份近期对研究者的调查——询问如果每位公司员工都能使用30倍副本、以30倍速度思考,进展会加速多少——然后针对所有SAR都与最优秀研究者一样出色的情形向上调整。
总体预测25我们认为方法2和方法3都比方法1更可靠,且它们出人意料地收敛到了相近的答案。因此,我们预测SAR进展倍增器为25倍。

拥有SAR会是什么样子

现在所有劳动都自动化了。这在量上是什么样子?

我们的算力预测推算OpenBrain在2027年将拥有约10,000,000个H100等效算力。如果他们把5%的算力分配给AI研发的推理,那么(考虑到我们关于模型大小、延迟瓶颈等的其他猜测)我们认为他们能够运行200,000个自动化研究者副本,每个约400 tokens/秒。如SAR定义所述,这支劳动力等效于50,000个以最优秀人类30倍速率完成任务的智能体。

我们认为他们可能有少量专用芯片(例如Cerebras),能以最高约2000 tokens/秒运行规模更小的一批AI。

SAR的效果比SC更易分析。所有劳动(包括实验选择)都被加速30倍,外加并行劳动者数量多30倍,再加上所有AI都是被加速的最优秀研究者,而非对应每个个体研究者的一个副本。

方法1:加速分解

为预测SAR的进展倍增器,我们首先做了一个类似于之前对SC所做的分解。我们思考了拥有SAR能在SC已能达成的基础上进一步加速事情的所有方式。我们得出了以下清单:

因素加速
灵活的优先级分配1.5到3
实验设计调试与提前停止1.5到3
尽可能做更小的实验 第二部分1.5到3
更加花哨的实验1.1到1.5
缺乏多样性造成盲点0.3到1
通过数量改进研究品味2到8
通过质量改进研究品味1.5到5
SC AI研发进展倍增器5
SAR AI研发进展倍增器417(90%置信区间:130到1900)

然而,这个进展倍增器感觉太高了。

方法2:对子问题的调查

情景步骤进展倍增器估计推理
OpenBrain的所有研究者被加速30倍7一项调查显示,AI研究者在算力少10倍的情况下,进展速度将只有原来的40%。被加速30倍意味着每单位主观时间你只有1/30的算力,这给出30倍速率进展中的22%。
加上30倍的并行劳动3(90%置信区间:1.5到6)通过头脑风暴并行劳动会在哪些方面有用来估计。
让每个人都和最优秀研究者一样能干2.5(90%置信区间:1.25到5)对「全是最优秀研究者的公司比全是中位数研究者的公司生产力高多少」这一问题的调查结果取一半。
更少的多样性0.25到0.95AI可能缺乏人类组织的多样性。
SAR达成26(90%置信区间:8到139)Guesstimate

让我们考虑一个简化的假设:AGI项目中的每位人类研究者和工程师都被替换为一个以30倍速度完成任务的自己的数字副本。那么公司里AI研发进展的步伐会加速多少?

我们有一些非正式、非科学的ML研究者调查数据,问了两个相关问题:

结果是:

尽管这些调查是非正式的、样本量小、误差区间宽,但它们聊胜于无。这里我们最感兴趣的是只有10%算力时速度下降的问题。我们从Slack投票中得到0.6倍的中位数,但这来自那些工作似乎不如Twitter投票者算力密集的人,而后者的工作又可能进一步不如前沿AI研究者算力密集。因此我们向下修正,并推测对于前沿AI研究者,算力减少10倍会把速度降到当前速率的40%。

把这些结果稍加外推,我们估计把算力预算减少30倍会把软件进展的步伐削减到当前速率的约22%。

在这个假设中,我们可以把软件进展的步伐理解为快了30倍,再乘以22%(因为这些快30倍的工作者每单位主观时间只有1/30的算力),从而得出7倍的进展倍增器。

我们从这个7倍的数字出发,然后逐步去掉这个假设中的简化,直到它转化为实际的SAR情景。

首先要去掉的简化是,在SAR情形中,SAR的数量大致是原公司研究者的30倍。现在,九个女人无法在一个月内生出一个孩子,所以这30倍的并行劳动增加将转化为远小于30倍的实际进展增加;但它仍然有帮助。假设在这种情况下用于实验的算力将是瓶颈,那么拥有30倍更多的科研劳动仍有一些方式可以帮助缓解这一瓶颈,例如:

总体上,我们估计这30倍的并行劳动因素会把事情加速3倍(90%置信区间:1.5到6)。

另一个要去掉的简化是,AI不再是所有能力参差不齐的人类员工的数字副本。SAR按定义将与最优秀的科学家和工程师一样出色。所以平均能力水平将上升到最高能力水平。

我们自己做了一个小型调查来获取关于这一点的信息——具体来说,在2024年11月到2025年3月间,我们调查了一些目前或曾经在OpenAI和Google DeepMind担任研究者或工程师的朋友。我们问(转述):「如果你公司里每个人都和最优秀的人一样出色,相比每个人都和(你公司的)中位数一样,研究会快多少?」在看到他们的回答之前我们的估计是快4倍;回答的中位数是6.25倍(n=8)。

我们的估计是,从当今的分布转变为让所有研究者都达到最优秀者的水平,捕获了「从全是中位数研究者到全是最优秀研究者」这一转变所带来加速的一半。所以我们估计这一因素带来的整体加速约为2.5倍(90%置信区间:1.25到5)。

还剩一个因素:多样性损失。「把你所有研究者都提升到最优秀者的水平」优于「把你所有研究者都变成最优秀者的副本」,因为任何个体都可能有其他人所没有的盲点或弱点。SAR大多是彼此的副本,所以这个问题的影响可能比在人类研究组织中更严重——后者仅凭拥有多名员工就天然带有一定程度的多样性。我们认为这可能很重要,但不确定性很高。我们大胆猜测这会把整体研究速度乘以0.28倍到0.95倍。

把所有这些数字组合起来,我们得到SAR带来的总倍增器为26(90%置信区间:8到139)。

方法3:更直接的调查

一份近期报告于2024年3月调查了五位前沿AI公司现任或前任员工,请他们参与以下这个恰好与我们的相当类似的假设情景:

「设想可用于实验和训练的算力基本上以过去几年的增长速率持续增长,但现在有一个大不同:你公司里每个人都有30个由AI驱动、以30倍速度工作的副本……现在让我们从非常宏观的层面来看,你认为前沿实验室AI能力进展的整体步伐相比当前会是怎样?」

结果从约1.5倍到20倍不等,对数均值约为5倍。我们把它表示为一个中位数约5、90%置信区间1.25到20的对数正态分布。

该调查与SAR进展倍增器之间有2处差异:

这给出24(90%置信区间:5到112)的结果。

这些研究者还被问到了更具体的问题,例如具体来自「能够在运行实验前可靠地调试实验」「能够更好地分配优先级资源」「能够在可能时以更小规模做实验」「能够运行更花哨的实验」等方面的加速。也许并不令人意外的是——考虑到其中涉及的巨大不确定性以及对此思考所花时间之少——他们给出的各单项加速数字相乘后得到的结果,明显高于他们直接给出的答案(各单项加速相乘的对数均值为14)。

从SIAR到ASI

现在我们已达到一个超级智能AI研究者。那么,还要多久才能达到人工超级智能(ASI):一个在每一项认知任务上都胜过最优秀人类专家的AI系统,其胜过程度是最优秀人类专家相对中位数人类专家程度的2倍(面向整个领域,而非像SAR那样面向单个公司)。

预测推理
SIAR到ASI,仅靠人类、仅靠软件的时间95年(80%置信区间:2.4到1,000,000)基于把这一跃升与SAR到SIAR的跃升作比较(更多)。
SIAR进展倍增器250倍基于关于人类范围内更优秀研究者之收益的调查数据(更多)。
ASI进展倍增器(计算中间加速时需要)2,000倍基于把这一跃升与SAR到SIAR的跃升作比较(此处)。
SIAR与ASI之间的时间0.16年(80%置信区间:0.01到>100)通过模拟

关于实验选择的看法

鉴于若没有改进的实验选择(即研究品味),我们会因硬件和延迟瓶颈而遭遇急剧的收益递减,因此预测超出人类范围的实验选择改进相当重要。

我们进一步的进展倍增器预测,受关于实验选择的两个关键看法的影响:

从SIAR到ASI的仅靠人类的时间线

我将相对于上文所预测的仅靠人类从SAR跨越到SIAR所需时间来思考这个问题。

SIAR与ASI之间有2段差距要跨越:

同样使用我在SAR到SIAR中所用的Davidson式收益递减函数,我随后通过以下方式对从SIAR到ASI所需时间建模:

这得出95年的预测中位数(80%置信区间:2.4到1,000,000)。我们认为第90百分位可能太高,不过请记住这是仅靠软件的改进,所以至少可以想象在达到ASI之前,在训练算力不增加的情况下,这些改进会大幅放缓。

SIAR会将AI研发加速约250倍

我们调查的中位数显示,从全是中位数研究者切换到全是顶尖研究者,会带来约6.5倍的算法进展速度提升。当只考虑「研究品味」而非工程时,中位数是3.25,而这可能更相关,因为一旦我们进入超人类自动化研究者阶段,我们可能会强烈受制于非工程任务的瓶颈。我们姑且说,一旦超过SAR,这个倍增器大约是3.25。

按定义,从SAR到SIAR就像2次这样的跃升,所以是3.25^2,约为进展倍增器的10倍增加。这给出250倍的进展倍增器。

ASI会将AI研发加速约2,000倍

上文我们估计,在不因「被削减」而向下修正的情况下,从SAR到SIAR会涉及中位数1.25次以SAR-到-SIAR为当量的跃升。这天真地会得出进展倍增器10^1.25倍的增加。然而,我们应当因r下降而向下修正,姑且修正为在SAR基础上的8倍,粗略估计为2,000倍。

相关工作

Davidson的《以算力为中心的框架对起飞速度的启示》

这份由 Tom Davidson 于2023年撰写的报告利用经济建模来预测AI起飞动态(描述、演练场)。该主模型并非设计来预测AI研发一旦完全自动化后会发生什么,例如从SAR到SIAR的过渡。预测完全自动化之后情况的那一节,推算出65%的概率会出现软件驱动的奇点,若发生,在中位数情形下会导致有效算力增加2-3个数量级。在即将发表的工作中,Davidson推算在完全自动化AI研发时,有50%的概率把3年的正常AI进展(按Davidson的计算,大致是3-4个数量级的有效算力)压缩进1年。

虽然我们主要并没有以「正常年份进展的数量级」来思考,但如果我们使用SAR→SIAR一节中讨论的Davidson式收益递减模型,我们可以反推出,我们对「r」(软件进展中努力增加所带来的收益率)的中位数值是4(如「情形1:5」中所讨论)。Davidson在2022年的最佳猜测是r=2,在更近期即将发表的工作中他的估计现在是1.2。r大于1意味着AI智能的每次提升都在随时间而变得越来越快,而随着我们接近智能极限,r会随时间下降。我们注意到Davidson的预期与我们的有显著重叠:例如r=2就在我们各自不确定性的边界之内。

我们在r上的分歧主要归结于关于如何计入向新能力跃升的直觉。Davidson主要通过测量效率改进来估计r:例如看2025年的算法要达到2015年AI的性能,所需的训练算力少了多少。然而,我们还需要计入能力改进:在固定训练算力阈值下AI能力的改进。这些可以被看作是「向上」测量而非向下测量的效率改进:例如看2015年的算法要达到2025年的性能,比2025年的算法多需要多少训练算力。然而,这些更难测量。

当向上测量时,人们可能得到高得多的r估计:算法可能对定性上的新能力扩展性很差。想想,即便 Magnus Carlsen 研究象棋研究了数十亿年,他也永远不会像顶级计算机国际象棋引擎那么强(如果他都不行,那更典型的人类肯定也不行)。随着算法改进足够大,甚至可能有实际上无穷多次的定性跃升。

Davidson把r乘以2,以计入在固定算力水平下能力的改进,也就是我们所说的向上测量。我们认为乘以2不足以应对因解锁新能力层级而带来的定性上的巨大收益(最终很可能达到以往训练方法在无限算力/数据下都永远无法达到的能力层级)。

关于这一问题,在Eli撰写的一份未发表草稿中有进一步讨论,此处。该草稿还包含关于Davidson模型其他问题的章节。

我们总体上对像本草稿这样对具体能力层级建模持乐观态度,将其作为对拟合过往数据的经济建模的一种补充。我们对过度依赖数学模型来预测定性性能变化持谨慎态度,尽管我们认为它们仍然很有信息价值。

另见此处对软件为主的智能爆炸的一种设想及其可能性的讨论。

GATE

GATE是Epoch近期发布的一个模型,它在Davidson模型的基础上构建了一个更聚焦于广泛经济自动化的版本(情景浏览器、论文)。与Davidson一样,他们并不宣称自己的模型对临近或完成完全自动化之后会发生什么能做出好的预测。

他们做出的、与潜在的软件驱动智能爆炸相关的主要改动是,把投资(即来自全球总产出GWP的一部分分配)作为AI软件研发的驱动力,而不允许改进的软件效率直接被用于进一步的研发。这导致了不那么激进的起飞预测,尽管其时间线要稍快一些。

我们更偏爱Davidson的选择。Epoch的建模侧重点与「AI的大部分价值将来自广泛自动化而非研发」这一观点相关。在那篇文章中,Erdil和Barnett论证AI的价值将由广泛的经济部署而非研发驱动,因为:

此外,在Epoch的默认情形中,他们把相对于今天的最大软件效率设为10,000,我们认为这远远太低。在Davidson的模型中,该参数默认设为1e12。

回应常见反对意见

上文我们对AI里程碑何时达成及其含义做了相对机制化的分析,并得出结论:很可能会出现一场「软件驱动的智能爆炸」——即由于在固定硬件供给下的AI软件进展,我们最有可能在一年内从超人类编码者走到超级智能AI。如果我们允许一些硬件增加,即一场软件「为主」的智能爆炸,这就更有可能了。

下面我们回应关于(a)如此快速进展的可能性以及(b)如此快速进展之后果的一些常见反对意见。

阿姆达尔定律

我们听到一些人提出这样的论点:由于自动化对研发的某些方面(例如收集人类数据)只能加速那么多,进展会受制于这些任务,从而导致进展倍增器不大(见阿姆达尔定律)。

具体来说,他们的论证大致是:任务X目前占用研究者在AI软件研发中10%的时间。因此,如果它不被自动化加速,AI软件研发就无法被加速超过10倍。

虽然这有几分道理,但该主张不成立,因为完成当前AI软件研发子任务的速度并不约束整个过程的速度。

要理解为何这在概念上是错误的,设想一个理论上的AI,它具有非常超人类的实验选择能力,但实验实现技能却低于人类。即便自动化根本没有加速AI实验的实现、且实现一开始占用研究者50%的时间,只要自动化带来了所选实验大幅改善,就能实现>2倍的AI研发进展倍增器。

关于这类瓶颈在实践中会在多大程度上存在:就收集人类数据而言,我们认为合成数据很可能会缓解这一瓶颈。此外,我们上文已论证过,改进的实验选择很可能有很高的上限,而只要能选出价值高N倍的实验,这就会把进展倍增器乘以N倍,无论研究过程的其余部分如何。

算力是AI进展的主导驱动力

这一观点假定以下若干点的某种组合:(a)训练算力远比算法进展重要,(b)对算法进展而言,实验算力远比研究者的质量和数量重要,(c)算法进展是由适应更大的算力规模驱动的,以及(d)一旦AI研发完全自动化,算法进展将接近基本极限,这将使算力成为进一步进展的主导驱动力。

关于这一点有很多可说的。首先,我们要指出,我们同意算力既是(a)整体AI进展的一个重要驱动力,也(b)对实验很重要。我们在预测中把这些瓶颈纳入了考量,但有些人在这些瓶颈影响有多严重这一点上与我们意见不同。

鉴于上文讨论AI研发进展倍增器的各节已在一定程度上回应了这个问题,我们在此仅指出几条论据,说明我们为何有更激进的预测:

AI研发进展倍增器总得在某处趋于平稳,为什么不是在10,000倍以下?为什么不是在1,000倍以下?

我们同意进展倍增器总得在某处趋于平稳。在我们的情景中,我们描绘它随着SC、SAR、SIAR和ASI里程碑的达成而持续上升,此后还会进一步上升。为什么?我们为什么描绘它到2035年一路上升到1,000,000倍?

我们实际上对这个平稳值会有多高(或多低)非常不确定。我们没有在估计这个量上投入很多精力,因为它对故事似乎并不重要——例如,即便进展倍增器在1000倍处趋于平稳,故事基本上也会照样发展。

然而,我们的最佳猜测是,这个倍增器最终会远高于1000倍。

回想一下,根据我们对前沿AI公司研究者的小型调查,仅研究品味这一项的差距,在他们公司的中位数与最优秀研究者之间就约为3倍。回想一下,研究品味基本上就是你从实验中学习的速度(例如通过选择更好的实验来运行,以及得出更正确的结论)。前沿AI公司的中位数研究者相当出色!他们相对于全球中位数AI研究者,很可能至少有3倍的研究品味倍增器,可能是10倍。而他们又远胜于普通人——后者基本上根本无法从事AI研发。

我们要表达的观点是,人类按研究品味的分布似乎是重尾的,而且似乎并未渐近逼近任何内在极限。

给定这样形状的分布,我们应当预期上限/渐近线在哪里?我们的思路受到与林迪定律的类比的启发,该定律指出,分布中未知的部分应当与已知的部分成比例地增加。也就是说,如果草坪上的一堆落叶已经存在了几天,我们对其剩余寿命的先验应以天来衡量;如果大金字塔已经存在了数千年,我们对其剩余寿命的先验应以千年来计量。依据同一原理的一个粗略版本,我们推测人类可达到的最大研究与工程速度,与顶尖人类天才的距离,大概和这些天才与其更普通同侪的距离相当。这是高度推测性的,除了「分布的上端很可能并非恰好巧合地落在我们迄今测量到的那个最后一点」之外,我们不想以任何自信断言任何事。

这反过来表明,仅仅通过大规模增加人类人口规模(例如拥有1000个地球,或一百万个),就会存在一个研究品味大幅优于今天最优秀人类的人。确切地说,也许大约好10倍——即需要少10倍的资源来做AI实验,就能取得同样多的算法进展。(这大致对应于SIAR,SIAR大约比SAR好10倍,而SAR就像最优秀的人类研究者,但更快更便宜。)

但所有可能的人类的空间,只是所有可能的心智的空间中的一个微小区域。事实上,数据中心上那支SIAR天才大军在设计空间中可及的所有可能心智的空间,远大于人类心智空间——有更多可供实验的自由度,例如大脑尺寸、核心学习算法、核心神经网络架构、各种东西的混合体……

这表明,在SIAR的研究品味与智能爆炸中最终可达到的水平之间,应当还有一段额外的差距。这段差距有多大?我们可以推理大脑中的低效之处,以及AI在这些维度上可能好多少。特别是,很可能存在比神经网络高效得多的架构,以及比大脑高效得多的学习算法。

但总体而言,这类事情很难推理:我们的处境就像一个穴居人沿着海滩走进海里,注意到水深到无法行走,然后想知道离岸数英里之外它最终会有多深。

另一个考量是,在某种意义上,进展倍增器在某些领域必须趋于无穷大。回想一下,进展倍增器是相对的:研发速度相对于无助人类会达到的速度。100倍的倍增器意味着人类需要一个世纪的研究在一年内就完成了。但最终AI将做出人类文明根本永远无法做出的发现。(正如人类文明已做出黑猩猩根本永远无法做出的发现。)这天真地折算为无穷大的进展倍增器。我们不确定在概念上如何处理这一点,但我们提出它是因为(如果你愿意的话)你可以把像1,000,000倍这样大得离谱的倍增器理解为其实是在说:「在某些领域,ASI有1,000倍的进展倍增器。在另一些领域,要高得多。在再一些领域,则是无穷大。后者相比前者足够常见,以至于实际上『平均下来』约为1,000,000倍。」

局限

由于时间限制,我们未能建模的重要动态包括但不限于:

未来的工作可以改进这些局限。

我们也对其他起飞预测方法感到兴奋,它们可以补充我们在此阐述的视角。

附录

AI研发进展倍增器的澄清

我们认识到这些看起来不够优雅,并鼓励他人提出改进建议。

由于上述第(2)点,AI研发进展倍增器不应被解读为对相关时期当前人类劳动的倍增器。它其实是对「假设没有AI自动化会出现的劳动供给」所投射出的劳动供给的倍增器。

请记住,不同的AI能力可能导致人们追求不同类型的研究议程。在讨论进展倍增器时,为简化起见,我们把这些差异(包括所追求议程在定性上的潜在差异)归约到单一维度上。

对「实验越来越难被找到」建模

在2024年初,Eli编写了一个模型,直接对实验过程建模,包括对一个实际的实验池、每个实验的实现耗时以及它们的价值进行建模。关于该模型的更多细节在此处。

我们认为这一方法有一定前景,但遗憾的是没能找到时间详细探究它。

插值是以指数方式进行的。

部分模型参数由Daniel选定,其余由Eli选定。由于时间限制,我们无法为每个参数独立地做出估计。就本预测代表某一个人观点的程度而言,它更接近Daniel而非Eli。话虽如此,他们二人都觉得整体分布是合理的。

我们还向FutureSearch的4位职业预测者征求了预测(简介见 http://futuresearch.ai/ai-2027 )。他们对SC→SAR和SAR→SIAR的预测作为脚注纳入下表中,并在后面的章节中展开。

这些有时会与预计日期不同,因为我们在锁定情景中的进展之后,仍对我们的时间线和起飞预测做了调整。如你所见,我们的不确定性大到让我们觉得情景中的日期几乎与我们的中位数一样合理。

FutureSearch综合结果:2027年10月(2027年3月到2029年4月)

FutureSearch综合结果,以SAR于2027年达成为条件的SAR→SIAR年数:1年(0.1, 2.1)(更多)

之所以使用5%,是因为这大约是我们预测AI项目在达到SC前后所花费的比例:见我们算力补充材料中的「研究自动化」一行。

请注意,一个「智能体」平均可能同时使用多个模型副本/实例,例如在最简单的情况下并行地进行多次尝试取其最优。

从技术上讲,我们对这个及下面的里程碑的定义,是基于「按我们截至2025年、忽略研究自动化的最佳预测,他们会拥有的人类研究者数量」的30倍,以此来规避以下问题:招聘更慢或因员工被自动化而裁员会实质性地改变里程碑。(见下文澄清(2))

在衡量任务完成速度时,我们没有把实验瓶颈或其他非认知瓶颈包括在内。

这个定义类似于此报告的定义,后者就AI研发自动化访谈了AI研究者。在我们的情形中,我们说所有智能体都比最优秀研究者快30倍,而他们讨论的是每位研究者的一个副本被加速30倍。

这个定义使用labor(劳动)而非log(labor)是没有意义的,因为那样会更差地拟合AI研究者能力的分布。

我们聚焦于AI研发能力,是因为它对起飞预测最为相关,但我们相信通用能力以及其他领域的能力也将快速提升,只是相较于AI研发专属能力有着不同程度的滞后。

这计入了算力瓶颈,但没有计入随时间因摘取低垂果实而产生的收益递减(我们倾向于不纳入这一点,以便在我们的起飞预测中隔离出算法进展这个变量,同时也因为最显而易见的那几种调整方式对诸如是否对所选指标取log()之类的选择高度敏感)。

它们也许并非在每一项任务上都字面意义上更快更便宜,但它们很可能在许多重要方面拥有巨大优势。

我们也可以直接谈论劳动,我们的最佳猜测是整体图景大致保持不变。

如果没有人类来帮助改进品味,他们的劳动价值大概仍高于中位数OpenBrain研究者,但低于第90百分位研究者,因为他们的工程技能弥补了其品味上的不足。

log(15/10)/log(2)

从技术上讲,R也应当随时间下降,但在短时间尺度上这不应是一个大的影响,所以我假设它保持不变。

(10+AMR_to_SAR)*2^(2*log((10+AMR_to_SAR)/10)/log(2))-(10+AMR_to_SAR)

这大约是我们预测的2027年OpenBrain研究者人口的30倍。

0.4^(log(30)/log(10))=0.22 请注意,做出这个估计之后我们想起AI不需要睡觉、吃饭或以其他方式休息,而是可以全天候工作。这意味着相比顶尖人类,可以说它们在某种意义上不是快30倍,而是快60倍或100倍。然而,出于种种原因,这不如字面意义上的思考时间串行加速那么有价值,而且更重要的是,我们的调查数据针对的是算力少10倍的假设,而非算力少30倍、60倍或100倍的假设,我们不愿把结果外推太远。(30倍感觉不算太远,但100倍感觉太远了。)Eli认为,出于这一考量,我们总体上应把本节中的进展倍增器从7提高到约10,但Daniel认为出于上述理由我们应保持在7。此外,Davidson等人的调查数据明确提示了受访者把这一「无需睡觉」的效应纳入考量,所以我们不需要因这一考量而更新方法3的结果。

结果是:25.6%的人认为快<20%,37.5%的人认为快20-200%,36.8%的人认为快两倍以上。

数据点:1.1, 1.02-1.1, 1.3, >1.5, 1.25, 1.01-1.1

数据点:「稍<0.5」, 0.2, 0.75-0.9,「理论研究1倍,实证研究0.5倍(把这些算作独立的数据点)」, 0.5-0.9

0.4^(log(30)/log(10))=0.22

6.25的平方根

计算见此电子表格。

((STOCK_THROUGH_SAR+SAR_TO_SIAR_YEARS)*2^(SAR_TO_SIAR_EQUIV_JUMPS*log(((STOCK_THROUGH_SAR+SAR_TO_SIAR_YEARS)/STOCK_THROUGH_SAR)/log(2))-((STOCK_THROUGH_SAR+SAR_TO_SIAR_YEARS)

Eth和Davidson近期就软件智能爆炸的可能性发表了后续工作,此处。虽然呈现方式更为精致,但它并未过多偏离2023年报告中相关章节的核心观点。

Epoch在此论文中以类似方式估计r。

举一个例子说明为何让倍增器更贴合当前具体情境会导致不理想的结果:当存在非常超人类的自动化研究者时,会有很大的AI研发进展倍增器,此时进展倍增器对「无AI」情形下人类研究者的数量和质量变得非常敏感;也就是说,进展倍增器在AI系统未变的情况下就会改变。如果我们允许各公司之间存在差异,我们可能会根据员工规模得到非常不同的结果,因此如果一家公司裁掉大量被淘汰的员工,其进展倍增器就会飙升。类似地,如果我们允许一家公司的进展倍增器随其人类劳动力而随时间改变,那么它在裁员时就会上升。如果我们允许进展倍增器根据算力量而改变,也会出现类似的问题,因为AI在利用高算力量方面有差异化的优势,所以算力的涌入会导致进展倍增器上升。这是我们为这个问题找到的最不糟糕的解决方案,但欢迎他人的反馈。

这一限制可能有点太严苛、也难以划出清晰的界线,不过稍后我们会纳入训练算力的增加。另见此报告,它论证了「需要重新训练模型」这一点不太可能成为决定我们是否会迎来软件驱动智能爆炸的关键。此外,在我们的情景中,SC之上通常不会从头重新训练,尽管有时会在以新范式继续训练之前进行大量蒸馏。用于实验、训练等的FLOP恒定在训练SC时所能获得的水平。

AI Futures Project

Design by Lightcone Infrastructure