1965年，I. J. Good首次提出了“智能爆炸”的概念，这个概念跟人工智能（AI）有关：
姑且把超级智能定义为一台远远超越任何人（不管他有多聪明）所有的智力活动的机器。既然设计机器也是这些智力活动之一，那么一台超智机器也可以设计出比自己更好的机器；这样一来无疑将出现“智能爆炸”，而人的智能将会被远远抛在身后。因此，鉴于这台机器足够温顺可告诉我们如何让它处在我们的控制之下，第一台超智机器将成为人类所需的最后一项发明。
数十年后，“智能爆炸”——也就是导致“超智”突然崛起，人类意外灭绝的概念已经在AI社区落地生根。知名的商界领袖把它当作比核战争和气候变化还要重大的风险来宣扬。普通的机器学习研究生也认可这一点。在2015年面向AI研究人员的一项调查中，29%的受访者回答说智能爆炸的发生“有可能”或者“高度可能”。另有21%者认为有非常大的可能性。
这些论断的基本前提是，在不久的将来，第一个“种子AI”将会被创造出来，这个AI会有稍微超过人类的一般问题解决能力。这个种子AI会开始设计更好的AI，开启一个可马上让人类智能望尘莫及的递归自我改进循环，在很短的时间内就超过了人类好几个量级。这一理论的支持者还把智能看成是某种超级力量，赋予其持有者塑造环境的近乎超自然的能力——比方说，就像我们在科幻电影《超验骇客》中所看到的一样。超级智能因此将意味着近乎全能，并且会对人类构成生存威胁。
这种科幻小说的叙述手法助长了危险的、具有误导性的有关AI风险与对AI监管需求的公众辩论。但我认为智能爆炸是不可能的——智能爆炸的看法来自于对智能的本质与递归式自我改进系统有着很深的误解。在本文中我会试着以对智能系统和递归系统的具体观察为基础提出我的观点。
源自对智能的误解得出的推理是有瑕疵的
就像产生于1960、1970年代的众多早期理论一样，智能爆炸背后的推理有点强词夺理：该理论把“智能”看成是一个跟环境脱节的、完全抽象的概念，并且忽视了有关智能系统和递归自我改进系统的已有证据。其实未必就是这样的。毕竟嘛，我们都生活在一个满是智能系统和自我改进系统（包括我们自己）的星球上，所以完全可以去观察这些系统并从中去了解，进而回答这个问题，而不是凭空想出毫无证据的循环论证。
要想讨论智能及其可能的自我改进属性，我们首先应该介绍一点必要的背景和上下文。当我们在讨论智能的时候我们在讨论什么呢？对智能本身的精确定义就是一个挑战了。智能爆炸的说法等同于体现在智能代理个体（目前的人脑、或者未来的电子大脑）身上的、有着一般问题解决能力的智能。当然这还不是全部，所以我们不妨把这个定义作为起点，然后在此基础上再慢慢拓展。
智能是情景化的
我认为智能爆炸理论的第一个问题是未能认识到智能是一个更大的系统的必要组成部分——以为智能是“密封起来的大脑”，独立于环境就能做出任意智能的东西来。大脑不过是一团生物组织罢了，它本身本来就没什么智能的。除了大脑以外，你的身体和感觉——你的感觉运动的环境赋使——这些都是思维必不可少的部分。你的环境是你的智能的基本部分。人类文化是你的智能的基本部分。毕竟，这些是你所有想法的来源。你不能够把智能跟表达智能的上下文脱离。
尤其是并不存在所谓的“一般”智能这样的东西。就抽象意义而言，我们是通过“没有免费午餐”定理了解到这一点——这个定理说的是没有一个问题解决算法能够比搜索空间的纯随机搜索算法更优。（对于所有可能的问题，任意给定两个算法A、A’，如果A在某些问题上的表现比A’好，那么A在其他问题的表现就一定比A'差，反之亦然。也就是说，任意两个算法A、A’对所有问题的平均表现度量是完全一样的）如果智能是个问题解决算法的话，那么只能针对特定问题来理解它。说得更具体一点，就经验来看，我们观察到的所有已知的智能系统都是高度专门化的。我们目前所开发的AI的智能都是专门用来处理相当狭隘的任务的——比如下围棋的，或者把图像分成1万个已知类别的。章鱼的智能时候专门用来处理章鱼所面临的问题的。人的智能是专门用来处理人所面临的问题的。
如果我们把刚刚形成的人脑放到章鱼的身体里面，然后让它生活在海底会发生什么事情呢？它甚至能不能学会运用自己有8条腿的躯体呢？它能不能活几天下来呢？我们无法进行这样的实验，但是我们的确知道人类和动物的认知发展是由硬编码的、先天的动力驱动形成的。人体天生就有一套预置的反射行为以及固有的学习模板来推动早期的感觉运动发展，而这个跟人类感觉运动空间的结构是紧密关联的。大脑已经把有手能抓东西，有嘴能吃东西，会转动的脑袋上面有眼睛能用于在视觉上跟踪对象（前庭眼球反射）的躯体概念硬编码进去了，这些感觉需要人类智能开始去控制人体。比方说Chomsky（乔姆斯基）就曾经令人信服地提出，非常高级的人类认知特点，比如发展出语言的能力，就是天生的。
类似地，为了学习如何运用章鱼躯体并且在章鱼的环境下生存，你也可以想象章鱼也有自己的一套必要的、硬编码进去的认知基元。人脑是高度针对人类环境的，这属于一种天生的专门化，这种专门化的范畴可能要延伸到社会行为、语言以及常识，而章鱼的大脑类似地也会高度针对章鱼的行为。人类婴儿的大脑哪怕嫁接到章鱼身体也很有可能无法对其独特的感觉运动空间进行充分控制，会很快死掉。现在你可就没那么聪明了，超级大脑先生。
如果我们把一个人放到一个不具备众所周知的人类文化的环境里面去会怎样呢？一群狼抚养长大的森林王子毛克利（Mowgli the man-cub）长大后会不会比他的犬科兄弟更聪明呢？或者跟我们一样聪明？如果我们用婴儿爱因斯坦替换婴儿毛克利的话，他会不会自学成才想出宇宙的大理论呢？经验证据相对比较缺乏，但是就我们所知，在脱离人类文化的自然环境下长大的小孩并不能形成任何的人类智能。在野外抚养的野孩子从一开始就其实就变成了动物，就会回归文明也不再能养成人类行为或者语言。在南非，由猴子抚养的Saturday Mthiyane 5岁时被人发现后，直到成人都一直保持着猴子的行为——跳跃和走路都是四脚着地，不会说人话，并且拒绝吃煮过的食物。至少在形成期跟人类有过部分接触的野孩子往往运气好点，可以接受再教育，尽管罕有逐步发展成心智健全人的情况。
如果智能跟特定的感觉运动形式、特定的环境、特定的抚养方式，以及需要解决的特定问题存在着根本联系的话，那你就不能指望仅仅通过调整自己的大脑来随意增加一个智能体的智能——不像你可以通过加快传送带的速度来提高工厂生产线的吞吐量。智能的发展只能来自于智力、感觉运动的形式及其环境的共同进化。如果大脑的引擎是你解决问题能力的定义因子，那么那些智商远超出人类智能正常范围的罕见人类将生活在远远超出正常生活的范围，他们将可以解决以前被认为是无法解决的问题，并且会占领世界——就像有些人害怕比人类聪明的AI会干的事情一样。实际上，具有特殊认知能力的天才往往过着极其平凡的生活，他们当中很少有人能够取得任何显赫的成就。在Terman里程碑式的《天才的遗传研究》中，他注意到他的那些天赋异禀的研究对象当中，大部分都会追求“像警察、海员、打字员以及档案管理员这样不咋的职业”。目前智商高于150的大概有700万人——其认知能力要高于99.9％的人——但大部分都不是你在新闻里看到的人。在那些真正想要控制世界的人当中，几乎很难看到有谁是智力超常的；据说，希特勒是一名高中辍学生，曾两次试图进入维也纳艺术学院而未果。
最终在难题上取得突破的人往往结合了环境、性格、教育、智能等因素，通过逐步改进前人的工作而取得突破。成功——表现智能——是因为充分的能力正好遇上了一个很好的问题。这些杰出的问题解决者当中的大多数甚至都不算聪明绝顶——他们的技能似乎专注于特定领域，在自身领域之外通常并没有展现出超过平均水平的能力。有些人的成就更大是因为他们是更好的团队成员，要么就是更加果敢更有职业道德，或者想象力更丰富。有些人正好生活在合适的环境下，在合适的时机进行了一场合适的对话。智能从根本上来说是情境化的（注：天时地利人和缺一不可）。
我们的环境对个体智能有硬性限制
智能不是超能力；超常智能本身并不能让你对自身境遇拥有相应比例的支配力。不过尽管存在一定争议，原始的认知能力（以IQ衡量）相同的一群人与其社会成就接近平均水平的那部分存在相关性，这倒是有据可查的事实。这在Terman的研究中首先得到了证实，后来又得到了其他人的佐证——比方说，Strenze在2006年进行的一项范围很广的元分析发现，智商与社会经济成功之间存在明显的相关性，尽管这种相关性稍弱一点。因此，从统计分析来看，一个智商为130的人要比智商为70的人更有可能处理好各种生活问题——尽管这一点在个人层面上从来都没有确保如此——不过突破了某一点之后，这种相关性就被打破了。并没有迹象表明智商为170的人在某一领域的影响力就会大于智商为130的人。实际上上，许多最有影响力的科学家智商往往在120或者130左右——费曼据说是126，跟别人一起发现了DNA的James Watson为124，这跟普通科学家的水平是完全一样的。与此同时，智商在170或以上的人目前在世的大约有5万人，但这些人当中又有多少个能解决任何重大问题呢，哪怕重要程度只有Watson教授解决的那个的十分之一也行？
为什么超过一定的阈值后原始认知能力在现实世界中的效用就会停滞不前了呢？这指向了一个直观的事实：成就高需要有足够的认知能力，但是问题解决目前的瓶颈是表现出来的智能，而不是潜在的认知能力本身。瓶颈是我们的环境。决定了我们的智能表现如何的环境，对我们的大脑能够做什么施加了严格的约束——它限制着我们长大有聪明，限制着我们能够如何有效地利用我们形成的智能，限制着我们能解决什么问题。所有的证据都表明，我们现在的环境，就像此前20万年前的人类历史和史前史一样，并不允许高智商的人充分发挥和利用他们的认知潜能。一万年前的一个潜力巨大的人可能是在一个低复杂度的环境中被抚养成人的，他可能只会说一门语言，其单词量不超过5000，一辈子可能都没人教他书写，能接触的知识非常有限，几乎不会遇到什么认知挑战。对于大多数现代人来说目前情况要好一些，但是没有迹象表明我们的环境机会目前超过了我们的认知潜能。
不知道为什么，我对爱因斯坦大脑的重量和脑回的兴趣，总比不上我对那些几乎肯定要在棉田和血汗工厂生老病死的同等天才的关注
——Stephen Jay Gould
一个在丛林中长大的聪明人不过是一头不长毛的猿人罢了。类似地，把有着超人大脑的AI放到人体，然后处在现代世界的环境下，未必就能发展出比一位聪明的当代人更强的能力。如果能的话，那么超高智商的人类就早就已经展现出相应超常水平的个人成就了；他们将会对自己的环境取得超长水平的控制，并且解决重大的悬而未决的问题——但其实他们并没有。
我们的智能大部分不在于大脑，而是具体体现在我们的文明之中
我们大脑能形成多大的智能不仅取决于我们的身体、感觉和环境，更关键的是，我们的生物大脑只不过是我们智能整体的一小部分。认知假肢包围着我们，插入到我们的大脑，并拓展了大脑解决问题的能力。你的智能手机，你的笔记本电脑，Google搜索，你在学校学会的认知工具，书本，其他人，数学符号，编程，这些都是认知假肢。不过在所有认知假肢中最基本当然是语言本身——语言在本质上属于一个认知操作系统，没有语言我们没法思考那么太远。这些东西不仅仅是提供给大脑使用的知识，而且其实是外在的认知过程，是运行思考和问题解决算法的非生物手段——这种手段超越了时空，更重要的是超越了个体。我们的认知能力主要体现在这些认知假肢，而不是我们的大脑。
我们是自己的工具。个人本身并没有太多的用处——再强调一次，人不过是用双脚走路的猿罢了。是几千年以来不断积累的知识和外部系统，也就是所谓的“文明”，让我们超越了动物性。当科学家取得突破时，其大脑进行的思考过程只不过是方程式的一小部分罢了——研究人员把大量的问题解决过程都交给了计算机、其他研究人员、论文笔记、以及数学符号等。他们之所以能够取得成功，是因为他们站在了巨人的肩膀上。他们自己的工作不过是成千上万人在几十年的时间跨度内进行的问题解决过程的最后一个子程序罢了。他们自己的认知工作的重要性可能并不比芯片上的一个晶体管的工作大多少。
个人大脑无法实现递归智能增强
大量证据表明，个人大脑本身无法设计出超越自身的更强智能。这个说法纯粹是出于经验主义：在出现又消失的几十亿人脑当中，并没有哪一个做到过。显然，一个人的智能一辈子也无法设计出智能，否则的话，经过数十亿次的试验之后这件事早就应该可以了。
不过，在这几千年的时间里，这数十亿的大脑却不断积累知识，发展出外在的智能处理过程，实现了一个系统——文明——最终形成了比一个人更智能的人工智能。创造出超人AI的是整个文明，而不是你我或任何个人。这个过程牵涉到无数人，所经历的时间跨度远非你我可以理解。这个过程牵涉到了比生物智能甚至多得多的外部智能——书本、计算机、数学、科学、互联网等。在个人层面上，我们不过是文明的载体罢了，我们只是在之前工作的基础上做事情，然后传递我们的发现。我们只是文明运行的问题解决算法的一个一闪而过的晶体管。
在经过几个世纪的共同发展后，未来的超人AI是否有能力发展出比自己更强的AI来呢？不能，我们当中没有一个人可以。回答说“能”就是公然藐视我们所知道的一切——再次地，请记住没有人或者任何已知的智能体曾设计出来过比自己更聪明的东西。我们所做的是逐步地、共同地开发出比我们自身更强大的，问题解决的外部系统。
不过，就像人类和人类迄今所开发出来的其他智能系统一样，未来的AI将会为我们的文明做出贡献，而我们的文明反过来又会用它们来不断扩展所发展出来的AI的能力。从这个意义上来说，AI与计算机、书或语言本身并没有区别：它是为我们的文明赋能的技术。因此如果说超人AI的出现意味着奇点的话，这个奇点的意义跟计算机，书或语言的出现并没有什么两样。文明会发展人工智能，然后不断前进。文明最终将超越我们的现状，就像它超越了我们一万年前的状况那样。这是一个渐进性的进程，而不是突然转变。
智能爆炸——也就是一个问题解决能力超越人类的“种子AI”出现后会导致突然的、递归性、逃逸式的智能改进循环，它的基本前提是错误的。我们的问题解决能力（尤其是我们设计AI的能力）已经在不断改进，因为这些能力主要不是局限在我们的生物大脑里面，而是存在于我们外部的共同工具里面。这个递归循环已经运作了很长一段时间，但是“更好的大脑”的崛起并不会对其产生实质性的影响——这种影响并没有比任何之前的智能增强技术的作用大。我们的大脑本身用来都不是AI设计过程的瓶颈。
这种情况下你也许会问，难道文明本身不是自我改进大脑的逃逸手段吗？我们的文明难道没有出现智能爆发吗？没有，关键是文明级的智能改进循环仅仅导致了我们的问题解决能力的，可测量的、线性的进展。并没有出现爆发的现象。可是为什么呢？难道X的递归改进在数学上不会导致X的指数增长吗？不会——简单来说，因为复杂的现实世界系统里面没有一个可以简单建模为 `X（t + 1） = X（t） * a, a > 1`。没有一个系统存在于真空之中，智能和文明尤其不可能。
我们所知道的递归自我改进系统
当智能系统开始优化自己的智能时，我们用不着猜测会不会发生“爆炸”。其实大多数系统恰恰就是递归自我改进的。这样的系统在我们周围比比皆是。所以我们完全清楚此类系统在各种情况以及在不同的时间尺度上是如何工作的。你自己就是一个递归自我改进系统：自学让你自己变得更聪明，反过来又让你更高效地自我教育。同样地，人类文明在更长的时间尺度范围都在递归改进自我。机电系统是递归自我改进的——更好的制造机器人可以制造更好的制造机器人。军事帝国是递归递归自我扩张的——你的帝国越大，用于扩张帝国的军事手段就越大。个人投资是递归自我改进——你越有钱，你就可以赚更多的钱。例子到处都是。
比方说我们可以看看软件。编写软件显然可以为软件编写赋能：首先，我们编写编译器，后者就可以执行“自动化编程”，然后我们利用编译器开发新语言来实现更强大的编程范式。我们利用这些语言去开发更高级的工具——调试器、IDE、代码校验工具（linters）、bug预测工具等。在未来，软件甚至能够自己写软件。
但这种递归自我改进的最后结果是什么呢？你用你的软件能够比去年多写2倍的代码吗？明年你能不能在此基础上再翻2番呢？尽管我们已经为软件的制作投入指数级的努力，软件的用处无疑是以一种可衡量的、线性的节奏在改进的。几十年来，软件开发者的数量一直呈指数性的发展，而软件运行所在的晶体管的数量也成指数增长，遵循着摩尔定律。但我们的计算机只是比2012、或者2002甚至1992年的变得更有用了一点。
可为什么会这样呢？这主要是因为软件的有用性根本受限于应用的上下文——这跟智能是由智能自我表达所处的上下文所定义并被其限制非常像。软件只是一个更大的过程——我们的经济、我们的生活的一个齿轮——就像我们的大脑只是一个更大的过程——人类文化的一个齿轮一样。这个上下文对软件潜在的最大有用性施加了严苛的限制，这一点跟我们的环境对任何个体（哪怕有着天赋异禀的大脑的个体）能变得多聪明施加了严格的限制非常像。
除了上下文的硬性约束之外，即使系统的一部分具有递归自我改进的能力，系统的其他部分也不可避免地会成为瓶颈。递归自我改进会引起逆反过程的挤压——在软件中，这个过程是资源消耗、功能蠕变、UX问题等。如果是个人投资，你个人的开支率就是这样一个逆反过程——你拥有的钱越多，你要花的钱就越多。如果是智能，系统间的通信就是底层模块改进时的刹车板——有着更智能部件的大脑在协调它们时会遇到更多的麻烦；一个有着更聪明个人的社会在人际关系和沟通上的投入要多得多。智商很高的人更可能患上特定的精神疾病，这也许并不是巧合。过去的军事帝国在超过一定的规模后就会土崩瓦解，也许并非偶然。指数性发展会遇到指数级的阻力。
科学进步就是一个值得关注的具体例子，因为它在概念上与智能本身非常接近——作为一个问题解决系统，科学非常接近与逃逸的超人AI。科学当然是一个递归自我改进系统，因为科学的进步导致了科学的发展——无论是实验室硬件（例如量子物理导致激光的诞生，这反过来又使得量子物理实验成为可能），概念工具（如新定理、新理论），认知工具（如数学符号），软件工具等使得科学家能够更好地协作（如互联网）……
然而，现代科学的进步却还是线性的，这是可以看出来的。我在2012年的一篇题为《奇点没有到来》的文章中详细描写了这一现象。1950—2000年期间我们在物理学方面没有比1900—1950年期间取得了更大进展——不过我们可以说做得一样好。现在数学的发展速度并不比1920年快得多。数十年来，基本上在左右指标上医学科学正在取得线性的进步。尽管我们在科学领域投入了指数级的努力——研究人员的数量每15到20年就要翻一番，而这些研究人员用于提高生产力的计算机速度也在呈指数式的发展。
为什么会这样？是什么样的瓶颈和对抗性的反作用力延缓了科学的递归自我改进？太多了，我甚至都数不过来。这里只列出了少数。重要的是，这些因素每一个也适用于递归自我改进的AI。
随着时间的推移，在特定领域从事科学研究的难度呈指数式上升——这个领域的创始人已经把最容易取得的成果收割掉了，在之后要想取得可比的影响力需要的努力呈指数式增长。在信息论方面，没有一个研究人员所取得的进展能跟香农在1948年的论文那样相提并论。
随着一个领域变得越来越大，研究人员之间共享和协调的难度也呈指数式上升。想要跟上如潮水般的新发布文章变得越来越困难。记住，一个有N个节点的网络连接数可是N * （N - 1） / 2 。
随着科学知识的拓展，投入到教育和培训的时间和精力在不断增多，研究人员的研究领域也变得越来越狭窄。
实际上，系统瓶颈、收益递减以及对抗反应最终会挤压我们周围所有递归过程的递归自我改进。自我改进确实能带来进展，但是这种进展往往是线性的，或者充其量是S曲线式的。你投资的第一笔“种子美元”通常不会带来“财富爆炸”；相反，投资回报与支出增加之间的平衡往往能让你的储蓄随时间转移而大致呈线性增长。这还只是一个复杂度要比自我改进的头脑低好几个数量级的系统。
类似地，第一个超人AI也只不过是朝着看得见的、线性的进步阶梯迈出的又一步罢了，而这个阶梯我们在很久以前就已经在爬住了。
结论
智能的拓展只能来自于（生物或数字）大脑、感知运动功能、环境以及文化的共同进化，光靠调整封闭环境下的大脑的零部件是不行的。这类的共同演进已经经过了无数个年代，而且随着智能朝着日益数字化的基体而继续演进。既然这一进程会以大致线性的节奏推进，“智能爆炸”也就不会发生。
记住：
智能是情景化的——并不存在一般智能这样的东西。你的大脑是一个更大的系统的一部分，这个系统包括了你的躯体、环境、其他人以及整个文化。
没有系统可以存在于真空之中；任何个体智能总要被其存在的上下文、被环境所定义和约束。目前制约我们智能的瓶颈是我们的环境而不是大脑。
人类智能基本上是外化的，主要不是包含在我们的大脑而是在我们的文明当中。我们是我们的工具——我们的大脑是比我们本身大得多的认知系统的模块。这个系统已经在自我改进，而且已经进行了很长的时间。
递归自我改进系统，因为所存在的更大范畴的上下文可能会出现瓶颈、收益递减、以及逆反作用，实际上无法取得指数性的发展。从经验来看，这种发展往往呈线性或者S曲线式的改进。科学进步尤其是这样——而科学也许是跟我们观察的递归自我改进系统最接近的一个了。
递归智能拓展已经在发生——不过是在我们的文明这个层面上进行的。这个进程会在AI时代继续，而且是以大致线性的节奏进行的。
