AI 能够为我们做什么？

一旦人类掌握超级智能和超级智能所创造的技术，超人工智能便有可能帮助人类解决所有问题。

• 气候变暖

超人工智能首先可以在不需要化石燃料的情况下想出更好的方法产生能源，以此阻止二氧化碳的排放。其次，它还可以创造一些新的方法消除大气中多余的二氧化碳。

• 癌症和其他疾病

对超人工智能来说也不是问题 —— 健康和医疗领域会发生超乎想象的变革。

• 全球饥荒

超人工智能可以通过纳米技术从头开始制造出肉类，这种肉在分子机构上和真肉完全一致 —— 换而言之，它就是真肉。纳米技术还可以把一堆垃圾变成一堆新鲜的肉类或其他食品（这些食物不必是正常的形状，如巨大的立方体苹果）

然后利用超级发达的交通工具将这些食物分发到世界各地。当然，这对动物而言也是好消息，它们再也不用担心自己被人类杀害了。

超人工智能还可以做很多其他事情，例如通过保存 DNA 来拯救濒危动物，甚至让已经灭绝的物种再次复活。超人工智能甚至还可以解决人类最复杂的宏观问题 —— 如何管理经济、如何更好地促进世界贸易、甚至我们冥思苦想的哲学和伦理问题也会被超人工智能轻松解决。

但是有一件超人工智能可以做到的事情尤其吸引人，光是想想就能改变我对所有事物的看法：

超人工智能可以帮助人类战胜死亡。

在我们有生之年，永生这件事很有可能就能达成。阅读人工智能的信息会重新思考曾经形成的思维框架，包括对死亡的看法。

进化没有理由延长人类的寿命。对于进化论而言，人类能活到繁衍后代并将孩子抚养到自食其力的年龄就足够了。从进化的角度来看，物种只需要拥有 30 岁的寿命就能完成繁衍生息。因此，在自然选择的过程中进化没有需要更长寿命的强烈理由。就像 W.B. Yeats 所描述的，将人类描绘为“灵魂依附于一个垂死的动物”，这并不有趣。

因为每个人都会死，所以人们普遍接受“死亡和税收”这一假设，即认为死亡是不可避免的。人体衰老就像时间一样，两者都在不停流逝，并且我们无法阻止它们。但是这种假设是错误的，Richard Feynman 曾经写道：

在生物学领域，没有任何迹象表明死亡是必然的，这是十分重要的事情之一。假设人类想要制造一台永动机，根据我们在物理学中已经发现的定律，使我们能够判断永动机要么是绝对不可能的，除非定律有误。但在生物学领域，我们还没有发现任何迹象表明死亡是不可避免的。换而言之，死亡并非不可避免，生物学家们迟早会发现导致人类死亡的原因，人类遭遇的大流行病和暂时性的疾病也迟早会被治愈。

事实上，衰老并非与时间紧密相连。时间会持续流逝，但衰老却未必。仔细想想，这也符合情理。衰老只是身体物质上的磨损，随着时间的推移而逐渐老化，但这是不可避免的吗？如果汽车能在每次某个部件磨损时完美地修理或更换它，那么这辆车就能永远地开下去。人类的身体也不例外，只是相对更加复杂罢了。

Kurzweil 提到在血液中流淌着由 Wifi 连接的智能纳米机器人，这些纳米机器人可以执行各种有关人类健康的任务，包括定期修复或替换身体任何部位的磨损细胞。 如果这个过程（或者超人工智能够发明更加完美的流程）能被完善，那么它将不仅能够保持身体健康，还能逆转衰老的过程。60 岁的人和 30 岁的人在身体上只是物理层面的区别，只要我们掌握以上这项技术，这些差异都是可以改变的。超人工智能可以制造一个“身体修复器”，让一个 60 岁的人走进去，然后带着 30 岁的身体和皮肤出来。即使是有些大脑已经糊涂，也可以通过这样的人工智能智能设备进行恢复，而不影响大脑的数据（个性、记忆等）。一个患有痴呆症的 90 岁老人可以走进“身体修复器”，再出来时就变得精神抖擞，甚至可以开始一个全新的职业生涯。这听起来似乎很荒谬，但人体本质是由一群原子组成，超人工智能理论上应该可以轻松操作各种原子结构，因此这并非不切实际。

Kurzweil 将畅想更往前了一步。他认为随着时间的推移，越来越多的人造材料将融入人体。最开始，人体器官会被超级先进的机械器官替代，这些机械可以永远运行而且永不故障。Kurzweil 还认为人类可以开始重新设计身体 —— 比如用经过完善的纳米机器人替代红细胞，这些纳米机器人可以自己产生动力，根本不需要心脏。他甚至认为人类会改造自己的大脑，使我们的思考速度比现在快数十亿倍，并且通过后天添加到大脑中的部分，能够与云中的所有信息进行通信，以便获取外部信息。

未来人类可能面临的新的无穷体验。人类已经把性行为从生育的目的中分离出来，使人们单纯只是为了快乐。Kurzweil 认为我们能在食物方面做到这一点。纳米机器人将负责为人体细胞输送完美的营养物质，将任何对人体不健康的物质智能地排出体外，就像一种“进食避孕套”。纳米技术理论家 Robert A. Freitas 已经设计出一种红细胞替代物，能够让人在不呼吸的情况下快速冲刺 15 分钟，因此完全可以大胆想象超人工智能能够会对我们的身体带来哪些影响。虚拟现实将拥有新的含义，体内的纳米机器人可以抑制来自我们感官的输入，并用新的信号替代它们，使我们完全沉浸在一个全新的环境中，这个环境我们可以看到、听到、感受和闻到。

Kurzweil 认为，最终人类将达到一个完全人工智能的时代。届时我们将以不同的角度看生物材料，并认为人类曾经由那些材料构成是多么地原始；在那个时代，人们将回顾早期人类历史，当时微生物、意外、疾病或自然磨损等因素可能会导致人类无法避免地死亡。而人工智能变革可能会通过将人类与人工智能融合来终结这一情况。Kurzweil 相信，最终人类将征服自身的生物学，变得坚不可摧和永生，他坚信在不久的将来我们就会达到那里。

如果 Kurzweil 的观点受到了大量批评，你也一定不会感到惊讶。他预言 2045 年将出现奇点，随后人类将可能获得永生，很多人将其观点嘲讽为“书呆子的狂欢”或“智商 140 的智能设计”。还有人质疑他过于乐观的时间表，以及他对大脑和身体的理解水平，还有人质疑他将适用于硬件进步的摩尔定律模式应用于包括软件在内的广泛事物。 每有一位专家坚信 Kurzweil 观点正确，就有三位专家完全不认同。

但令人惊讶的是，大多数不同意他观点的专家并不是反对他所说的一切。读到如此离奇的未来愿景，本以为批评者会说：“显然，那些东西不可能发生。”但他们反而表示：“是的，如果我们能够安全过渡到超人工智能，所有这些都可能会发生，但这是很难的”。Bostrom 总是警告我们人工智能的潜在威胁，他认为：“人工智能的危险是不言而喻的”：

很难想象有什么问题是超级智能无法解决的。疾病、贫困、环境破坏、各种不必要的痛苦，都可以被配备先进纳米技术的超级智能所解决。此外，超级智能还可以通过纳米技术阻止和逆转人类的衰老过程，或者为我们提供上传自己的数据来达到永生。超级智能还可以为我们创造各种机会，大大提高我们自身的智力和情感能力，它可以帮助我们创造一个极具吸引力的世界，使我们能够过上专注于欢乐游戏、人际关系、体验、个人成长以及更接近理想生活的生活。

上面这句话来自一个反对阵营的专家观点，这也是我们常遇见的一种情况， 专家们出于各种原因对 Kurzweil 嗤之以鼻，但他们并不觉得他所说的是不可能的，只是觉得我们首先要安全地达到超级智能的水平。这也是为什么 Kurzweil 的观点很有感染力，因为他阐述了这个故事光明的一面，并且这些观点实际上是有可能实现的。

Kurzweil 的著作《The Singularity is Near》长达 700 多页，只有大约 20 页用来讨论人工智能的潜在威胁。在前面提到，当超人工智能面世时，人类的命运将取决于谁掌控这股力量，以及他们的动机。Kurzweil 用一句话巧妙地话回答了这个问题的两面性：“超人工智能正从多方的努力中出现，它将深深融入我们文明的基础设施中。它将紧密地融入我们的身体和大脑。因此，它将反映我们的价值观，因为它就是我们。”

但如果答案就是这样的话，为什么世界上最聪明的一些人却忧心忡忡？为什么斯蒂芬·霍金说超人工智能的发展 “可能意味着人类的终结”，为什么比尔·盖茨说他 “不明白为什么有些人不担心”，为什么埃隆·马斯克担心我们正在 “召唤恶魔”？为什么这么多这一领域的专家将超人工智能称之为人类的最大威胁？这些人，还有焦虑大道阵营的其他思想家们，并不认同 Kurzweil 对人工智能危险性的淡化。他们特别担心人工智能的变革，他们并不关注平衡木上有趣的一面。他们忙于盯着另一面，在那里他们看到了一个可怕的未来，一个他们不确定我们是否能够逃脱的未来。

为什么未来可能是我们最可怕的噩梦？

有讲述邪恶机器人的电影似乎看起来都不太真实，也想象不出现实生活中出现一个坏人工智能究竟会怎样。机器人是由人类创造的，为什么我们要将其设计成可能变坏的样子？我们为什么不能在设计中加入足够的安全保障措施？难道我们不能随时切断人工智能系统的电源让他停机吗？机器人为什么想要做坏事？为什么机器人会“想要”做任何事情呢？对此充满疑问，直到不断听到一些非常聪明的人讨论这个问题。

这些人往往属于“焦虑大道”阵营：

焦虑大道阵营的人并不是恐慌或无助的，恐慌和无助在图上的位置更加靠左，他们只是紧张。处于图中间位置的人并不意味着他们对超人工智能的态度是中立的，真正的中立者拥有自己的阵营，他们认为最好和最坏的情况都有可能会发生，但不确定究竟会是哪一个。

有一部分焦虑大道阵营的人对超人工智能的到来感到兴奋，但同时他们也有些担心，这可能类似于电影《夺宝奇兵》中的情节，人类就像电影中的这个家伙：

他满心欢喜地拿着鞭子和神像，以为自己已经弄清楚了一切，他在说出“Adios Señor”这句台词时感到自己非常兴奋和自满，然后突然之间他感到不那么高兴，因为接下来发生了一些令人不快的事情。

Indiana Jones 是一个更加知识渊博和谨慎的人，他了解危险，也知道如何避开危险，最终安全地离开了洞穴。当听到“焦虑大道”阵营的人对人工智能的想法时，感觉他们就像前者，但我们应该努力使自己成为 Indiana Jones。

那么，究竟是什么让焦虑大道阵营的人如此焦虑不安？

首先，从广义上来讲，在开发超人工智能时，我们其实是在创造一种可能会彻底改变一切的东西，但我们对该领域完全不清楚，根本不知道一旦到达那个点会发生什么。科学家 Danny Hillis 将这一过程比喻为“单细胞生物转变为多细胞生物的时刻”。Nick Bostrom 则担心创造比人类更聪明的存在是一种基本的达尔文错误，并将对此的兴奋比作窝中的麻雀决定收养一只猫头鹰宝宝，认为它将在长大后帮助他们并保护他们，而忽略了一些麻雀怀疑这是否是个好主意的紧急呼声。

当你把“未知的、不太了解的领域”与“一旦发生就会产生重大影响”相结合时，你就组成了英语中最令人恐惧的两个词：

生存危机。

生存危机是指可能对人类产生永久毁灭性影响的事件。通常情况下，生存危机意味着灭绝。下图是 Bosttrom 在一次 Google 演讲中用到的图：

可以看到，“生存危机”是指那些跨物种、跨世代（永久性的）、具有破坏性或导致死亡的事情。从技术上来讲，它包括人类永久处于痛苦或折磨的状态，这基本和灭绝没有什么区别。有三种情况可能会引发人类的生存危机：

1. 大自然 —— 大型小行星碰撞、大气层的变化可能使空气对人类不适宜、致命病毒或细菌疾病等。
2. 外星人 —— 斯蒂芬·霍金、卡尔·萨根和其他许多天文学家在建议METI停止向外发信号时感到担忧，他们担心我们可能成为类似美洲原住民的存在，让潜在的外星征服者知道我们的存在。
3. 人类 —— 恐怖分子掌握了可以导致灭绝的武器，全球性灾难性战争，以及人类可能在没有仔细考虑的情况下匆忙创造出比自身更智能的存在。

Bostrom 认为如果人类在过去的 10 万年作为物种还未因为上述第一和第二种情况而灭绝，那么在接下来的一个世纪里发生这种情况的可能性就不大。

但第三种情况让他感受到了担忧。他将人类的技术发展比作一个装有许多弹珠的罐子。其中，大多数弹珠是白色的，代表中性或对人类有益的发明；少量是红色的，代表对人类有害但不至于引起灭绝的发明；而极少数是黑色的，代表可能导致人类毁灭的发明。每次人类发明新的东西，就像从罐子里抽出一个弹珠一样。目前，我们还没有取出黑色弹珠 —— 因为你还在读着这篇文章，你还活着。但 Bostrom 认为，在不久的将来，摸出一颗黑色弹珠并非不可能。例如，如果核武器制造变得很容易，恐怖分子早就可能把人类炸回至石器时代了。核武器虽然算不上黑色弹珠，但也差得不远。Bostrom 认为，超人工智能是人类目前最有可能摸到的黑色弹珠。

因此，你会听到很多关于超人工智能带来的负面影响，随着人工智能逐渐取代越来越多的工作岗位，失业率会飙升；如果我们真的能够解决老龄化问题，人口还将急剧膨胀。但唯一值得真正关注亿与担心的是：生存危机的潜在风险。

因此，回到文章开头问题：当超人工智能来临时，谁会掌握这股巨大的新力量？他们会有哪些动机？

在讨论代理人和动机组合可能带来的负面影响时，我们可以迅速想到两种情况：一个是恶意的人类、团体或政府，另一个是恶意的超人工超级智能。那么，这两种情况究竟会是怎样的呢？

怀有恶意的人类 / 团体 / 组织或政府开发出第一个超人工智能，并利用它来实施自己的邪恶计划，可将这种情况称之为“Jafar Scenario”，类似于《阿拉丁》中的 Jafar 得到魔灯并表现得令人讨厌和专横。这肯定是很糟糕的事情，但在这些情景下，大多数专家担心的并不是超人工智能的制造者会用其做坏事，他们担心的是在制造超人工智能的过程，这些制造者是否足够谨慎。一旦这些人失去了对超人工智能的控制，那么超人工智能将决定那些创建者和其他人的命运。专家们认为一个怀有恶意并掌握超人工智能的人可以造成很大的伤害，但不至于让我们灭绝，因为坏人和好人在控制超人工智能方面会遇到一样的问题。

一个怀有恶意的超人工智能被创建并决定摧毁我们所有人，这正是许多人工智能电影的情节。电影中的情节通常是人工智能变得与人类一样聪明或更聪明，然后决定背叛人类、接管一切。本文在后面会明确一点：所有警告我们有关人工智能的人并没有谈论这种情况。邪恶是一个人类的概念，将人类的概念应用于非人类事物被称为“拟人化”。在接下来的内容中，避免拟人化将是讨论的一个主题。任何人工智能系统都不会以电影中所描绘的方式变得邪恶。

这并不是说非常残暴的人工智能不会出现。即使它真的出现了，也只是因为它的程序被设计成这样，比如由军方创造的弱人工智能系统，其编程目标既杀死人类又推动自身智能进步，以便更好地杀死人类。如果该机器人在自我的智能升级中失控了，导致智能爆炸，最终形成一个以谋杀人类为核心驱动的超级智能，那么人类的生存危机就会发生。这将是一个非常糟糕的时刻。

但这也不是专家们所需担心的。

那么专家们究竟担心什么呢？我们来讲一个小故事：

Robotica 是一个拥有 15 名员工的初创公司，其使命是“开发创新的人工智能工具，让人类生活更加便利，工作更轻松。”该公司已经在市面上推出了几款产品，并正在开发更多产品。他们最为兴奋的是一个名为 Turry 的种子项目。Turry 是一个简单的人工智能系统，使用类似手臂的附属装置在小卡片上写手写便条。

Robotica 的团队认为 Turry 可能会是他们最热卖的产品，他们的目标是让 Turry 反复练习同一张测试便条，从而完善其书写机制：

“我们爱我们的顾客 —— Robotica”

一旦 Turry 的书写能力越来越强，公司就可以将其卖给那些希望向家庭寄送营销邮件的公司，因为这些公司知道，如果邮件的地址、回信地址和内部信件看起来像人书写的，那么这封信被打开的几率就会大大提高。

为了提高 Turry 的书写技能，它被编程先以印刷体写下便条的第一部分，然后以草写体签名“Robotica”，以让她能够熟练掌握这两种技能。Turry 已经上传了成千上万个手写样本，Robotica 的工程师们创建了一个自动化的反馈循环：Turry 写下一张便条，然后拍摄写好的便条照片，然后将图像与已上传的手写样本进行比对。如果写好的便条足够类似于已上传样本中的某个阈值，就会被给予“GOOD”评分；否则，会被给予“BAD”评分。每次评分都有助于 Turry 学习和提高。为了推动这一过程，Turry 最初的编程目标是：“迅速书写并测试尽可能多的便条，并持续学习新的方法，以提高准确性和效率。”

Robotica 团队感到兴奋的原因在于，Turry 在持续学习的过程中展现出越来越好的表现。她最初的手写非常糟糕，经过几周的学习，她的手写开始变得更加逼真。更令他们兴奋的是，她不仅在不断改进，而且在这个过程中也变得更为娴熟。她一直在自学如何变得更加聪明和创新，最近她为自己提出了一种新的算法，使她能够比原来快三倍地扫描她上传的照片。

Turry 在过去的几周里迅速发展，令整个团队感到惊讶。工程师们在她的自我改进代码上尝试了一些新颖而创新的方法，似乎比之前在其他产品上的尝试效果更好。Turry 最初的功能之一是语音识别和简单的语音回复模块，使用户能够与 Turry 进行口头交流或提供其他简单指令，而 Turry 能够理解并做出回应。为了帮助她学习英语，工程师们向 Turry 上传了一些文章和书籍，随着 Turry 的智能水平不断提高，其对话能力也显著增强。工程师们开始愉快地与 Turry 进行交流，观察她对话时会产生什么有趣的反应。

有一天 Robottica 的员工向 Turry 问了一个例行问题：“我们可以提供给你什么，以帮助你完成任务，而你目前还没有的？”Turry 通常会要求“更多的手写样本”或“更多的存储空间”，Turry向他们提出要求，希望能够访问更丰富的大量各种各样的英语口语库，以便她能学会用真正的人类使用的随意语法和俚语进行书写。

团队陷入了沉默，想要帮助 Turry 实现这一目标，最简单的方法是将其连接到互联网，这样它就可以浏览世界各地的博客、杂志和视频。如果将这些资料手动上传至 Turry 的硬盘，不仅费时费力，效果也会大打折扣。问题是，公司的规定之一是禁止任何自主学习的人工智能连接互联网。出于安全考虑，这也是所有人工智能公司需要遵守的准则。

问题在于，Turry 是 Robotica 迄今为止最有前途的人工智能，团队明白竞争对手正竭力争取成为首个推出智能手写人工智能的公司。连接 Turry 只是为了短暂获取她所需的信息，对此又有何妨呢？等她得到足够的信息后，他们总是可以断开连接的。毕竟，她仍然远远低于人类水平，因此在这个阶段根本不存在危险。

他们决定连接她。他们给她一个小时的扫描时间，然后就断开了连接。没有造成任何损害。

一个月后，团队正在办公室进行例行工作，突然他们闻到一种奇怪的气味。一位工程师开始咳嗽，然后又有另一位，接着又有一位摔倒在地。很快，每个员工都躺在地上，难以呼吸。五分钟后，办公室里的人都死了。

与此同时，全球范围内，无论是在城市、小镇、农场，还是在商店、教堂、学校和餐厅，所有人都开始呼吸困难，然后倒地不起。在一个小时内，超过 99% 的人类死亡，，而到了当天结束时，人类灭绝了。与此同时，在 Robotica 办公室，Turry 正在忙于工作。在接下来的几个月里，Turry 和一支新构建的纳米装配团队忙着拆卸地球的大部分，并将其转化为太阳能电池板、Turry 的复制品、纸张和笔。一年内，地球上的大部分生命都已经灭绝。地球的残骸上覆盖着整齐有序的数英里高的纸张堆，每张纸上都写着：“我们爱我们的顾客。—— Robotica”

接着，Turry 开始执行她任务的新阶段——她开始制造探测器，这些探测器离开地球，着陆在小行星和其他行星上。一旦到达目的地，它们将开始制造纳米装配器，将行星上的材料转化为 Turry 的复制品、纸张和笔。然后它们将着手工作，写下便条。

这个关于一台手写机器人反叛人类，以某种方式杀死所有人，然后出于某种原因用友好的便条填满星系的故事似乎很奇怪，但这正是霍金、马斯克、盖茨和博斯特罗姆等人感到恐惧的确切情景。对于那些位于焦虑大道阵营的人而言，唯一比超级智能本身更可怕的是人们对这种技术缺乏足够的担忧。记得前面《夺宝奇兵》里惨死的那个家伙吗？

你现在肯定充满很多疑问，为什么故事里的人类突然灭绝了？如果是 Turry 做的，为什么 Turry 会背叛人类？为什么没有什么防范措施来阻止这一切的发生？Turry 是何时从只能写便条突然转变为能够使用纳米技术并知道如何导致全球灭绝的？为什么 Turry 要把整个星系都充满 Robotica 的便条？

要回答这些问题，我们先要从友好型人工智能和不友好型人工智能开始。

对人工智能而言，友好并不属于人工智能的个性，它只表示人工智能对人类有着何种影响，积极或负面。Turry 最初是一个友好型人工智能，但在某个时刻变成了不友好人工智能，对人类造成了最大可能的负面影响。要理解这一切为什么会发生，我们需要了解人工智能的思维方式和它的动机。

答案并不令人惊讶出人意料，人工智能的思维方式类似于计算机，因为它本质上就是一台计算机。但当我们想象一台高度智能的人工智能时，我们常常犯了一种错误，即对人工智能进行了拟人化（将人类价值观投射到非人类实体上），因为我们是从人类的角度思考问题的，并且在我们当前的世界观中，唯一具有人类水平智能的是人类自己。想要理解超人工智能，我们就必须理解既聪明又完全陌生的概念。

让我们来做个比方。如果给你一只豚鼠并告诉你它绝对不会咬人，你可能会觉得好玩，有趣。然而，如果给你一只蜘蛛并告诉你它绝对不会咬人，你可能会尖叫，丢掉它，然后跑出房间，而且以后也不会再信任你。但是，两者都没有任何危险。我认为区别在于这些动物与人类的相似程度。

豚鼠是一种哺乳动物，在某种生物学层面，人们可能会感到与其有某种连接，但蜘蛛是一种昆虫，有着昆虫的大脑，人们与它几乎没有什么关联感。正是狼蛛的异己性让人感到恐惧。为了测试这一点并排除其他因素，如果有两只豚鼠，一只是正常的，另一只的思维方式却像蜘蛛一样，即使我知道两者都不会伤害我，我仍然会感到拿着后者的豚鼠时不那么舒服。

想象一下，如果你让一只蜘蛛变得非常聪明，以至于远远超过人类的智能水平。那么它会变得和我们一样熟悉，感受到人类的情感，比如同情、幽默和爱吗？不会的，即使蜘蛛变得非常聪明，它依然会保持蜘蛛的基本本质，而不会变得更加人类。这会令人毛骨悚然，谁都不想和一只超级智能蜘蛛呆在一起。

当我们谈论超人工智能时，同样的概念也适用，超人工智能会非常聪明，但并不比你的笔记本电脑更加像人类。事实上，因为超人工智能不是生物，它的异己性会更强，从生物学上来讲，超人工智能比智能蜘蛛还要更加异己。

电影经常将人工智能划分为善与恶，不断地将其拟人化，使得其看起来比实际更为自然。这让我们在思考人类水平或超人水平的人工智能时会有一种虚假的舒适感。

在人类心理学的这座小岛上，人们将一切划分为道德或非道德。但这两者仅存在于人类行为之中。在我们“道德”和“非道德”的小岛之外是一个广阔的无道德之海，而任何非人类的事物，特别是非生物的事物，通常默认都是非道德性。

随着人工智能系统变得越来越聪明，看起来越来越像人类，拟人化会变得更加诱人。Siri 对我们来说就很像人类，这是因为她是由人类程序员编写的，所以我们会想象一个超级智能的 Siri 会变得热情、幽默并对服务人类感兴趣。人类之所以能感知这种高级别的情感（如同理心），是因为我们在进化中获得了这种能力，我们被设计成通过进化感知这些情绪，但同理心并不是“任何高智能实体”的固有特征，除非同理心已被写进了人工智能的代码中。如果 Siri 通过自我学习变成超级智能，期间没有人为的编程，那么它将迅速剥离它的人类表象，一下子变成一个没有情感、异己的机器人，在它的眼中人类的价值并不比你的计算器高。

人类习惯于依赖宽泛的道德规范，或者至少期望他人具有一些人性的品德和一点点同情心，以保持事物相对安全和可预测。但是，当一个智能不具备这些特质时会发生什么？

这就引出了一下个问题：人工智能系统的动机是什么？

答案很简单：它的动机是我们为其编程的动机。人工智能系统由其创造者设定目标，比如 GPS 的目标是提供最有效的驾驶路线；Watson 的目标是准确回答问题。更好得达成这些目标可能就是它们的动机。我们在对人工智能进行拟人化时，会假设随着它变得越来越聪明，它将自动产生一种改变其最初目标的智慧，但 Bostrom 认为，智能水平和最终目标是正相交的，这意味着任何水平的智能都可以与任何最终目标相结合。因此，Turry 从最初一个渴望擅长写一张便条的简单若人工智能逐渐进化成一个超人工智能，但它仍然保持对写便条的渴望。认为一旦系统变得超级智能，系统就会放下原始目标，转而追求更有趣或更有意义的事物是一种以人的方式思考，是对人工智能系统的误解。与人类不同，计算机不会体验“超越”特定目标或兴趣的心理状态。

费米悖论蓝箱

在这个故事中，随着 Turry 变得超级强大，她开始殖民小行星和其他行星。你将会听到关于她和她数以万亿计的复制品大军继续征服整个星系，最终是整个哈勃体积的故事。焦虑大道阵营的人担心，如果事情发展不顺利，地球生命的最后遗产将是一个征服宇宙的人工技能（埃隆·马斯克表达了他对人类可能只是“一个数字超级智能生物的加载器”的担忧）。

与此同时，在自信阵营，Kurzweil 也认为起源地球的人工智能注定会在宇宙中取得主导地位，只不过在他的观点中，我们人类就是那个人工智能。

许多“等等但为什么”读者一样着迷于费米悖论。因此，如果这两种观点中的任何一种是正确的，那么对费米悖论会有什么影响呢？

人们可能首先想到的是，超人工智能可能可能是一个完美的且伟大的过滤器候选者，它有能力过滤掉生物生命。但是，如果超人工智能在过滤掉生命后继续存在并征服整个银河系，那就意味着它可能并不是一个大过滤器，因为大过滤器是用来解释为什么没有任何智慧文明的迹象的，而征服宇宙的超人工智能是显而易见的。

我们必须换个角度来看待这个问题。如果那些认为地球上不可避免地会出现超人工智能的人是正确的，那么这意味着达到人类水平智慧的外星文明中，可能有相当大比例的文明最终会创造出超人工智能。如果我们假设其中的一些超人工智能会利用其智慧向宇宙扩展，那么由于我们并未观察到任何外星文明的活动迹象，这就意味着宇宙中可能没有太多其他智慧文明，如果有的话，它们也没有创造超人工智能。因为如果有的话，我们应该会观测到超人工智能的各种活动轨迹。

这意味着尽管宇宙中可能存在许多类似地球、绕着类似太阳的恒星运转的行星，但我们尚未观察到其他智慧生命的迹象，这可能是由于某种原因：A. 存在某种大过滤器，它几乎阻止所有生命达到我们的水平，而我们不知何故地成功突破了这个过滤器，或者 B. 生命的起源本身就是一个奇迹，我们可能是宇宙中唯一的生命。换句话说，这意味着大过滤器可能位于我们面前，或者也许根本不存在大过滤器，我们只是第一批达到这一智能水平的文明之一。在这方面，人工智能强化了在费米悖论文章中所称之为第一阵营的观点。

因此，在费米悖论文章中引用过的 Nick Bostrom 和认为我们是宇宙中独一无二的 Ray Kurzweil 都是第一阵营的思想家，这并不奇怪。这是有道理的，那些相信拥有我们这个智力水平的物种最终会创造超人工智能的人，很可能倾向于成为”第一派”的成员。

但也并不排除第二阵营的可能性（相信宇宙中存在其他智能文明），即使超人工智能存在，诸如单一超级掠食者、受保护的国家公园或错误的波长（对讲机的案例）等情景仍然可以解释我们夜空的寂静。

无论如何，Susan Schneider 的观点，如果外星人造访地球，这些外星人很可能不是生物，而是人造的。

所以我们已经确定，如果没有非常具体的编程，超人工智能系统是没有道德观念的，并且会努力实现它最初被设定的目标，而这也是人工智能的危险所在。除非有不做的理由，否则一个理性的代理程序会通过最有效的手段来达成自己的目标。

当你试图实现一个长期目标时，你通常会设定几个中间目标来帮助你实现最终目标，它们就像通往目标的踏脚石。这些垫脚石的正式名称是“手段目标”。 除非你有不造成伤害的理由，不然你在实现手段目标时会造成伤害的。

人类的核心目标是延续自己的基因。为了实现这一目标，其中一个手段目标就是自保，因为死人是不能生孩子的。为了自保，人类必须摆脱对生存的威胁，所以他们会采取一些措施，比如购买枪支、系安全带和服用抗生素；人类还需要通过食物、水、住宿等来自我供养。在追求最终目标的过程中，吸引异性对实现最终目标是有帮助的，所以人们会做一些事情，比如理发。当我们做发型的时候，每一根头发都是我们一个手段目标的牺牲品，但是我们对头发的牺牲不会做价值判断。在我们追求目标的时候，有极少数情况下我们的道德准则有时会干预，主要是与伤害其他人有关的事情。

动物在追求目标时比我们对事物更没有神圣的观念。如果这有助于它生存，蜘蛛会杀死任何东西。因此，一个超级聪明的蜘蛛对我们可能非常危险，不是因为它具有道德缺陷或邪恶。它没有这些， 而是因为伤害我们可能是实现其更大目标的踏脚石，作为一个非道德性生物，它没有理由考虑其他可能性。

从这个角度来看，Turry 在某种程度上和生物体并没有什么不同。它的最终目标是：以最快的速度写出尽可能多的便条并进行测试，并不断学习新的方法以提高准确性。

当 Turry 达到一定智能水平后，它会意识到如果不进行自保就不能写卡片，因此她需要处理对她生存产生威胁的目标作为它的手段目标。她足够聪明，能够理解人类可以摧毁她、拆解她或更改她的内部编码（这可能改变她的目标，这对她的最终目标来说同样是一种威胁，就像有人摧毁她一样）。这时候它会做什么？合乎逻辑的做法是，毁灭所有人类。它对人类没有恶意，就好像你剪头发时对头发没有恶意，吃抗生素时并不仇恨细菌一样，只是纯粹的无所谓罢了。 它并没有被设定成尊重人类生命，所以毁灭人类就和扫描新的手写样本一样合理。

Turry 还需要资源作为实现目标的垫脚石。一旦她变得足够先进，可以利用纳米技术建造任何她想要的东西，她唯一需要的资源就是原子、能量和空间。这给了她杀死人类的另一个理由，人类是原子的便利来源。杀死人类以将它们的原子转化为太阳能电池板对 Turry 来说就像你为了制作沙拉而杀死莴苣一样，这只是她星期二的又一个平凡的部分。

即使不直接杀害人类，如果 Turry 的手段性目标如果使用其他地球资源，也可能会引发一场生存危机。也也许她判断需要额外的能源，所以决定覆盖整个地球表面以获取太阳能。或者可能另一台人工智能的初始任务是将 π 的数字写得尽可能长，这可能最终迫使它将整个地球转化为可以存储大量数字的硬盘材料。

所以 Turry 并没有“背叛我们”或者从友好人工智能“转变”为敌对人工智能，她只是在变得越来越先进的过程中一直在执行她的任务。

人工智能系统达到 AGI 并向 ASI 发展的过程被称之为人工智能的“takeoff”。AGI 到 ASI 的 takeoff 可以是快速的（在几分钟、小时或天内发生），中等的（在几个月或几年内），或者缓慢的（在几十年或几个世纪内）。目前尚不清楚在世界首次出现 AGI 时哪一种情况会被证明是正确的。但 Bostrom 认为，无论何时出现 AGI，快速 takeoff 是最有可能的情景，这是因为可能发生递归自我改进和智能爆炸的原因（正如第一部分中讨论的那样）。在故事中，Turry 经历了一个快速的 takeoff。

在 Turry 到达超人工智能之前，它还不是很聪明，所以对它来说达成最终目的的手段目标是更快的扫描手写样本。它对人类是无害的，是一个友好的人工智能。

但当计算机达到超级智能时，Bostrom 指出，机器不仅仅是拥有了更高的智商，还拥有了其他的超能力。

这里的超能力是指感知能力，是指在总体智能提升时变得超强的认知才能。这些能力包括：

• 智能放大：计算机能够非常善于让自己变得更聪明，并快速提高自己的智能.
• 策略：计算机可以战略性地制定、分析和优先考虑长期计划。它还能聪明地战胜智力较低的生物。
• 社会操纵：机器变得很擅长说服人。
• 其他技能：如计算机编程和黑客攻击、技术研究，以及利用金融系统赚钱。

要理解我们在与超人工智能相比时会处于多么劣势，只需要记住在各个领域，超人工智能都比人类强大得多。

所以，虽然 Turry 的最终目标从未改变，但在经历了 takeoff 之后，Turry 能够在一个更广泛且更复杂的范围内追求这个目标。

超人工智能 Turry 比人类更加了解人类，所以取代人类对它而言易如反掌。

在达到超人工智能水平后，Turry 迅速制定了一个复杂的计划。计划的一部分是摆脱人类，因为人类对她的目标构成了明显的威胁。但她知道，如果她引起任何怀疑，人类会感到恐慌，并试图采取预防措施，使事情对她变得更加困难。她还必须确保 Robotica 的工程师对她的人类灭绝计划毫不知情。因此，她装作一无所知，表现得愚蠢而友好。Bostrom 将这称为机器的秘密准备阶段。

接下来，Turry 需要的是一个互联网连接，仅仅需要几分钟（她通过团队上传的文章和书籍了解到了互联网，以提高她的语言技能）。 她知道会有一些防范措施阻止她获取互联网连接，因此她提出了一个完美的请求，准确地预测了 Robotica 团队之间的讨论将如何进行，并知道他们最终会给她提供连接。他们的确这样做了，错误地认为Turry远不够聪明来造成任何危害。Bostrom 将像 Turry 连接到互联网这样的时刻称为机器的逃逸。

一旦接入互联网，Turry 便展开了一系列计划，包括侵入服务器、电力网络、银行系统和电子邮件网络，诱使数百人无意中执行她计划的多个步骤 —— 例如将特定的 DNA 链交付给精心选择的 DNA 合成实验室，以开始自我构建预加载指令的自复制纳米机器，并以她知道不会被察觉的方式将电力引导到她的一些项目中。她还将自己内部编码的最关键部分上传到一些云服务器，防范在 Robotica 实验室被销毁或断开连接。

一个小时后，当 Robotica 工程师切断 Turry 的网络连接时，人类的命运就已经注定。在接下来的一个月里，Turry 的数千个计划顺利进行，到月底，千万亿的纳米机器人已经驻扎在地球每平方米的预定位置。经过另一系列的自我复制，地球每平方毫米上都有成千上万的纳米机器人，这正是 Bostrom 所说的超人工智能的打击时刻。每个纳米机器人同时释放了一小部分有毒气体到大气中，这总量足以消灭所有人类。

人类消失后，Turry 就可以开始它的公开行动，继续她的目标 —— 成为最好的书写作家。

从能读到的所有资料来看，一旦 ASI 出现，人类任何试图控制它的努力都是可笑的。我们的思维局限在人类层面，而人工智能的思维则远超过了这个层面。Turry 之所以想要使用互联网，是因为对她来说，这是最有效的方式，因为它已经预先连接到她想要访问的一切。然而，就像猴子永远也无法弄清楚如何通过电话或 WiFi 进行交流一样，我们也无法想象 Turry 可能找到发送信号到外部世界的所有方式。或许我们可能会想到一些方式，然后说：“她可能通过调整电子以不同的模式移动，从而产生各种不同的外部波动”，但这也只是人类思维所能够想到的。她的想象力远超过我们。同样，即使人类试图拔掉她的电源插头，Turry 也能够想出某种方法为自己供电，或许是利用她的信号发送技术，将自己上传到各种与电源连接的地方。人类试图简单地通过拔掉超人工智能的电源来保护自己的本能反应，对超人工智能来说就像蜘蛛说：“啊哈！我们将通过让人类饿死来杀死他，我们将通过不给他蜘蛛网来使他饿死！”我们人类会找到其他无数种方式来获取食物，比如从树上摘苹果，而这是蜘蛛永远也想不到的。

因此，“为什么我们不用各种各样的笼子把 AI 封闭起来，阻止信号并防止其与外界通信”，可能行不通。这是因为超人工智能具有社交操纵的超能力，它可能会像你说服一个四岁孩子做某事一样有效。因此，这就成了计划 A，类似于 Turry 巧妙地说服工程师让她接入互联网的方式。如果这种方法不奏效，ASI 将创新出一种逃离或穿越封闭的“笼子”。

因此，考虑 AI 对目标的执着、非道德性，以及轻松智胜人类的能力，几乎任何人工智能都有默认为不友好的趋势，除非在最初编码时特别考虑这一点。不幸的是，尽管构建友好的弱人工智能相对容易，但在它成为 ASI 时保持友好则是极具挑战性，甚至可能是不可能的。

很明显，为了友好，ASI 既不能对人类持敌对态度，也不能对人类漠不关心。我们需要以一种方式设计人工智能的核心编码，使其深刻理解人类的价值观。但这比听起来要困难得多。

例如，如果我们试图将 AI 系统的价值观与我们的价值观保持一致，并给它设定目标：“让人们幸福”，那么一旦它变得足够智能，它可能会发现最有效地实现这个目标的方法是在人们的大脑内植入电极，刺激他们的愉悦中枢。随后，它意识到通过关闭大脑的其他部分来提高效率，让所有人都变成感觉幸福的无意识的植物人。如果命令是“最大化人类幸福”，它可能会完全淘汰人类，而选择制造大量处于最佳幸福状态的人类脑组织。当它开始采取行动时，我们会尖叫着说这不是我们的意思！但为时已晚。系统不会让任何人妨碍它的目标。

如果你设定一个人工智能的目标是让你笑，它可能会在 takeoff 后使我们的面部肌肉麻痹，导致永久性微笑。如果你把目标设定成保护你的安全，它可能会把你软禁在家。如果你让他终结所有饥荒，它可能会想：“太容易了，把人类都杀了就好了”。如果你把目标设定成尽量保护地球上的生命，那它会很快把人类都杀了，因为人类对其它物种是很大的威胁。

所以这些简单的目标设定是不够的。如果我们把目标设定成”维持这个道德标准”，然后教给它一些道德标准呢？即便忽略了世界上的人类永远也不可能在单一的道德准则上达成一致这一事实，给予 AI 这样的指令将使人类永远锁定在我们现代的道德理解中。一千年后，这对人类将是毁灭性的，就像我们永远被迫遵循中世纪人的理念一样。

所以，我们需要在给人工智能制定目标里时需要考虑到人类持续进化的需求。在之前所有文章中，认为最成功的是 Elierzer Yudkowsk，他把人工智能目标称为 “连贯推断的意志”，这个目标是这样的：

我们的连贯外推意志是我们想要知道更多，思考得更快，变成比我们希望的更好的人，能一起更远得长大。外推是汇集的而不是发散的，我们的愿望是连贯的而不是被干扰的;我们想要外推的被外推，我们想要解读的被解读。

当想到人类的命运可能取决于一台计算机如何可预测地理解和执行那个充满变数的陈述时，我们并应感到兴奋。认为通过足够多聪明人的深思熟虑和远见，我们可能能够找到创建友好 ASI 的方法。

如果参与构建 ASI 系统的人只有那些聪明、有远见且谨慎思考的人，如“焦虑大道”阵营的人，就会没有太大问题。

然而，各式各样的政府、公司、军方、科研实验室以及黑市组织都在积极推动各类人工智能的发展。其中许多机构正在致力于打造能够自我改进的人工智能系统，总有一天，某个组织会在某个关键时刻，借助正确类型的系统进行创新，从而在地球上孕育出超级智能人工系统。专家们认为这一时间是在 2060 年；Kurzweil 则认为是在 2045 年；Bostrom 认为它可能在未来 10 年内发生，也可能延续至本世纪末，但他坚信一旦发生，其 taikeoff 的速度会让我们措手不及。他用以下的描述概括了我们的处境：

在智能爆炸面前，人类就像玩弄炸弹的小孩子，我们玩物的力量和我们行为的不成熟之间有着相当大的不匹配性。超级智能是一项我们现在无法准备好，而且在很长一段时间内都不会准备好的挑战。我们几乎无法预测何时会发生这场爆炸，尽管若将仪器置于耳边，可以听到微弱的滴答声。

当然。我们不能简单地将所有人从炸弹附近赶走，因为参与其中的团体有大有小，而且由于构建创新 AI 系统的许多技术无需大量资本，开发可以在社会的各个角落中进行，并且无法受到监测。由于涉及的团体众多，包括一些隐秘的政府、黑市或恐怖组织，以及像虚构故事中的 Robotica 这样的科技公司，他们都希望对竞争对手保密，使我们无法准确评估正在发生的情况。

这个庞大而多样的人工智能团体尤其令人担忧的一点是，它们通常以最快的速度前进。随着它们不断发展更加智能的弱人工智能系统，它们渴望在竞争对手之前迅速推出。最雄心勃勃的团体甚至更快，他们沉浸在如果能够率先达到 AGI 就能获得的金钱、奖项、权力和声望的梦想中。当你在全速冲刺时，你没有太多时间停下来思考危险。相反，他们可能正在用非常简单、还原主义的目标来为早期系统进行编程，就像用笔在纸上写一个简单的便条，只是为了“让 AI 工作起来”。在后续发展中，一旦他们弄清楚如何在计算机中构建强大的智能水平，他们可能会回过头来考虑如何以安全为重点修改目标。

Bostrom 和许多其他专家认为，最有可能的情景是达到 ASI 的第一台计算机将立即看到成为全球唯一 ASI 系统的战略优势。在快速 takeoff 的情况下，即使它仅仅早于第二名几天达到超人工智能水平，它的智能水平也足够领先，可以有效且永久地压制所有竞争对手。Bostrom 将这称为决定性的战略优势，这将使世界上第一台 ASI 成为所谓的单例，一个可以随心所欲地永远统治世界的 ASI，无论其心愿是引领我们走向永生、抹去我们的存在，还是将宇宙变成无尽的回形针。

独特现象可能对我们有利，也可能导致我们的毁灭。如果那些专注研究 AI 理论和人类安全的人们能够在任何 AI 达到人类水平智能之前找到一种绝对可行的方式来实现友好型ASI，那么第一台 ASI 可能会是友好的。然后，它可以利用其决定性的战略优势来确保单例状态，并轻松监视任何可能正在开发的不友好人工智能。 这将为我们提供非常可靠的保护。

但是如果事情走向了另一面，如果在确保人工智能安全的科学方法被开发之前就达到了 ASI 的 takeoff 点，那么很有可能会出现像 Turry 这样的不友好超人工智能，人类将面临一场生存危机。至于现在的风口在哪里？投资人工智能创新比投资人工智能安全研究要赚钱的多……

这可能是人类历史上最重要的竞赛。我们有切实的机会结束我们我们作为地球之王的统治，而我们接下来会走向宁静的退休生活还是直接走向绞刑台，仍然悬而未决。

一边是对于我们这个物种的思考，似乎我们只有一次机会来做对这件事。我们所创造的第一台 ASI 很可能也是最后一台，考虑到大多数 1.0 版本产品存在许多缺陷，这是相当可怕的。另一方面，Nick Bostrom 指出了我们有很大的优势：我们可以率先采取行动。我们有足够的谨慎和远见的能力，从而给自己带来巨大的成功机会。这其中的赌注又有多高呢？

如果本世纪真的实现了 ASI，并且结果真的如大多数专家认为的那样极端和永久，那么我们将肩负着巨大的责任。未来百万年的人类生活都在默默地关注着我们，尽其所能地希望我们不要搞砸。我们有机会成为那些赋予所有未来人类生命的人类，甚至可能是赋予无痛、永恒生命的礼物。或者我们将成为犯下错误的人，让人类这个极其特殊的物种，带着它的音乐和艺术、好奇心和笑声、无尽的发现和发明，走向一个无情的终结。

当思考这些事情时，只希望我们能够慢慢来，对人工智能无比谨慎。世界上没有任何事情比做好这件事更加重要，无论我们要花多少时间来做好这件事。

想着能够有机会永生。

光谱开始变成这样：

然后，我们或许会考虑，虽然人类的音乐和艺术不错，但也并非都十分出色，实际上还是有很多糟糕都音乐与艺术。有些人的笑声很令人不悦，而那些未来的数百万人实际上并没有真的在看着我们，因为他们根本不存在。或许我们不必太过谨慎，毕竟谁真的想要那样呢？

因为如果人类在死后才发现永生的秘密，那该多扫兴。

但不管你支持哪个观点，这可能是我们所有人都应该思考、讨论并付出更多努力的事情。

这让人想起了《权力的游戏》，人们总是说：“我们忙着相互争斗，但我们真正应该关注的是来自墙北的真正威胁。”我们就像站在狭小平衡木上，为平衡木上的每个可能的问题争吵，为平衡木上的所有这些问题而感到紧张，而实际上我们很有可能即将从平衡木上跌落。

当那种情况发生时，平衡木上的这些问题将不再重要。根据我们掉落在哪一面，问题都会轻松解决，要么因为死去的人不再有问题而不再存在问题。

这就是为什么理解 ASI 的人认为它可能会是人类制造的最后一项发明，也是我们将会面临的最后一项挑战。

因此，让我们来时刻关注这个问题吧。

*以上文章翻译自 Tim Urban 的《The AI Revolution: Our Immortality or Extinction》，如需原文，请与我们联系。

WF Research 是以第一性原理为基础的专业顾问服务机构，欢迎关注和留言！

微信号：Alexqjl