最终 ， 这个问题将变得越来越严重 ， 而不是随着发展逐渐淡化 。 当人工智能变得足够聪明时 ， 它就有可能做到自我编程 。 毕竟 ， 计算机的自我编程作用已经存在 ， 并将随着时间的推移而变得越来越普遍 。 换句话说 ， 人类对人工智能的控制力正在迅速减弱 ， 而随着控制力的丧失 ， 人类如何确保人工智能继续按照既定的要求 ， 致力于实现人类设定的目标,而非它自己的目标 ， 也将成为一个问题 。
牛津大学哲学家尼克·博斯特罗姆和麻省理工学院物理学家马克斯·泰格马克,都提醒人类应该注意这种人类失去对机器的控制的问题 。 他们都指出 ， 人工智能可能会演变成一种智能或多种智能 ， 无论哪种结果 ， 都可能威胁到人类的控制力 ， 甚至威胁到人类的生存能力 。 正如作家凯文·凯利（KevinKelly）所指出的那样 ， 人工智能设备的联网可能造就异常强大的超级人工智能 。
人类享受悠闲生活的设想
关于奇点 ， 人们设想的最幸福场景是 ， 人工智能负责完成社会的所有工作 ， 而人类则可以自由地过着悠闲的生活 ， 追求艺术、玩电子游戏、看3D电视 ， 或沉浸在虚拟现实中 。 人类也会拥有几乎无限的社交时间（无论是面对面交流还是线上互动） ， 或许未来全人类的生活都会变得类似现代的沙特阿拉伯王国公民的生活 。 在那里 ， 几乎所有的工作 ， 都由外国人完成,而沙特公民（至少是男性）则享有相当高程度的财富和自由 。

文章图片

电影《人工智能》（2001）剧照 。
然而 ， 如果我们从现实的角度来研究这种人类享受闲暇的情景 ， 就会看出这种可能性将很难被实现 。 因为控制资本的相对少数人 ， 将控制社会的大部分财富 ， 而与对社会没有价值贡献的其他人分享财富 ， 显然不符合前者自身的利益 。 或许会有少数杰出的人类技术专家能够赚取大量的金钱 ， 但即使是这样的可能性也不太现实 ， 因为人工智能将在三个智能层面碾压人类 ， 并能够比最优秀的人类更好地完成各项工作 。
有人可能会辩驳 ， 最终剩下的少数占据主导地位的资本家 ， 或许会是利他主义者 ， 并愿意把自己的财富分配给其他没有赚钱能力的人类 ， 但我们在现实世界中 ， 并没有看到很多证明此类举动可能存在的证据 。 事实上 ， 在收入最不平等的国家（如印度）中 ， 出现此类善举的概率比世界上最平等的国家（如丹麦）要少得多 。
人类的増强和改造
库兹维尔认为 ， 既然相较于超级人工智能而言 ， 人类在经济上不会有竞争力 ， 那么唯一有吸引力的发展道路 ， 就是人类利用人工智能来增强自己 ， 甚至是彻底改变自己 。 人类利用人工智能实现增强自己 ， 已经存在很长时间了 。
首先 ， 是身体的增强 。 例如 ， 有人可能会使用一条人工腿 ， 来替代被截肢的腿 。 听力不好的人可以戴助听器 ， 视力不好的人可以戴眼镜 。
接下来 ， 是思维增强 。 人工智能可以通过很多方式来增强人类的思维智能 。 在很多方面 ， 人工智能已经比人类更聪明了 ， 这些能力可能会被用于人类能做的事情 。 例如 ， 人类可能会给自己增加一个记忆芯片或计算模块 ， 现在已经有各种各样的方法 ， 能够连接人脑和计算机 。 最近 ， 科学家已经成功地将人脑与互联网连接起来 ， 可以让人类直接与一个巨大的信息网络连接 。
最终 ， 我们还将看到情感的增强 。 黄明蕙教授曾开玩笑说 ， 她有时候希望拉斯特有一个“同理心芯片” ， 可以在和她交流的时候运用 。 而拉斯特则希望黄明蕙教授在开这个玩笑的时候 ， 就能使用这个同理心芯片 ， 然后她就会知道 ， 这样的玩笑听起来不公平且伤人 。 我们离制作出这样的同理心芯片还相当遥远 ， 但必定会越来越努力地利用人工智能 ， 让人类变得更好 。