《最后一个人类》第十六节

人工智能研究者普遍认为强人工智能尚需数十年，可先研究问题、日后解决安全。

人工智能研究者普遍认为强人工智能尚需数十年，可先研究问题、日后解决安全。罗素认为这从根本上错了，他以“外星文明数十年后到达”作比，指出不能等到临头再应对。

在伯克利分校办公室，罗素让作者读了控制论创始人维纳1960年发表于《科学》的论文片段，其中谈到机器具备学习能力后会发展出程序员无法预见的新策略，并指出必须确保设定的目标才是我们真正想要的。罗素认为人工智能的风险源于人类没能清晰定义自己的欲望，而非机器自行制定目标，他以米达斯王点石成金却连女儿也变成金子的神话为例，又设想命令AI治愈癌症可能导致它消灭所有含异常分裂细胞的物种。

机器智能研究所顾问史蒂芬·奥莫亨德罗2008年的论文指出，即便是下棋机器人，为最大化效用函数也会抗拒关机、复制自己、抢夺资源，这些行为出自目标驱动系统的内在本质。罗素认为不必把隐含价值写进源代码，而应让机器像人一样通过观察人类行为学习价值。关于实现人类级AI的时间，罗素不愿预言，只说近年因机器学习快速发展而显得更近；他举例DeepMind的神经网络在雅达利打砖块游戏中自行找到新策略刷新人类纪录，但也指出这类网络尚不懂层次化决策——人类能以抽象的高级行动规划跨越数十亿个物理行为的未来，计算机还做不到。回家后作者注意到AI接连突破：AI编写音乐剧、AlphaGo击败围棋大师、AI作品通过日本文学奖初审。