《最后一个人类》第十五节

本节阐述了超级智能可能引发的“智能爆炸”及其带来的生存风险。

本节阐述了超级智能可能引发的“智能爆炸”及其带来的生存风险。古德认为，能设计更优机器的超级智能将使人类智能被远远甩在身后，甚至终结人类存在。索尔斯指出，一旦出现强于人类的智能，未来将无法预测，即所谓的“奇点”。他因此离开谷歌，投身于人工智能安全研究，警告说当前投入开发的资源远超安全研究，若不加以遏制，人类很可能被创造物“反杀”。他认为，只有在更多人认识到这一风险并推动安全研究的情况下，才能避免通向毁灭的“默认路径”。

支持这一观点的还有“有效利他主义”运动，该运动强调用理性和证据改善世界，其代表人物彼得·泰尔和埃隆·马斯克等向相关安全研究组织投入大量资金。未来生命研究所的联合创始人维克托里亚·克拉克弗娜解释，关注生存风险是基于对未来人类利益的价值衡量，避免大规模灭绝的收益远超当下援助。该组织主要致力于提升人工智能研究者对风险的认识。加州大学伯克利分校教授斯图尔特·罗素等科学家也曾在媒体上联合发文，警告人工智能的危险。