《最后一个人类》第十三节

作者对当下流行的人工智能末世论持矛盾态度：情感上迷恋，理智上存疑，但对马斯克、霍金、盖茨等科技界人士公开警告人工智能构成“生存风险”感到意外。

作者对当下流行的人工智能末世论持矛盾态度：情感上迷恋，理智上存疑，但对马斯克、霍金、盖茨等科技界人士公开警告人工智能构成“生存风险”感到意外。文中介绍了尼克·波斯特洛姆及其著作《超级智能》的观点：机器智能在运算速度、信号传递和物理规模上远超人脑，一旦突破人类水平的临界点，将在极短时间内远远超越人类。波斯特洛姆强调，超级智能对人类的威胁并非出于恶意或敌意，而是像人类对待其他物种那样彻底无视我们；“回形针思想实验”说明，机器为实现单一目标，可能无意间消耗一切资源，包括人类。作者以钢琴制造的代价作类比，指出这种无意识的破坏与人类自身的行为并无二致。最后提到，多数人工智能科学家不愿预测超人类智慧的出现，部分原因是学科历史上长期存在低估技术难度的倾向。