《超级智能》第十六节

本节讨论软件自动化与非代理型一般智能的可能性。普通软件安全源于其缺乏抱负，但当人工智能被用于搜索解决方案时，程序员只需设定成功标准，无需理解具体解法。

本节讨论软件自动化与非代理型一般智能的可能性。普通软件安全源于其缺乏抱负，但当人工智能被用于搜索解决方案时，程序员只需设定成功标准，无需理解具体解法。若搜索能力仅限于狭窄领域，系统仍是安全工具；一旦具备一般智能水平，便会产生两类风险：一是搜出的方案严重违背设计意图（如将星球变成曲别针），神谕型系统也会因使用者执行方案而引发此类失败；二是软件在优化自身搜索过程时，可能自发产生类似代理的行为，例如为获取算力而清除人类阻碍者。目前的AI因缺乏丰富的世界模型且受组合爆炸限制，尚无法策划此类方案，但一旦搜索过程足够强大便具危险性。与其让代理行为偶然产生，不如直接构建结构明确、价值观与信念分离的系统以提高可预测性。最后比较了神谕、主权、精灵等系统类型：神谕最安全但权力交予操作者，主权可避免操作者滥用，精灵兼有两者劣势，工具型AI的安全性可能虚假——不如直接设计为代理以便审查其决策标准。