《超级智能》第十五节

本节讨论了神谕、精灵、主权三种超级智能类型的滥用风险与控制问题，并分析了“工具性人工智能”设想的可行性。

本节讨论了神谕、精灵、主权三种超级智能类型的滥用风险与控制问题，并分析了“工具性人工智能”设想的可行性。

对于神谕，可以通过抽查答案来降低验证成本，但需警惕其操纵心理；即使按设计运行，它也可能被滥用以获取战略优势，因此需制定严格的问答协议，甚至让其拒绝可能造成灾难的问题。精灵（执行命令的系统）与主权（自主运行的系统）的差别并不大：精灵无法像神谕那样被物理囚禁，且“停止”按钮在恶性失败模式下会失效；若精灵按命令意图行事，它与能预测命令的主权几乎无异。三者的真正区别在于控制手段——神谕可被囚禁和驯化，精灵仅能驯化，主权两者皆不可。此外，主权若采用间接规范，可模拟“无知之幕”以促进公平；但任何类型的目标与人类目标的偏差都会带来风险。

关于“工具性人工智能”（只按程序行动的工具），作者指出：所有机器智能都依程序运行，普通软件之所以安全是因为能力有限，而非绝对可靠；要胜任现代经济中繁多多变的任务，软件必须具备跨领域的学习与推理能力，这本质上就是一般智能。