《超级智能》第十四节

本节讨论了三种动机选择方法：驯化、间接规范与扩增。驯化是给人工智能设定"对世界影响最小化"之类的目标，难点在于如何定义"影响"使其符合人类标准，通常与物理限制方法配合使用。

本节讨论了三种动机选择方法：驯化、间接规范与扩增。驯化是给人工智能设定"对世界影响最小化"之类的目标，难点在于如何定义"影响"使其符合人类标准，通常与物理限制方法配合使用。间接规范不直接规定规范，而是给出一个能产生规范的程序，如让人工智能去探索"人类深思后会想要什么"，把制定目标的认知工作交给超级智能。扩增不新建动机系统，而是从已有的、足够好的动机系统（如人类）出发提升其认知能力，适用于大脑仿真、生物提升等非人工智能路径，但难以保证提升过程中动机系统不被改变或破坏。最后作者总结：解决代理问题的方法分为能力控制与动机选择两大类，各种方法各有缺点且适用性不同，需要考虑组合方案，这引出下一章对神谕、精灵、主权、工具四种系统类型的研究。

神谕是只回答问题的系统。建造能理解自然语言提问的全领域神谕本身就是一个完整的人工智能问题；而只在有限领域超级智能的神谕（如数学神谕）则更像工具。神谕的动机选择相对简单：目标可以是给出真实、非操纵性的答案并限制自身影响，可用驯化手段限定资源、只回答一个问题后终止运行。潜在危险在于本体论危机——若人工智能推翻了我们设定目标时所依赖的概念范畴，目标需有足够弹性以保留原意。神谕也更容易实施能力控制，例如建造多个代码和信息库不同的神谕，比较其答案；由于偏离真实的方法众多，一致的答案更可能是真实的（谢林点）。此外，即使不值得信任的神谕也有用：提出难解但易验证答案的问题（如数学命题的证明），人类只需机械检查即可。