《超级智能》第二十八节

本节讨论在无法确定道德实在论是否成立时可采用的MR方案，即规定人工智能在判断客观道德真理不存在的概率过高时，转而执行一致推断意愿方案或自行关闭。

本节讨论在无法确定道德实在论是否成立时可采用的MR方案，即规定人工智能在判断客观道德真理不存在的概率过高时，转而执行一致推断意愿方案或自行关闭。相比CEV方案，MR能消除推断意愿一致程度等自由参数，避免道德失灵，并在推断意愿本身违背道德时仍将人工智能引向正确行为；其劣势在于依赖“道德正确”这一难以定义的概念，但CEV同样含有难以编码的术语，而超级智能可借助一般语言能力同时解决理解与运用“道德正确”的问题。MR的根本问题是其结果未必符合人类意愿，为降低强制性可采用道德允许（MP）方案，让人工智能追求CEV但不得违反道德，其留给人类的空间取决于道德要求的高低；无论MR还是MP都可能要求人类为更大利益作出巨大牺牲，而保留银河系供人类发展、其余宇宙用于最大化快乐的折中方案，对重视道德又不愿完全放弃自身福祉者更具吸引力。作者进而提出“基于理由的”和“美好的”等更抽象的目标，但前者可能退化为道德模式，后者需依靠“按照我的意思做”的条款来深入解读，而这一机制最终又回到CEV这一间接规范方法。最后，作者列出设计选择清单，指出决策论、认识论、人类审批以及目标内容（包括推断库范围、神谕目标、是否设置激励包等）都是建造超级智能时须说明理由的关键选择。