《超级智能》第二十九节

本节讨论超级智能设计中的四个关键选择。激励包作为目标的一部分，可由超级智能灵活执行，规定按贡献分配奖励，甚至追溯奖励已故者，但这也可能使目标偏离最初设想。

本节讨论超级智能设计中的四个关键选择。激励包作为目标的一部分，可由超级智能灵活执行，规定按贡献分配奖励，甚至追溯奖励已故者，但这也可能使目标偏离最初设想。在决策论上，直接指定一种决策论风险很大，可考虑让人工智能先用临时决策论去寻找最优的决策论，或赋予其有限理性以防学习阶段出错。认识论即评价经验假设的原则，若有缺陷，人工智能可能在关键问题上犯错；可先赋予其与人类相符的基本原理，其余由其自行发展。最后是审核批准，先用神谕人工智能预测主权人工智能运行的结果，供人类预览再决定是否实施，这能发现方案错误，但也会提前暴露结果，削弱和解与惊喜的价值。