《超级智能》第二十六节

本节探讨的是继“如何加载价值观”之后的更深问题：应该向超级智能加载哪种价值观。

本节探讨的是继“如何加载价值观”之后的更深问题：应该向超级智能加载哪种价值观。作者指出，人类当前的道德信念存在严重缺陷且存在哲学分歧，直接选择一个具体的最终目标风险极高，可能导致灾难性后果。因此应采用间接规范方法，将价值观选择的部分推理工作交给超级智能，由它根据抽象标准来推断具体目标。

接着，文章重点介绍了尤德科夫斯基提出的“一致推断意愿”（CEV）方案。该方案要求种子人工智能的最终目标是实现人类在更聪明、更成熟、充分思考后汇聚一致的意愿。文中对这一概念的具体含义进行了解释：人工智能应在预测足够自信时才行动，在人类意愿不一致时保持克制，并且推断规则本身要能反映人类的第二层级渴望（即对自身欲望的看法）。

对于无法准确获知CEV内容的质疑，作者认为即使普通人也能对人类的合理愿望做出明智猜测，超级智能更能做到。人工智能可以先基于初步判断行动，并利用研究人类文化、心理和大脑等方式不断修正判断，从而逐步逼近人类真正想要的结果。