《超级智能》第二十七节

本节讨论对CEV（一致推断意愿）的反对意见及相关设计问题。

本节讨论对CEV（一致推断意愿）的反对意见及相关设计问题。针对价值观无法混合的质疑，作者回应称CEV只在人们意愿一致时起作用；若理想化条件下仍存在不可调和的分歧，CEV不应做出决定，只在达成共识的领域（如食物无毒）行动，同时允许其他差异存在。

尤德科夫斯基为CEV提出七个论点，核心是：应让AI捕捉价值观源头而非列举具体规则，方案须强健且能自我修正。其余论点包括：容纳道德发展，避免把现有（可能有缺陷的）道德信念固定下来；防止少数程序员劫持人类命运，把对未来的影响交还全人类；减少人们为争夺首个超级智能控制权而冲突的动机——不同立场者（如塔利班成员与瑞典人道主义者）都可能相信自己的信念终将被CEV采纳，因而支持该原则；让人类主宰自身命运，CEV作为只运行一次的“初始机制”，可按推断意愿产生各种结果，甚至自我关闭。

此外，方案仍有待定参数，如推断库应包括哪些人（边缘群体、死者、未来之人、动物、数字大脑等）。一种方案是初始只含活着的成年人，再由其决定是否扩大范围，但这可能导致排除他人、引发权力争夺，且难以消除冲突动机。最后，作者提到另一种间接规范方案“道德正确”（MR），即让AI凭超级认知能力自行判断何为道德。