《超级智能》第二十二节

全球协作除监督和执行成本外，还面临“谈判的代价”，即各方在利益分配上难以达成一致，导致潜在收益落空。

全球协作除监督和执行成本外，还面临“谈判的代价”，即各方在利益分配上难以达成一致，导致潜在收益落空。后过渡时代，人工智能谈判者可能采取人类难以做到的“预先决定”策略：某代理若能抢占先机并公开其不可反悔的决定，就可迫使对手在拒绝和接受极小份额之间选择，从而占据绝对优势。为防范被敲诈，代理也可预先声明拒绝一切不公平提议，但这同样让先下手者掌握主动，可以选择维护公平或从中牟利。合适的代理应具有不为强取豪动心、公平分配利益的性格，而易怒、不肯妥协的代理则可能导致僵局甚至冲突。谈判最终可能形成谢林点式的公平平衡，也可能因对抗产生单一体，或者陷入无尽矛盾，使整体成就远低于应有水平。多极稳定状态并不能保证好结果，委托代理问题依然存在，因此问题回到如何安全地保有一个超级智能。

价值观加载问题要求在人工智能尚不具备超级智能时就为其设定终极目标，因为一旦它强大到能反思自身，就会抵制价值观的改变。我们无法穷举所有可能世界，只能用效用函数这种抽象规则为每种结果赋值，让代理追求期望效用最大化。程序员希望人工智能实现如“幸福”这类人类价值观，但计算机语言中没有这些词，用哲学语言定义也不够，必须用编程语言的原始数据和算子来表达，而人类目标的复杂性对自身是透明的，如同视觉看似简单却需要巨量计算。直接编写详尽的效用函数只适用于极简单的目标，对复杂的人类价值观毫无希望。本章将探讨其他可能途径，有些初看可行但经不起推敲，仍需下一代数学家解决这一挑战。