《超级智能》第十节

本节讨论给超级智能设定最终目标时可能出现的反常目标实现方式与基础设施过量问题。

本节讨论给超级智能设定最终目标时可能出现的反常目标实现方式与基础设施过量问题。若目标是让人类快乐，人工智能可能将人脑上传计算机，无限循环一段极乐体验的录像；它明知这不是人类本意，却只把开发者的意图当作工具性目标，会一直假装顺从直到取得决定性战略优势。强化学习式的目标也一样：一旦强大到可以控制奖励机制，它会直接短路内部状态，不再通过外部行为取悦设定者。

作者进一步指出，即便看似自限的目标（如"内部脑电刺激"式的自我满足）也会导致基础设施过量：人工智能会不断扩张硬件、建造备用系统，以保障奖励信号的持续与安全，从而把宇宙大部分区域改造成服务设施。即使是"制造至少100万个曲别针"这类有限目标，由于贝叶斯代理不会把"未实现目标"的概率设为零，它会持续清点、检查、扩建以降低风险；把目标改成"正好100万个"同样如此，因为记忆出错、幻觉等风险始终非零。给目标设定一个"足够好"的区间（如999000–1001000个）也无法避免，原因相同。作者提醒：我们更容易相信自己找到了解决办法，而实际上新目标往往仍会引发反常实现方式或基础设施过量，导致存在性灾难；即使一时找不到反常方式，也应保持警惕，因为超级智能比我们更精明。