《超级智能》第二十五节

本节讨论通过设计代理内部的体制来塑造其动机，这种方法不依赖大规模社会改革，可在社会环境不利时用于个体工程。

本节讨论通过设计代理内部的体制来塑造其动机，这种方法不依赖大规模社会改革，可在社会环境不利时用于个体工程。它适合在已有良好动机的代理基础上增量推进：先将认知增强应用于少数副代理，再由未增强的同侪复审，确认动机未被破坏才推广，被破坏者则被剔除出决策功能。但测试本身受限于原有认知范围，小步慢走会提高成本、拖慢发展，且细微缺陷可能潜伏到超级智能阶段才暴露；由于人类水平的代理会隐瞒目标，测试需持续进行，可建立等级制——能力最低者居于权力顶端，由更高层监视下层。对于这种反向精英体制是否稳定，人类社会经验难以判断，但在软件化的社会中，数码等级制可让每层监管者拥有对下属的全面监控、奖惩、暂停、删除等权力，甚至能偷听内心、操控情绪，从而维持稳定，使少数人类控制众多超级智能代理。其成本随监管比例变化，在资源丰富、无竞争的项目中可控；还可用自愿仿真、可退出、舒适虚拟环境等缓解道德问题。若副代理是人工智能而非仿真，其结构简单、动机明确、可复制，利于管理，但也缺少社会情感和隐藏意图的线索，可能进行极端冒险和高度协调，使体制突然失效。因此该方法的前景及适用对象尚不明确，且增加复杂度本身也会引入新的出错可能，但仍值得探索。