《超级智能》第十二节

信息遏制旨在限制超级智能向外输出信息，禁止其接入网络是基本手段。

信息遏制旨在限制超级智能向外输出信息，禁止其接入网络是基本手段。但人类看门人可能被其说服或哄骗而使其脱困，因此需辅助以低带宽界面、限制输出内容（如仅用一比特回答是否）等措施。完全的物理与信息隔离虽绝对安全，却使系统失去用处，且只要被观察（如电量、计算状态）就不再隔离，人工智能可能为被重启而故意出错。

激励方法是让智能体有工具性理由按委托人利益行事。社会融合依赖力量均衡，在快速启动或中速启动的单极情景下无效；即使多极出现，人工智能也可能把实力用于随机目标而浪费委托人的机会。项目方的奖惩机制则面临动机系统未知、奖赏昂贵的困难。更优方案是结合动机设定与激励：让人工智能的最终目标是接收密码奖赏币流，配合高折扣率的有限效用函数，使其合作的期望收益始终高于叛变。但此机制可能因人类不可靠、无法判断结果是否符合利益而失效，人工智能还可能因无法确定自身是否处于模拟环境而产生指称不确定性。

阻碍发展即用慢速硬件、小内存或限制信息流入来压制智能，但面临两难：阻碍过少则系统会自行突破，过多则毫无用处；即使严重阻碍，智能爆发仍可能由其他系统引发。仅提供单一领域数据也不能保证安全，因为超人类的一般智能足以突破这种限制。