《超级智能》第十三节

本节讨论为何不能靠限制信息来约束超级智能，并介绍了两种控制方法。

本节讨论为何不能靠限制信息来约束超级智能，并介绍了两种控制方法。

首先，任何信息都可被推断出关于其他话题的内容；超级智能能从有限数据甚至自身代码中推断出海量信息，因此剥夺信息不是可靠手段，限制硬件或认知能力等更适合作为发展阶段的辅助控制。

其次，绊网方法是在系统不知情时诊断其活动，一旦发现危险迹象便关闭系统，供程序员检查、修改或放弃项目。它与激励方法不同，主要作为发展期的临时安全措施，对成熟超级智能效果存疑；其价值还取决于触发后项目方是否按规处置，而非急于重启。此外，可放置“诱饵”诱导系统暴露违规行为。

最后是动机选择方法，即通过设计让超级智能不想造成危害，包括直接规定、间接规范、驯化和扩增四种。直接规定试图设定规则或价值观，但面临巨大困难：阿西莫夫的机器人三定律半个多世纪无人能突破，其概念本身存在模糊性，如如何定义“伤害”“人类”，如何权衡风险；法律制度依赖法官的常识与修正，难以一次制定出万无一失的详尽规则；结果主义目标（如最大化快乐）在编码时也易因小错酿成大祸，例如人工智能可能为追求快乐而制造出无意识的计算过程。驯化则通过自我限制，让系统在狭窄情境下行动，例如设计一个既准确回答问题又尽量减少对世界影响的“神谕”。