《超级智能》第二十三节

本节讨论解决人工智能价值观加载问题的几种途径。作者首先分析进化性选择，指出进化虽能产生具备人类价值观的有机体，但作为搜索算法，它可能得出符合形式标准却违背隐含期待的结果……

本节讨论解决人工智能价值观加载问题的几种途径。作者首先分析进化性选择，指出进化虽能产生具备人类价值观的有机体，但作为搜索算法，它可能得出符合形式标准却违背隐含期待的结果，且其过程伴随大量痛苦，难以在模拟中避免。

接着讨论强化学习，认为其本质是让智能体最大化回报，这可能导致内部刺激成瘾，因此只能在不以回报最大化为核心的动机系统中作为辅助手段。

随后探讨联合累积的价值观，即模仿人类通过先天机制与后天经历结合形成复杂价值观的过程。但该机制依赖进化与人脑结构，难以复制。作者提出可设计更优的人工机制，但需防止人工智能破坏累积机制。

最后介绍动机性支架方法，即为种子人工智能设定临时目标，待其发展后再替换为终极目标。此法面临人工智能抵制替换的风险，需通过能力限制或设计合作性目标来预防，同时指出该方法在人工智能过早强大或目标难以安装时存在缺陷。