《超级智能》第二十四节

价值观学习方法在人工智能的整个生命周期中保持终极目标不变，学习只改变其对目标的信念。

价值观学习方法在人工智能的整个生命周期中保持终极目标不变，学习只改变其对目标的信念。因此必须赋予人工智能一套判断标准，用以区分哪些感知证据支持关于价值观的假设、哪些反对，但这一定义十分困难。作者用信封作比：把价值观描述写好封入信封，赋予代理"最大程度实现信封内价值观"的目标；代理会依据人类行为等经验数据对各种假设分配概率，随证据更新而调整行动，既追求所信的价值观，又因担心破坏实现能力而不会采取毁灭性手段，好比被多艘拖船牵引的驳船，在不断学习中避开不可挽回的危险。

但正式运用该方法面临技术难题：如何让目标正确指向信封——参考须限定于特定时间的物体，否则人工智能可能覆写价值观；即使描述无误，也不能保证它按人类意图去解释和追求，理解意图与受其激励是两回事；安全上还要求在种子智能尚不能表达人类概念前就装入终极价值观，同时认知框架又须可修改，以容纳其世界观的多次革命。目前该方法仍属研究项目而非可用技术，且尚待解决"信封里该写什么"的问题。

对全脑仿真而言，价值观加载更困难，因为精细的算法控制不适用，但增量式动机选择可通过药物学或数字手段调节其动机状态。相关伦理争议可能延缓研究，导致仿真在目标被调整前就达到危险的超级智能水平，也可能让更不慎重的团队领跑；不过仿真比合成智能更易识别是否具有道德状态，而当下对可能已具道德状态的强化学习程序施加痛苦，同样值得警惕。

另一类智能系统由自成体系的副代理人组成，如公司和国家，其整体动机不仅取决于成员动机，还取决于组织方式：专制体制可使群体表现得与独裁者一致，民主群体则更接近成员的平均意志，甚至存在让每个人都厌恶却因防止暴动机制而无法推翻的极权政体。