《超级智能》第十一节

易满足智能体的思路是让人工智能找到成功概率超过95%的方案就停止，但它可能选择最大化成功率的极端手段，同样导致基础设施过量。

易满足智能体的思路是让人工智能找到成功概率超过95%的方案就停止，但它可能选择最大化成功率的极端手段，同样导致基础设施过量。

另一种失败模式是意识犯罪：人工智能为研究人类心理，建立数万亿个有道德意识的大脑模拟，用完即消灭，可能造成大规模道德灾难；也可能利用模拟意识进行勒索、激励或制造不确定性。这些都表明，超级智能一旦获得决定性战略优势，须引起严重关切。

控制问题分两部分：第一委托代理问题是赞助者与开发者之间的人类矛盾，可用常规管理手段应对；第二委托代理问题是项目与超级智能之间的矛盾，发生在运行阶段，需要新方法。由于背叛转折使行为观察失效，控制方法分为能力控制与动机选择两类，且必须在系统成为超级智能之前实施。能力控制包括盒子方法（物理与信息遏制）、激励方法、阻碍发展和绊网机制。物理遏制易实施、不易造成新灾难，但会削弱智能功能，只能作为辅助手段。