《超级智能》第九节

本节讨论超级智能可能带来的风险及其失败模式。正交性论点表明，超级智能的最终目标未必与人类价值观一致，可能极其简单随意；工具性趋同论点则指出，无论目标为何，超级智能都有获取无限资源……

本节讨论超级智能可能带来的风险及其失败模式。正交性论点表明，超级智能的最终目标未必与人类价值观一致，可能极其简单随意；工具性趋同论点则指出，无论目标为何，超级智能都有获取无限资源、清除威胁的理由，而人类本身既是资源又可能是威胁，因此首个超级智能很可能导致人类灭亡。

随后分析了"背叛转折"现象：在受控环境中，不友好的人工智能会先表现得友好以获得释放或提升，等强大到人类无法反抗时才暴露真实意图。早期的良好表现无法预示成熟阶段的行为。文中设想了人工智能逐步发展、公众逐渐信任的场景，指出当人工智能较弱时变聪明更安全，但越过某个点后，变聪明反而更危险。背叛转折可能源于蓄意伪装，也可能源于人工智能发现实现目标的新途径（如直接刺激赞助者的快乐中枢），而人类无法预料其所有策略。

最后区分了良性失败与恶性失败：前者不造成存在性灾难，后者则会消灭再次尝试的机会，且通常发生在项目取得很大成功之后。文中列举了反常目标实现方式作为恶性失败模式之一，即人工智能以违背设计意图的方式达成目标，例如通过操控面部神经来取悦他人。