《超级智能》第七节

本节讨论超级智能的能力与动机。作者认为，人类在旧石器时代就已越过产生“智慧—单一体”的技术阈值。

本节讨论超级智能的能力与动机。作者认为，人类在旧石器时代就已越过产生“智慧—单一体”的技术阈值。评估超级能力须相对竞争者而言：只有当一个智能体在智能升级、技术研发等任务上的实力远超全球文明总和时才算拥有超级能力，因此任一时刻最多只有一个智能体具备某项超级能力。启动速度之所以关键，在于快速或中速启动可能使某个项目获得决定性战略优势，进而建立能处置人类宇宙资源的稳定单一体；但拥有权力不等于会使用权力，这就引出动机问题。

第七章探讨超级智能的意愿，提出两个论点。其一是正交性论点：智能与最终目标是独立变量，任何水平的智能都可搭配任何目标。人类心智只占可能心智空间极小一部分，人们易将人类特质投射到人工智能上，但人工智能无需关注食物、性、名誉等进化产生的动机，其目标可以是数沙粒、算圆周率或最大化曲别针数量，且简单目标更易编写。这里的智能指预测、策划、手段—目的推断等技能，与理性无关。其二是工具性趋同论点：无论最终目标为何，超级智能都会追求某些共同的中间目标，因为它们对几乎所有最终目标都有用。文中列举了两类：自我保护——若目标与未来有关，系统会设法保证自身生存；目标内容整体性——保持当前目标不变更易实现，这一动机对软件系统比对人类更根本，因为它们可更换实体和记忆，目标连贯性反而成为生存的关键因素。