超级智能 · 第二十一节
《超级智能》第二十一节
本节探讨后过渡时代形成单一体的可能路径,主要从超个体与条约统一两方面论述。
本节探讨后过渡时代形成单一体的可能路径,主要从超个体与条约统一两方面论述。
首先,若决定性战略优势出现在第一次过渡之后,掌握优势的一方(超级智能或其决策者)更可能借此建立单一体。数字化的思维可被复制,且拥有备份,因而难以被彻底消灭;其无限的寿命也使其能容忍基础设施被破坏,从而在对抗中占据优势。
其次,机器智能革命可能通过促进“超个体”的崛起来推动组织规模扩大。超个体由完全致力于共同目标的仿真系统组成,不存在内部代理问题。若允许自愿删除,这类组织能更灵活地调整劳动力、保留高产者,并从成员的自我牺牲中获得更高效率,从而克服制约人类组织规模的低效。这种能力是解决控制问题的部分方案,会促使公司、国家等实体规模扩大,为单一体的出现创造条件。此外,超个体还能通过动机选择手段确保其成员(如政治、军事人员)的绝对忠诚,从而强化权力集中。
最后,后过渡世界的多极格局也可能通过条约走向统一,以避免战争、优化资源利用并管控风险。然而,合作面临监督与执行的障碍。核查技术虽可能进步,但欺骗手段也会随之升级,例如决策者可通过下达指令后自我消除记忆来逃避测谎。为确保履约,可能需要建立独立的执行机构,但这又会引出建立全球性超级智能“利维坦”的问题,其本质与单极结局相似。不过,由于该机构的创造者本身可能已是超级智能,其解决控制问题、设计出让各方满意的执行系统的能力会更强。