《超级智能》第三十一节

本节探讨超级智能产生时间早晚与安全性的关系。作者认为，较晚产生能让人类文明的有益趋势有更多时间展开，如减少暴力、加强全球协调、提升认知水平和从错误中学习。

本节探讨超级智能产生时间早晚与安全性的关系。作者认为，较晚产生能让人类文明的有益趋势有更多时间展开，如减少暴力、加强全球协调、提升认知水平和从错误中学习。同时，许多技术进步（如监控、生物认知提升）对存在性风险的影响是正负并存的。

接着，文章区分了“状态风险”（随时间累积的风险）与“步骤风险”（与特定转变相关的离散风险），并指出宏观发展速度主要通过影响面对关键步骤风险时的准备充分程度来起作用。这引出核心问题：应选择用更高智能在更短时间内准备，还是用现有水平争取更长准备时间？答案取决于挑战性质：若需从经验中学习，较慢发展更有利；若挑战依赖预见与推理（如解决控制问题），则认知提升更有益，因为它能更有效地促进相关进展。

最后，关于技术路径选择：即使认为全脑仿真的控制问题更易解决，也不应因此提倡加速其发展，因为超级智能整体的较晚到来本身可能更有利。