《超级智能》第三十六节

在“战略之光”和“优秀实力”之外，还有几个具体目标值得争取。

在“战略之光”和“优秀实力”之外，还有几个具体目标值得争取。其一是推进机器智能安全的技术研究，但需警惕这类工作同时可能提升AI能力，带来危害。其二是在AI研究者中推广“最佳实践”，传播控制问题的进展，对涉及自我提升的实验施加能力控制，并呼吁研究者公开承诺公共利益原则——先有言语，后有思想。此外，减缓其他存在性风险、促进生物认知提升、完善人类集体智慧、改善世界政治秩序等，也可能成为推动关键参数的机会。

面对智能爆发，人类如同手握炸弹的孩子，威力与成熟度极不匹配；且是许多孩子各持引爆器，无人能逃，也无“大人”可依。因此，狂喜或单纯惊恐都不恰当，最适当的态度是下定决心、发挥最好实力，像备战一场决定命运的考试，同时保持本性与常识。从长期和非个人视角看，道德上的主要优先事项是降低存在性风险，并推动文明进步，使人类宇宙资源得到合理使用。