超级智能 · 第三十四节
《超级智能》第三十四节
本节论述合作在超级智能研发中的好处及利益分配问题。合作能降低研发的草率程度、增加安全投入、避免冲突、促进控制问题的交流,并可能使智能爆发的果实得到更公平的分配。
本节论述合作在超级智能研发中的好处及利益分配问题。合作能降低研发的草率程度、增加安全投入、避免冲突、促进控制问题的交流,并可能使智能爆发的果实得到更公平的分配。更广泛的合作因赞助者要求公平份额、包含利他主义者、受公共监督且分利成本更低,更可能实现利益的广泛分配。支持这种分配既有道德理由(人人承担风险,应公平分利),也有慎重理由(促进合作、减弱竞争动机);从个人角度看,宇宙资源巨大,人人分得一份比小概率独占更划算,但这一论点受限于人们对排名的在意以及后过渡时期技术使资源可换成长寿和心智能力等稀缺品。
此外,前过渡时期的合作会影响后过渡时期的合作水平。在快速启动导致单一体出现的情况下,事前合作可能通过同步进展或合并项目,反而促成事后的多极格局;但合作机构只有在预测多极不会导致灾难时才会允许这种情况。总体上,后过渡时期的合作有助于降低反乌托邦风险。在合作形式上,小到团队合并,大到国际项目,但由于安全需要,此类项目须是严格控制的合营企业,科学家需隔离。应尽早利用“无知之幕”开展合作,但越接近成功,各方越难就公平分配达成一致。