《超级智能》第三十节

本节首先讨论赞助者审批问题：给审核者几次简单否决权，比让其事无巨细调整更可取。

本节首先讨论赞助者审批问题：给审核者几次简单否决权，比让其事无巨细调整更可取。审批旨在降低灾难性错误，而非优化所有细节，因为人类资源充足，只要初始条件落入正确的吸引域，超级智能最终能自动达成目标。在认识论上，不同先验概率会收敛，无需追求完全正确，只需避免赋予极端先验；在决策论上，不可挽回的风险更大，一旦初始决策论糟糕（如可被敲诈），即使后来见到更好方案也来不及更换。因此重点应是设计高度可靠而非高度优化的方案，不完美的超级智能若根本理念可靠，会逐步自我完善。

随后进入战略图景，介绍两种规范性立场：人类影响视角关心改变是否符合现有或无论改变与否都将存在的有道德重要性的生物的利益；非人类视角则对所有人一视同仁，认为创造值得过的幸福生命越多越好。本节先从非人类视角分析。

在科学技术战略上，针对削减某领域经费的提议，研究者常以“技术终将发展起来、反对无用”为由反对，但增加经费时却无人如此抗议。这种双重标准可由自私偏见或国家利益解释——即使技术整体有害，本国仍可获利，因为危害反正会发生。但即便承认技术实现猜想，引导技术发展仍有意义：技术何时、由谁、在何种背景下发展会影响其影响，可通过资金等政策工具调控。由此提出以“促进有利技术超出有害技术的发展差异程度”评价政策的差异技术发展原则。

关于首选实现顺序，超级智能既带来巨大存在性风险，也能消除自然威胁（小行星、火山、疾病）和人为风险（战争、技术竞赛、意外事故、公众悲剧等）。由此有人主张越早越好；但更稳妥的结论是应在其他危险技术（如纳米技术）之前获得超级智能，因为超级智能能降低纳米技术的风险，反之则不然。不过若智能爆发风险会随时间下降，则应推迟：更晚的日期能为控制问题研究留出更多时间，目前多数解决方案是近十年提出的，未来几十年研究可能有巨大进步，这强烈反对超级智能尽早到来。