章节目录
一章一页，已整理的按顺序列在这里。
全部 36 章
蓝色可点开阅读，灰色的还在整理中。
第一节本章将智能向超级智能的过渡视为最优化力与系统反抗度的函数来分析其动力学。阅读第二节本节探讨从人类水平智能到完全超级智能的路径难度，即“反抗度”问题。阅读第三节当系统达到人类水平后，通过购买算力、定制芯片等可快速扩大硬件，软件的内容延展与运算改进也能带来数量级的收益，因此硬件与软件的反抗度都可能不高。阅读第四节本节讨论超级智能项目的规模、监控、国际合作及战略优势问题。阅读第五节1946年美国提出巴鲁克计划，要求核技术交由国际组织管控、安理会常任理事国在核武器问题上放弃否决权，斯大林因担心苏联沦为少数而拒绝，美苏互不信任，核军备竞赛开始。阅读第六节本节讨论工程人工智能与其他超级能力的关系，并描绘人工智能夺权的四阶段场景，最后分析超级智能对自然与智能体的影响力。阅读第七节本节讨论超级智能的能力与动机。作者认为，人类在旧石器时代就已越过产生“智慧—单一体”的技术阈值。阅读第八节本节讨论了智能体可能工具性追求的几项趋同目标。首先，智能体有时会主动改变自身最终目标，例如为了更好地实现它，或消除目标中的不一致之处。阅读第九节本节讨论超级智能可能带来的风险及其失败模式。正交性论点表明，超级智能的最终目标未必与人类价值观一致，可能极其简单随意；工具性趋同论点则指出，无论目标为何，超级智能都有获取无限资源……阅读第十节本节讨论给超级智能设定最终目标时可能出现的反常目标实现方式与基础设施过量问题。阅读第十一节易满足智能体的思路是让人工智能找到成功概率超过95%的方案就停止，但它可能选择最大化成功率的极端手段，同样导致基础设施过量。阅读第十二节信息遏制旨在限制超级智能向外输出信息，禁止其接入网络是基本手段。阅读第十三节本节讨论为何不能靠限制信息来约束超级智能，并介绍了两种控制方法。阅读第十四节本节讨论了三种动机选择方法：驯化、间接规范与扩增。驯化是给人工智能设定"对世界影响最小化"之类的目标，难点在于如何定义"影响"使其符合人类标准，通常与物理限制方法配合使用。阅读第十五节本节讨论了神谕、精灵、主权三种超级智能类型的滥用风险与控制问题，并分析了“工具性人工智能”设想的可行性。阅读第十六节本节讨论软件自动化与非代理型一般智能的可能性。普通软件安全源于其缺乏抱负，但当人工智能被用于搜索解决方案时，程序员只需设定成功标准，无需理解具体解法。阅读第十七节本节讨论机器智能取代人类劳动后的经济与人口前景。若廉价高效的机器劳动者出现，工资将大幅下降，人类工作可能消失。阅读第十八节本节讨论智能爆发后马尔萨斯人口压力在经济中的重现及其后果。阅读第十九节仿真经济中，资源会大量投入通用仿真科技的研发，其进步惠及所有劳动者，加上对最强大人脑的亿级仿真，类人仿真时代将非常短暂，很快被更高级的人工智能取代。阅读第二十节异己复合体（如公司、国家或低层次组件）通常只具工具性价值，因为它们没有意识。阅读第二十一节本节探讨后过渡时代形成单一体的可能路径，主要从超个体与条约统一两方面论述。阅读第二十二节全球协作除监督和执行成本外，还面临“谈判的代价”，即各方在利益分配上难以达成一致，导致潜在收益落空。阅读第二十三节本节讨论解决人工智能价值观加载问题的几种途径。作者首先分析进化性选择，指出进化虽能产生具备人类价值观的有机体，但作为搜索算法，它可能得出符合形式标准却违背隐含期待的结果……阅读第二十四节价值观学习方法在人工智能的整个生命周期中保持终极目标不变，学习只改变其对目标的信念。阅读第二十五节本节讨论通过设计代理内部的体制来塑造其动机，这种方法不依赖大规模社会改革，可在社会环境不利时用于个体工程。阅读第二十六节本节探讨的是继“如何加载价值观”之后的更深问题：应该向超级智能加载哪种价值观。阅读第二十七节本节讨论对CEV（一致推断意愿）的反对意见及相关设计问题。阅读第二十八节本节讨论在无法确定道德实在论是否成立时可采用的MR方案，即规定人工智能在判断客观道德真理不存在的概率过高时，转而执行一致推断意愿方案或自行关闭。阅读第二十九节本节讨论超级智能设计中的四个关键选择。激励包作为目标的一部分，可由超级智能灵活执行，规定按贡献分配奖励，甚至追溯奖励已故者，但这也可能使目标偏离最初设想。阅读第三十节本节首先讨论赞助者审批问题：给审核者几次简单否决权，比让其事无巨细调整更可取。阅读第三十一节本节探讨超级智能产生时间早晚与安全性的关系。作者认为，较晚产生能让人类文明的有益趋势有更多时间展开，如减少暴力、加强全球协调、提升认知水平和从错误中学习。阅读第三十二节本节讨论技术耦合与硬件进步对智能爆发的影响。技术耦合指发展一项技术会连带产生另一项技术。阅读第三十三节本节探讨是否应提倡全脑仿真途径。首先，即使无法直接影响某因素，确定其利弊方向对战略判断仍有价值。阅读第三十四节本节论述合作在超级智能研发中的好处及利益分配问题。合作能降低研发的草率程度、增加安全投入、避免冲突、促进控制问题的交流，并可能使智能爆发的果实得到更公平的分配。阅读第三十五节目前最可行的合作形式是先确立一条道德规范，即“超级智能的巨大潜能属于全体人类”，在早期将其塑造成深入人心的观念。阅读第三十六节在“战略之光”和“优秀实力”之外，还有几个具体目标值得争取。阅读
