超级智能 · 第三节
《超级智能》第三节
当系统达到人类水平后,通过购买算力、定制芯片等可快速扩大硬件,软件的内容延展与运算改进也能带来数量级的收益,因此硬件与软件的反抗度都可能不高。
当系统达到人类水平后,通过购买算力、定制芯片等可快速扩大硬件,软件的内容延展与运算改进也能带来数量级的收益,因此硬件与软件的反抗度都可能不高。最优化力在过渡阶段会增长:初期来自程序员和外部投入的加大,后期当系统能力主要用于自我改进时,能力增长会转化为最优化力增长,形成指数式反馈。即使反抗度不变,也可能出现快速或中速爆发,但也不排除缓慢爆发的可能。
关于是否会出现一个占据决定性战略优势的项目:启动速度是关键,快速启动几乎必然只有一个项目领先,慢速启动则可能多项目并行。技术扩散、模仿与监管会缩小领先者优势,但差距过大时追随者难以模仿;人工智能系统因组件忠诚、无代理问题,更容易保密并长期维持优势。若启动先慢后快,领先者可能在越过自我改进的临界点后迅速甩开对手,从而获得决定性战略优势,进而摧毁竞争项目、建立单一体。