《女士品茶:20世纪统计怎样变革了科学》第二十一节
本节以联邦主义论文的著作权争议为例,说明贝叶斯层次模型的思路:麦迪逊与汉密尔顿用词频率不同,但这些频率只是各自用字分布参数的估计值,本身带有不确定性。
本节以联邦主义论文的著作权争议为例,说明贝叶斯层次模型的思路:麦迪逊与汉密尔顿用词频率不同,但这些频率只是各自用字分布参数的估计值,本身带有不确定性。为衡量这种不确定性,可把参数视为受同时代、同地区作家用词习惯制约的随机变量,其分布参数称为超参数;超参数又可由其他时期、地区的英语文献估计出超-超参数,如此逐层递推,反复运用贝叶斯定理,最终算出争议文章出自何人之手的概率。自20世纪80年代起,这类层次模型已用于工程和生物学中多个分布混合的问题,莱尔德和韦尔的EM算法尤适于处理。但贝叶斯统计文献中方法纷杂、缺乏统一判别标准,保守统计学家与贝叶斯学派之间以及贝叶斯学派内部争论不断,至今没有出现能统一这些争议的天才。
另一条更坚实的路径是个人概率。萨维奇和德费奈蒂在20世纪六七十年代为其建立了数学基础,萨维奇主张世上没有绝对的"科学事实",只有人们持有不同赞成概率的陈述;凯恩斯则认为概率是特定文化环境中受教育者共有的信念程度,为此需弱化数学定义,把概率变成对想法的排序。无论采用哪种定义,贝叶斯定理的应用都符合一般直觉:先有一组先验概率,观测得到数据后修正为后验概率。例如对"所有大乌鸦都是黑的",每看到一只黑乌鸦,相信程度就上升;反之,三里岛核电厂事故中,操作员因先前多次遇到假警报,先验成见过强,面对水位过低的警告仍不予理会。若只有两种可能,贝叶斯定理给出先验胜率与后验胜率的简单关系,数据可归纳为不依赖先验的贝叶斯因子,读者自行代入先验即可算出后验。莫斯特勒与华莱士用层次贝叶斯模型、贝叶斯因子及两种非贝叶斯方法分析12篇争议文章,四种方法一致指向麦迪逊;按贝叶斯因子计算,某些文章需先验胜率超过十万比一才可能让后验变成五五开。