《香农传》第十六章：信息论炸弹

香农在《通信的数学理论》中把一切通信系统抽象为六个环节：信源、发射器、信道、噪声源、接收器、信宿，这套模型既适用于电话、电路，也适用于DNA转录和战争中的命令传递。

香农在《通信的数学理论》中把一切通信系统抽象为六个环节：信源、发射器、信道、噪声源、接收器、信宿，这套模型既适用于电话、电路，也适用于DNA转录和战争中的命令传递。他提出用“比特”作为信息的计量单位——两个等概率选择所含的信息量，并给出公式 H=–plogp–qlogq，说明信息量取决于不确定性：概率越均衡，信息越多；完全可预测则没有信息。他指出语言并非完全随机，而是受统计规律约束，并通过逐级提高随机文本的近似度（从纯随机字母到按词频、词序生成），证明英语高度可预测、高度冗余——他估计英文文本约一半（后估为80%）的词受结构限制，只有少部分承载实际信息。

冗余既让密码可被频次分析破解（如《金甲虫》中按符号频次破译），也让人能凭语感猜出下一个词、发现错误。在此基础上，香农提出两个基本定理：第一定理说明信源可被压缩到每符号的最大信息密度（如给常用字母分配更短的编码），从而实现高效传输；第二定理引入噪声，定义了信道容量这一速度上限（香农极限），并证明只要在极限之内，通过设计带冗余的纠错码，就能在不加强信号的前提下实现无差错通信。由此，一切信息都可化为比特流传输，奠定了数字世界的基础。最后，本节谈到冯·诺依曼建议香农用“熵”命名信息对不确定性的度量，由此引出信息与热力学熵关系的诸多未解之问，香农本人则只把熵当作通信理论中的概念。