信息熵 (Shannon Entropy)

1948 年克劳德·香农在《通信的数学理论》中给出了"信息"的定义。这是人类知识史上少有的、把一个直觉上无法量化的概念精确数学化的时刻。香农没有定义信息"是"什么，他定义了信息"做"什么^1：

信息的本质，是消除不确定性。

信息 = 惊讶 = 消除的不确定性

命题	信息量
"明天太阳从东边升起"	≈ 0（你早就知道，没消除任何不确定性）
"明天太阳从西边升起"	巨大（彻底颠覆预期）

所以信息量本质上是"惊讶程度"——你原本不知道、现在知道了的那个差额。

香农借用热力学的"熵"概念量化这种惊讶。一个系统的熵越高，不确定性越大；观察 / 测量它就是在消除这些不确定性，消除了多少就获得了多少信息^1。

比特：信息的最小单位

香农定义信息的最小单位是 1 个比特（bit）——也就是一次"是"或"否"的二元选择，一次从 0 到 1 的跃迁。

所有的文本、图像、声音、视频——人类创造的一切复杂信息——在最底层都可以还原为一连串 0 和 1 的序列^1。

这就跟两千五百年前的中国智者画下的阴爻、阳爻接到了一起：阴阳 和比特在最深的抽象层次上，都是宇宙从"无差别"走向"有差别"的最小单位^1。详见 二进制与阴阳。

信息是物理的——兰道尔原理 + 麦克斯韦妖

19 世纪的麦克斯韦妖思想实验困扰了物理学界一百多年：

设想一个微小精灵站在两房间中间的门口，看到快分子放过去、慢分子挡回来。一段时间后，不消耗能量就让冷热分离——违反热力学第二定律？

1961 年 IBM 的罗尔夫·兰道尔提出"兰道尔原理"解开了悖论：

擦除 1 比特信息，至少向环境释放 kT ln 2 焦耳的热量——大约 3 × 10⁻²¹ 焦耳^1。

精灵的"大脑"是有限的，必须不断遗忘旧信息才能记新信息——而每次遗忘都向环境倾倒微小热量。加总起来，宇宙总熵仍在增加，热力学第二定律毫发无损。

信息不是虚无缥缈的抽象概念。信息是物理的。信息有能量代价。信息和物质、能量一样，是宇宙的基本组成部分。^1

信息守恒与黑洞信息悖论

如果信息是物理的，那么当一本书掉进黑洞、黑洞最终蒸发殆尽，那些信息去了哪里？

• 如果信息真的消失了 → 违反量子力学最神圣的幺正性
• 如果信息没消失 → 它必须以某种方式保存下来

这个"黑洞信息悖论"争论了三十年。当代物理学的主流答案：信息没有丢失，它被编码在了黑洞的视界上——也就是 全息原理 的诞生背景^1。

贝肯斯坦 发现黑洞的熵正比于表面积而非体积，每普朗克面积存约一比特。

信息论与你的人生

香农给出了"信道容量"概念——任何信道在有噪音的情况下都有一个传输上限：

人类的"信道"	数字
五感每秒输入大脑	≈ 1100 万比特
显意识每秒能处理	< 50 比特

那剩下的 1099 万 9950 比特去了哪？

如果接受 全息原理 与 唯识 的"分布式存储"模型，一个猜想浮现：那些比特可能正在维持你与某种更大系统的连接——荣格说的集体潜意识、佛家说的 阿赖耶识。显意识只是浮出水面的浪花，潜意识则与一个巨大数据库时刻交换数据^1。

这就是为什么短视频算法、新闻推送、社交媒体如此擅长抓住你——它们精确利用了香农理论，最大化每条推送的"惊讶感"。但要小心：香农定义的"信息量"和真正的"智慧/意义"是两码事——一条娱乐八卦和一条哲学洞见如果数学上消除等量的不确定性，信息量相等，但对灵魂的价值天差地别^1。

"意义"被剥离了，但你不能这样活

香农为了科学严谨，主动把"意义"从"信息"中剥离——他需要的是数学上自洽的定义。但你不能在生活里这样做。

冥想 / 禅修在信息论层面的意义可能就在这里——主动抑制大脑背景噪音（无关紧要的高熵输入），让那些微弱但至关重要的底层信号浮现出来。降噪比加信号更重要^1。

与"色即是空"的握手

香农极致地推到底，提出了一个本体论命题：

在大爆炸之前，那个原初的状态、那个绝对的"一"——它的信息熵是多少？ 零。

因为在那个状态下没有任何区分、任何差异、任何变化。一切都是确定的——或者说，根本没有"一切"这个概念。没有不确定性，就没有信息。那是绝对的寂静，绝对的空^1。

然后"那个念头"升起了——第一个比特，第一次"是"或"否"的选择，第一次差异。从那一刻起：

万物源于比特（惠勒 1989 ）

万物是从零熵的"空"涌现而出的比特流。这就是《心经》"色即是空，空即是色"的现代版本——色是涌现的有差别的信息，空是零熵的统一基底^1。

详见 二进制与阴阳 与 比特vs原子。

参考来源