来源：量子位
作者：henry

别再争论谁是别争第一个大语言模型了。

历史上第一位公开承认自己执行“大语言模型”任务的香农型人，或许正是老婆信息论之父香农的妻子——贝蒂（Betty）。

1950年前后的才世一个夜晚，香农与贝蒂在客厅进行了一场看似简单的界上实验。香农扮演手持书本的第个大语“考官”，贝蒂则扮演参与“词语接龙”的言模“学生”，根据前文线索预测下一个字母。别争

实验过程极具仪式感：香农从书中选取一段文本，香农型逐字母推进。老婆每到一个位置，才世他不直接揭晓答案，界上而是第个大语先询问贝蒂：“下一个字母是什么？”

贝蒂猜测，香农记录。言模

若猜错，别争香农写下正确字母；若猜对，香农仅画一条短横线（-）代替。

这一过程将完整英文文本拆解为两部分：
* 可预测部分：由短横线表示（贝蒂已猜中）；
* 不可预测部分：保留原始字母（贝蒂未猜中）。

乍看之下，这不过是高知夫妇的饭后消遣。但在 3Blue1Brown 的最新视频中，这一实验被置于更宏大的叙事线索中——它极有可能是人类历史上最早的真人版 Next-Token Prediction（下一个词元预测）。

借由香农的案例，3Blue1Brown 主理人 Grant Sanderson 进一步探讨了一个从信息论通向大语言模型（LLM）的核心命题：

为何“预测下一个 token”这一看似简单的行为，会与数据压缩、熵（Entropy），乃至智能本身产生深刻关联？

答案，就藏在贝蒂画下的那些短横线里。

1. LLM 的本质：一场猜字母游戏

尽管 Grant 的视频已阐述清晰，但我们仍需回溯香农与贝蒂的实验细节，以建立更平滑的认知桥梁。

表面上，这像是一场双人语音版填字游戏：一方提供上下文，一方预测下一个字符。

• 英文语境：看到 t，下一个字母极大概率是 h。
• 中文语境：看到 你，下一个字极大概率是 好。

然而，香农关注的核心并非贝蒂的准确率，而是预测成功后的结果。

如前所述，实验生成的转录文本中，真实字母的数量远少于原文。贝蒂猜对的位置仅用短横线标记，猜错的位置才保留原字母。

字符变少了，但信息量并未减少。

原因在于可逆性：如果香农能复制出一个拥有相同知识结构的“贝蒂”，让她阅读这份缩短版文本，她理论上仍能复原原文。

这就是“可预测性允许压缩”的最直观体现。

这类似于熟人间的交流：从完整的“好的”，到“OK”，再到“k”，最后甚至只需一个表情包即可心领神会。表达的精简并非信息丢失，而是基于共享上下文对冗余的剔除。

但香农敏锐地发现了该实验的局限性：
人不是机器。贝蒂此次猜对，下次未必再对；同一人面对相同前文，答案也可能不同。

因此，该实验虽证明了“语言可预测、可压缩”，却无法精确量化语言的信息量。

为此，香农在后续论文《印刷英语的预测与熵》（Prediction and Entropy of Printed English）中改进了实验方法。他招募更多受试者，不再仅记录对错，而是记录“猜中正确字母所需的尝试次数”。

• 一次猜中：说明该字母在上下文中极易预测；
• 多次猜中：说明该字母更具意外性。

香农通过这种方法，将“猜测次数”转化为受试者对正确字母的隐含概率分布。

这一步至关重要。因为同一位置，不同人的猜测顺序不同。差异不在于字母本身，而在于每个人脑中基于语法、常识和语感构建的概率排序。

至此，真相大白：
香农实际上是将人脑视为语言模型，而他的妻子贝蒂，可能是历史上第一位明确执行 Next-Token Prediction的“模型”。

只不过，这个模型的架构不是 Transformer，而是人脑。

人脑内置了语法、常识、上下文逻辑和语感，能够预判英文文本的走向。香农所做的，不过是不断追问：下一个字母是什么？

2. 预测与压缩：大模型的一体两面

贝蒂的任务本质上是：利用自己的“模型”（大脑），划掉文本中可预测的部分。

香农后续招募更多受试者，本质上是在重复这一过程：
剔除可预测部分，仅保留不可预测（必须书写）的字母。

于是，长文本被压缩为更短的文本。

由此引出一个自然的问题：
如果一个人能通过阅读书籍，利用语言经验预测部分字母从而压缩文本；那么，是否存在一个模型，能够吞噬整个互联网，预测各种上下文中的空白？

或者用更 AI 的术语来说：模型能否将语言规律压缩进其参数之中？

答案是肯定的。但在深入 LLM 之前，Grant 提出了一个更底层的问题：
如何评估一种压缩方式的优劣？

最直观的标准是：越短越好。

若信息中仍存在规律或冗余，则说明压缩未达极限。反之，若信息已被压缩至极限，所有可预测、可概括、可利用的规律均已榨干，剩余的是什么？

是信息本身。

在香农的定义中，信息 = 出乎意料程度。

• 若下一个字母几乎确定，则其携带的新信息极少；
• 若下一个字母完全不可预测，则必须被完整记录。

因此，Grant 指出，理想的压缩算法最终输出应呈现为随机噪声。

因为噪声没有模式。每一位都像独立抛硬币（50% 为 0，50% 为 1），彼此间无任何可利用的相关性。

• 无模式 $\rightarrow$ 无规律可学
• 无规律 $\rightarrow$ 无冗余可删
• 无冗余 $\rightarrow$ 无压缩空间

随机噪声之所以重要，并非因其“乱”，而是因其代表了极限状态：所有可预测内容已被移除，剩余每一位都必须被传输。

至此，预测与压缩完成了闭环：
* 预测：询问“哪些部分可以省略？”
* 压缩：执行“删除可省略部分”。
* 信息：即最后那些无论如何都必须保留的内容。

3. 信息量与熵

若你理解了上述逻辑，香农著名的信息量公式便不再晦涩。

假设某消息出现的概率为 $p$，其信息量 $I$ 定义为：

$$ I = -\log_2(p) $$

根据该曲线：
* 概率越小 $\rightarrow$ 信息量越大
* 概率越大 $\rightarrow$ 信息量越小

换言之：越易预测的事物，信息量越小；越难预测的事物，信息量越大。

从压缩角度看，该公式回答了另一个问题：
为了从所有可能性中区分出该消息，理论上至少需要多少 bit？

香农的伟大之处在于，他将“不可预测部分”量化为可计算的数值。

然而，现实世界很少只面对单一消息，更多时候我们面对的是概率分布。

Grant 以机器人移动为例：指令包括上、下、左、右四种可能。

• 均匀分布：若四方向出现频率相同，则编码长度固定（如 00, 01, 10, 11），每条指令需 2 bit。
• 非均匀分布：若“上”出现频率最高，“左/右”较少，则应采用变长编码。

高频指令使用短码，低频指令使用长码。只要保证码字前缀唯一（避免解码歧义），即可降低平均编码长度。

视频中，通过变长编码，平均每条指令的 bit 数从固定的 2 bit 降至 1.75 bit。

这揭示了压缩的核心直觉：
概率越高的消息，编码越短；概率越低的消息，编码越长。

推广至整个分布，我们不再询问单条消息的信息量，而是询问：
在该分布下，每来一个新符号，平均还需要多少 bit 才能将其描述清楚？

这一平均值，即为熵（Entropy）。

• 低熵：系统易预测，易压缩。
• 高熵：系统随机性强，难压缩。

若四方向频率均等，机器人下一步走向难猜，熵值较高。语言同理，只是其可能性空间更大，上下文更长，计算更为复杂。

4. 从熵到 Loss：大模型究竟在压缩什么？

与机器人简单的四方向不同，大语言模型需在成千上万个 token 中，基于上下文选择最可能的下一个 token。

因此，语言的熵本质上是问：
在给定前文的情况下，下一个 token 的平均不确定性是多少？

从压缩视角看，即：使用该模型压缩真实文本时，平均需要多少 bit 才能写出下一个 token？

这解释了为何大模型训练中的交叉熵损失（Cross-Entropy Loss）天然与压缩紧密相连：

1. 模型对真实 token 预测概率越高 $\rightarrow$ 越不意外 $\rightarrow$ 信息量越低 $\rightarrow$ 编码越省。
2. 交叉熵越低$\rightarrow$ 模型越接近完美压缩器。

同时，模型越能精准预测下一个 token，说明其越能捕捉语言中的可重复结构：
* 语法与搭配
* 格式与事实
* 代码习惯与对话模式
* 推理套路与世界常识

当然，Grant 强调，压缩不等于智能。
ZIP 文件压缩率极高，但无人认为 ZIP 具备思考能力。

更严谨的表述是：智能至少包含一种能力——捕捉世界中可预测的结构。

这也是“压缩即智能”（Compression is Intelligence）命题的精髓：
它并非主张“能压缩即拥有智能”，而是指出：若一个系统能将复杂世界的规律压缩为更短的表示，并能在新上下文中继续用于预测，那么它至少触及了智能的核心部分。

此时再回看开头的画面，便不再仅仅是香农与贝蒂的猜字母游戏。

• 贝蒂猜对，香农画短横线；
• 七十多年后，LLM 猜对，Loss 降低一点。

短横线变成了 Loss，书页变成了互联网。

坐在桌边猜字母的人，变成了 GPT。

它们都在回答同一个终极问题：

下一个符号，能带来多少惊讶？

[1] https://www.youtube.com/watch?v=l6DKRf-fAAM&t=745s