别争了！香农老婆，才是世界上第一个大语言模型

henry 发自 凹非寺

量子位 | 公众号 QbitAI

别争了！别争

世界上第一个“明牌”自己是香农型大语言模型的人，可能是老婆香农的老婆。

1950年前后的才世某一天晚上，信息论鼻祖 香农与妻子 贝蒂（Betty）在客厅进行了一项看似简单的界上小实验。

实验中，第个大语香农扮演手持书本的言模“考官”，贝蒂则扮演“学生”，别争进行词语接龙游戏，香农型根据香农给出的老婆前文提示，猜测下一个字母。才世

具体流程如下：香农从书中某一段落开始，界上逐字母推进。第个大语

每到一个位置，言模他不直接公布答案，别争而是先问贝蒂：“下一个字母是什么？”

贝蒂猜测，香农记录。

若猜错，香农写下正确字母；若猜对，他仅画一个短横（-）代替。

这样一来，正如上图所示，一段完整的英文文本被拆解为两部分：

• 贝蒂能预测的部分：用短横带过；
• 贝蒂无法预测的部分：才保留原始字母。

乍看之下，这像极了高知夫妇的饭后消遣。

但在 3Blue1Brown最新的视频中，这个实验被置于更宏大的叙事线索中——

它可能是人类历史上最早的 真人版 Next-Token Prediction（下一个词元预测）。

更进一步，借由香农的案例，3Blue1Brown 主理人 Grant Sanderson探讨了一个从信息论通向大语言模型（LLM）的核心问题：

为什么“预测下一个 token”这件看似简单的事，会与 压缩、熵，甚至 智能产生深刻关联？

而答案，或许就藏在贝蒂画掉的那些短横里。

LLM 只是一场猜字母实验？

尽管 Grant 的视频已阐述得足够清晰，为了更平滑地过渡，我们仍先回到香农与贝蒂的实验。

表面上看，这像是一场双人语音版填字游戏：一方提供前文，一方猜测下一个字母。

例如在英文中，t后面极大概率跟着 h。当香农给出线索 t时，贝蒂很可能回答 h。

中文亦然。当你看到“你”，后面极大概率接“好”，组成“你好”。

但香农真正关心的，并非贝蒂猜得准不准，而是 猜对之后会发生什么。

如前所述，实验最终生成的转录文本中，真实字母的数量远少于原文。

• 猜对的地方：仅保留一个短横；
• 猜错的地方：才保留原字母。

看似 字数变少了，但在某种意义上，它包含的 信息量并未减少。

原因很简单。

如果香农能复制出一个一模一样的“贝蒂”，让她观看这份缩短版文本，她理论上仍能复原出原文。

这正是 “可预测性允许压缩”最直观的版本。

这很好理解，就像朋友间的聊天：

• 初期表达同意，会说“好的”；
• 后期变成“OK”；
• 再后来只剩一个“k”；
• 最后甚至只需一个表情包，双方便能心领神会。

表达越来越精简，并非因为信息消失，而是因为双方已掌握上下文，无需重复完整形式。

然而，聪明的读者可能已发现香农实验的一个局限：

人不是机器。贝蒂这次猜对的字母，下次未必还会猜对。同一人面对相同前文，答案也可能不同。

因此，虽然该实验证明了 语言可被预测，故可被压缩，但它尚无法精确量化语言的信息量。

于是，香农将实验系统化。

在后续论文 《Prediction and Entropy of Printed English》中，香农招募更多受试者。他不再仅记录“猜对/猜错”，而是记录 一个人需要猜多少次，才能命中正确的下一个字母。

• 一次猜中：说明该字母在当前上下文中极易预测；
• 多次才中：说明该字母更具意外性。

换言之，香农通过一套方法，将“猜测次数”转化为受试者心中对正确字母的 隐含概率。

这一步至关重要。

同一位置，不同人猜测不同。有人一次命中，有人五次才中。差异不在字母本身，而在每个人脑中那套对英文的 概率判断体系。

因此，香农测量的不是书本上的静态词频，而是 人如何根据上下文分配概率。

看到 th，下一个字母可能是 e，也可能是 a。先猜哪个、第几次轮到正确答案，背后都是个人对英文理解的排序。

至此，你或许已看出端倪：

香农把人当成了语言模型，而他的妻子 Betty，可能就是第一个明牌自己在做 Next-Token Prediction 的人。

只不过，那个模型不是 Transformer，而是 人脑。

这些人脑知晓语法、常识、上下文、语感，清楚英文接下来大概率如何发展。

而香农所做的，就是不断追问：下一个字母是什么？

预测和压缩：大模型的一体两面

至此，贝蒂的任务已完成：

她用自己的模型（大脑），划掉了一段文本中 可被预测的部分。

后续香农招募更多受试者，本质也在做同一件事：

划掉可预测部分，只留下无法预测、必须写出的字母。

于是，长文本被 压缩为一份更短的新文本。

顺理成章地，我们会想：

假如一个人读过一本书，就能靠语言经验预测部分字母，从而压缩文本；

那么，是否存在一个模型，能吃下整个互联网，预测各种上下文中的空白？

或者更 AI 的说法：模型能否将语言规律压入其参数中？

答案是肯定的，但先别急着联想到大模型。

在此之前，Grant 的视频提出了一个更底层、更值得探讨的问题：

如何判断一种压缩方式的好坏？

最直观的标准当然是：越短越好。

若信息中仍有规律可寻、冗余可删，则仍可继续压缩。

反之，若信息已被压缩至极限，所有可预测、可概括、可利用的规律已被榨干，剩下的是什么？

没错，就是 信息。

在香农的定义中，信息有一个经典表述：

一件事出乎意料的程度。

若一句话的下一个字母已板上钉钉，则它未携带多少新信息。

若下一个字母完全无法猜测，则它必须被写出来。

这也是为什么 Grant 指出，理想压缩算法的最终输出，应看起来像 随机噪声。

因为，噪声没有模式。

每一位都像独立抛硬币，50% 是 0，50% 是 1，彼此间无任何可利用关系。

没有模式，便无规律可学；无规律可学，便无冗余可删；无冗余可删，便无继续压缩的空间。

因此，随机噪声之所以重要，并非因为“乱”，而是因为它代表了一种 极限状态：

所有可预测之物皆已被移除，剩下的每一位都必须被传输。

至此，预测与压缩两件事真正扣合。

• 预测，是在问：哪些部分可以不用写？
• 压缩，是在做：把不用写的部分删掉。
• 信息，就是最后那些无论如何都必须写下来的东西。

信息量

若你看到这里，香农那个著名公式便不再像凭空冒出的数学定义。

假设一条消息出现的概率为 $p$，则其信息量为 $-\log_2(p)$。

根据此曲线：发生概率越小，信息量越大；发生概率越大，信息量越小。

用刚才的逻辑说：越易预测的东西，信息量越小；越难预测的东西，信息量越大。

从压缩角度看，该公式问的是：

为了从所有可能性中区分出这条消息，理论上至少需要多少 bit？

这正是香农的高明之处：他将 “不可预测的部分”转化为了可计算量。

但问题在于，现实中我们很少只面对单条消息，更多时候面对的是 一套概率分布。

视频中，Grant 举了机器人上下左右的例子。机器人接收的指令不仅是“动/不动”，而是 上、下、左、右四种可能。

若四个方向出现频率相同，则它们同样难猜。

此时最自然的编码方式是给每个方向分配等长 bit：

• 上：00
• 下：01
• 左：10
• 右：11

每条指令固定 2 bit，简单直接。

但如果“上”出现最多，“下”次之，“左”“右”较少，最高效的编码方式便需改变。

此时，无需让每个方向占用等长编码。

• 常见方向：用更短码字表示；
• 罕见方向：用更长码字表示。

只要保证码字互不混淆（即不会导致解码时断点错误），即可缩短整体平均长度。

视频通过这种变长编码，将平均每条指令所需 bit 数，从固定编码的 2 bit 降至 1.75 bit。

这是压缩中一条核心直觉：

概率越高的消息，应使用越短的编码；概率越低的消息，才值得使用更长的编码。

推广开来，我们要问的不再是某一条消息的信息量，而是：

在这一整套分布中，每来一个新符号，平均还有多少东西必须写下来？

这种在特定分布下，每来一个新符号，平均剩余必须写下的量，被称为 熵（Entropy）。

• 熵越低：系统越易预测，越易压缩；
• 熵越高：系统越随机，越难压缩。

若四个方向完全均等，机器人下一步走向难猜，熵值更高。

同理，语言亦然。只是语言的可能性更多、上下文更长，复杂度更高。

从熵到 Loss：大模型到底在压缩什么？

与机器人简单的四方向不同，大语言模型需在成千上万个 token 中选出最可能的下一个。

同时，它并非孤立选择，而是严重依赖上下文。

因此，语言的熵本质上是问：

在给定前文之后，下一个 token 平均还有多少不确定性？

从压缩角度看，即：用该模型压缩真实文本，平均还需多少 bit 才能写出下一个 token？

这也解释了为何大模型训练中常见的 交叉熵损失（Cross-Entropy Loss），天然与压缩紧密相连。

• 模型给真实 token 的概率越高 $\rightarrow$ 越不意外 $\rightarrow$ 信息量越低 $\rightarrow$ 编码越省。
• 交叉熵越低，模型越像一个优秀的压缩器。

与此同时，模型越能预测下一个 token，说明它越捕捉到了语言中的可重复结构。

语法、搭配、格式、事实、代码习惯、对话模式、推理套路，甚至部分世界常识，都藏匿于此。

当然，Grant 强调，这并不意味着：压缩粗暴等同于智能。

ZIP 很会压缩文件，但没人会说 ZIP 在思考。

更严谨的说法是：智能至少包含一种能力——抓住世界中可预测的结构。

这也是 “压缩即智能” 最值得琢磨之处。

它不是说，只要能压缩就拥有智能。

而是说，如果一个系统真能将复杂世界中的规律压入更短的表示中，并能在新上下文中继续用于预测，那它至少已触及智能的一部分。

这时再回头看开头那张画面，便不再只是香农和贝蒂在家玩猜字母游戏。

• 贝蒂猜对的地方，香农画一个短横；
• 七十多年后，大语言模型猜对的地方，Loss 降低一点。

短横变成了 Loss，书页变成了互联网。

坐在桌边猜字母的人，变成了 GPT。

它们都在回答同一个问题：

下一个符号，能带来多少惊讶！

本文地址：https://www.xyaji.com/html/200c89998900.html