OpenAI塌房！Scaling law原作曝bug，万亿算力全白烧

新智元报道

【导读】DeepMind 研究员深夜重磅爆料：OpenAI 奠定大模型基石的塌房 Scaling Law 原始论文存在致命 Bug！这一发现意味着全球 AI 行业在过去几年中白白消耗了万亿级算力，原作而曾经被视为标杆的算力烧 GPT-3 模型实际上处于严重的“虚胖”状态。

OpenAI 曾误导整个 AI 行业长达数年。全白

过去五年，塌房整个 AI 领域的原作发展轨迹几乎完全由 Scaling Law（缩放定律）所驱动。

Sam Altman 对实现 AGI（通用人工智能）的算力烧信心，很大程度上建立在这条看似完美的全白增长曲线上。

然而，塌房如今有人站出来指出：这条曲线，原作从起点开始就是算力烧错的。

这并非事后诸葛亮。全白提出这一观点的塌房，正是原作当年在 OpenAI 负责大模型优化的核心研究员 Diogo Almeida。

近日，算力烧他发布了一篇标题极具冲击力的博客文章——《Scaling Laws, Honestly》（缩放定律，实话实说）。

文章开篇即定调：最初的 Scaling Law 版本是错误的，因为其中隐藏着一个未被发现的 Bug。

原文链接：https://www.completeskeptic.com/p/scaling-laws-honestly

DeepMind 以扩散模型研究闻名的 Sander Dieleman随即在 Twitter 上转发并顶起该帖，称这是一段值得回味的 LLM（大语言模型）发展史：

由于原始 Scaling Law 存在 Bug，业界极有可能在大量“体量过大但训练不足”的模型上，浪费了海量算力资源。

一个 Bug，导致两年的算力浪费。

当这个 Bug 被揭开，我们看到的不仅是算力的黑洞，更是一条被语言特性重塑的、远比想象中更深刻的智能边界。

Scaling Law 竟是 LLM 版的“地心说”

2020 年，OpenAI 提出结论：在固定的算力预算下，优先扩大模型参数量，比增加训练数据量更有效。

用公式表达，最优参数量与算力的 0.73 次方成正比——这意味着，“参数”才是那个应该全力冲刺的变量。

这一结论直接塑造了 GPT-3 那一代模型的设计哲学：堆参数，往死里堆。最终诞生了拥有 1750 亿参数的 GPT-3。

它向全球开发者传递了一个简单粗暴的信号：别问为什么，只要把模型做得足够大，“神迹”就会发生。

两年后，DeepMind 发布 Chinchilla论文，彻底颠覆了这一认知：模型参数与训练数据应当同等重要地同步放大，每个参数对应约 20 个 Token 才是最优配置。

Chinchilla 仅拥有 700 亿参数，却喂入了 1.4 万亿 Token 数据——其体量不足 GPT-3 的一半，但数据量却是其四倍多。

结果令人震惊：在相同的算力预算下，Chinchilla 全面反超了拥有 2800 亿参数、却仅训练 3000 亿 Token 的 Gopher 模型。

通俗来说：同样一笔钱，一个模型被养成了“虚胖”的壮汉，另一个则被练成了精瘦的拳手。

拖更三年后，北大校友翁荔深入探讨了后续研究中对两者差异的主流解释，即差异源于参数总数计算方式的不同。

但这还不是终点。就连被视为“正确”的 Chinchilla，其自身也不干净。

2024 年，Besiroglu 等人重新运行 Chinchilla 原文的数据点，发现其拟合过程中也隐藏着 Bug：

优化器中的 Loss 尺度设置过高，且将 Huber Loss 按样本求平均而非求和，导致模型拟合过早终止。

纠正 Bug 的论文，自己却带着另一个 Bug。

至此，那句被无数人奉为圭臬的“第一性原理”，忽然显得站不住脚。

所谓的 Scaling Law，从来不是牛顿力学那样坚不可摧的物理定律，它只是一条基于经验拟合出的曲线。

Diogo Almeida 认为真相并非方法差异那么简单，“是最初那版 Scaling Law 本身存在 Bug。”

OpenAI 如何用三招“欺骗”全球 AI 同行？

要制造一个让全球 AI 社区集体深信不疑的“谎言”，只需三步。

第一步：囚禁数据

OpenAI 的论文中，所有模型——无论是尚在学习的基础小模型，还是已经成型的巨型模型——都被喂入了完全相同的“饭量”，即大约 130B（1300亿）Token的数据。

这导致小模型被“喂饱”甚至“撑坏”，而真正需要海量数据来填充其容量的大模型，却在相同的 Token 预算下严重“营养不良”。

Chinchilla 论文后来一针见血地指出：OpenAI 对所有的模型使用了“固定的训练 Token 数量和学习率调度方案”（fixed number of training tokens and learning rate schedule）。

这就像让幼儿园小朋友和博士生做同一张试卷、同一时间交卷，然后宣称“成绩只与天赋有关”。

第二步：掩耳盗铃的学习率衰减

OpenAI 使用了余弦学习率衰减（Cosine Decay），使得学习率在训练接近终点时平滑地趋近于零。

当训练接近预设终点时，学习率被人为地一点点“摁”到零，模型的进步自然随之“平”下来。

曲线一旦走平，看起来就像：这个模型已经学到头了，再喂数据也没用了。

于是，研究者得出结论：“增加数据量已无效，模型性能已饱和。”

但这并非模型的极限，而是学习率人为掐断了模型的成长之路。它制造了一种完美的假象：性能已触及天花板，再加数据也无济于事。

然而，我们现在知道，那些大模型根本远未到头。

第三步：权威的傲慢

第三步，也是最阴险的一步：论文中声称结果“基本不受学习率曲线影响”（largely independent of learning rate schedule）。

尽管包括当时在 OpenAI 的 Diogo Almeida 在内的许多人隐约感到不对劲，但在固定的 Token 上限下，这个结论在技术上是“正确”的。

然而，它恰恰不适用于 Scaling Law 真正试图描述的那个“数据无限”的理想世界。

他们将有限条件下的局部真理，当作了普适的宇宙法则。

三步叠加，便得到了一条既错误、又极难 Debug 的定律。

连 Diogo 自己都承认：当年他在 OpenAI 做优化时，也没看出这个 Bug——那条学习率曲线看起来太像是“精心设定”的了，谁会去怀疑呢？

GPU 算力被白白浪费

算力错配严重

受 OpenAI 错误公式的指引，AI 行业进入了“大力出奇迹”的时代。

这意味着在过去几年里，全球最聪明的头脑和最稀缺的算力，都浪费在了无效的规模扩张上。

这不仅仅是金钱的问题，这是在通往 AGI 的生死时速中，人类因学习率设置失误，集体在错误的跑道上狂奔了数千公里。

如果说 Bug 的发现让人心痛，那么随后引出的深度反思则让人不寒而栗。

研究者 Adam Zachary Wasserman指出了一个被所有人忽略的盲点：即便公式修正了，目前的 Scaling Law 也只是“英语 Scaling Law”。

他进行了一项反直觉的实验：使用相同的架构和算力训练模型。

结果发现，法语模型达到某种语法能力的效率，竟然比英语模型高出 50 到 100 倍。

为什么？

因为英语是一种“形态贫乏”的语言。

它过度依赖分布规律，需要模型在海量数据中去猜测词义；而像法语、中文这种形态丰富或结构严密的语言，其词汇本身就携带了大量明确信息。

这意味着，我们现在所有的算力配比方案，都是基于一种最“吃数据”、最低效的语言制定的。

当你以为自己在探索“通用智能”的物理定律时，你其实只是在测量“英语这门语言有多浪费算力”。

这就像是你试图通过研究一头猪的胃口来制定全宇宙生物的营养标准——这不仅是偏见，更是认知的局限。

我们本可以用更小的模型、更多的优质数据，实现更强的性能。

我们本可以节省下数以万计的 H100 运行时的电力和热量。

我们本可以提前两年进入“高效 AI”时代。

参考资料：

https://www.completeskeptic.com/p/scaling-laws-honestly

https://lilianweng.github.io/posts/2026-06-24-scaling-laws/

编辑：大卫

本文地址：https://www.xyaji.com/html/252c89998848.html