GPT‑2 残差流中的异常转变：句点歧义与灾变理论的意外关联
Reddit r/LocalLLaMA2026/02/20 22:55机翻/自动摘要/自动分类
4 阅读
内容评分
技术含量
6/10
营销水分
4/10
摘要
作者在 GPT‑2 的残差流中发现，句子“The temperature was 98.”的句点会被模型误判为小数点，置信度 88%。通过特定的 768 维方向干预，模型的判定会突变且呈不对称性——从数值化到结构化的转变所需力度约为逆向的四倍。该行为与灾变理论的折叠模型吻合，作者提供了可在 CPU 上 29 秒复现的开源脚本，邀请社区验证其普遍性。
正文
作者声明自己并非机器学习专家，但在对 GPT‑2 的残差流进行探索时，观察到一个颇为离奇的现象。以句子 “The temperature was 98.” 为例，句点既可能表示小数点，也可能是句子结束符。实验表明，GPT‑2 在默认情况下倾向于将其解释为小数点，置信度约为 88%。
当尝试通过输入或条件强制模型改为把句点视为句子结束符时，模型的内部状态并未出现平滑的渐进变化，而是出现了突变。更有意思的是，这种突变只在 768 维隐藏空间的一个特定方向上可观测；在随机抽取的 100 条方向中，只有这条方向会导致判定的翻转。
作者进一步量化了这种不对称性：将模型从“数值化”状态（把句点视为小数点）恢复到“结构化”状态（把句点视为句子结束）所需的“推动力”约为逆向过程的四倍。该现象与灾变理论（Catastrophe Theory）中预测的折叠（fold）灾变形状高度吻合，作者因此将其称为“折叠灾变”。
整个实验可通过作者提供的轻量脚本在 CPU 上约 29 秒完成，代码仓库地址为 https://github.com/karlijoyj-web/fold-catastrophe-gpt2。作者希望社区能够复现并验证该现象是否在其他模型或不同环境下同样出现。