社区Reddit r/LocalLLaMA2026/02/20 22:554640
作者在 GPT‑2 的残差流中发现，句子“The temperature was 98.”的句点会被模型误判为小数点，置信度 88%。通过特定的 768 维方向干预，模型的判定会突变且呈不对称性——从数值化到结构化的转变所需力度约为逆向的四倍。该行为与灾变理论的折叠模型吻合，作者提供了可在 CPU 上 29 秒复现的开源脚本，邀请社区验证其普遍性。
按该标签聚合的大模型资讯列表（自动分类与标签提取）。共 2 篇文章。
作者在 GPT‑2 的残差流中发现，句子“The temperature was 98.”的句点会被模型误判为小数点，置信度 88%。通过特定的 768 维方向干预，模型的判定会突变且呈不对称性——从数值化到结构化的转变所需力度约为逆向的四倍。该行为与灾变理论的折叠模型吻合，作者提供了可在 CPU 上 29 秒复现的开源脚本，邀请社区验证其普遍性。
本文指导如何复现GPT-2（124M）模型，涵盖架构、训练流程和关键代码。适合开发者和研究者参考，提供实际操作步骤和优化建议。