《无限机器》：语言模型的基础性问题与规模化学习

在《无限机器》第13章中，作者记录了与DeepMind创始人Demis Hassabis的对话，聚焦语言模型的“grounding problem”。

Hassabis回顾了自己早期的假设——语言只是符号系统，机器若仅靠阅读维基百科等文本难以真正理解物理世界。只有通过“感知与行动”（Action‑in‑Perception）——即亲身交互或在模拟环境中行动，智能体才能把抽象概念（如“重量”）与真实感受对应起来。

他指出，过去的AI系统往往只拥有庞大的符号库，缺乏与现实的映射。例如，系统可以说“狗有腿”，但在看到真实狗时难以将“腿”这一词汇与像素图像关联。语言模型之所以能够突破这一瓶颈，是因为它们在大量人类反馈的帮助下，间接学习了人类对世界的经验。

另一个核心论点是人类行为的可能性并非无限。Hassabis估计，所有可观测的人类体验约为10^13 种，而互联网上约有14 万亿（1.4×10^13）个单词，这几乎覆盖了大多数行为模式。Transformer 架构通过吸收数万亿条信息，使模型能够在语言层面复现几乎所有人类经验，从而实现了惊人的效率。

作者通过这段访谈阐明了两点：

1. 语言模型的成功在于它们从具备现实感知的人类那里获得的间接“体验”。
2. 规模化的文本数据已经足以捕获人类行为的主要分布，因而语言模型能够在没有显式感知的情况下表现出对世界的“理解”。

文末提供了相关视频链接，供读者进一步了解本书的观点。