强化学习效率远低于预期：信息密度与方差的双重挑战

最近，强化学习（RL）在获取单个样本所需计算资源（FLOPs）方面的低效性引发了广泛讨论。与监督学习不同，强化学习需要展开数百甚至数千个数据点的完整路径才能获得一个奖励信号，例如代码是否通过测试或数学题是否答对。文章提出一个关键公式：'比特数/FLOPs = 样本数/FLOPs × 每个样本的比特数'，指出强化学习的信息密度远低于监督学习。这不仅是因为样本数量庞大，更因为每个样本的信息含量较低。此外，强化学习在训练初期存在高方差问题，导致梯度估计不稳定，训练结果波动大。文章进一步分析了信息密度低的原因，包括RL主要关注数据结构而非任务完成，以及缺乏对模型思维过程的指导。最后，文章指出人类学习效率远高于RL，因为人类能通过观察和反思更高效地获取知识。