专题：speculative-decoding

P-EAGLE 是一种通过并行生成草稿令牌提升 LLM 推理速度的新方法，解决了 EAGLE 自回归生成导致的性能瓶颈。它已在 vLLM 中集成，提供预训练模型，支持多种基准测试，并在不同并发度下实现显著加速。

本文标题指出，其核心内容是对大型语言模型（LLM）推理优化技术'Speculative Decoding'提供一个精彩的互动式解释。Speculative Decoding是一种前沿的推理加速策略，旨在显著提升LLM的生成速度并降低计算成本。其基本原理是利用一个小型、快速的“草稿模型”（draft model）预先生成一批候选词元，然后由大型、高质量的“目…