谷歌TurboQuant压缩算法：KV Cache压缩6倍，精度无损

谷歌研究院在ICLR 2026上发布了TurboQuant压缩算法，该技术通过极坐标量化和量化JL变换，将AI推理中的KV Cache压缩至少6倍，且精度无损失。这项技术在Gemma和Mistral等开源模型上进行了测试，表现优异，尤其在长上下文推理任务中，显著降低了内存消耗。同时，该算法在向量搜索领域也展现了超越现有方法的性能。尽管目前仍处于实验室阶段，未大规模部署，但其对内存市场的潜在影响已引发关注。文章还提到，该技术与《硅谷》中的虚构公司Pied Piper相似，引发网友热议。