大模型剪枝新范式：DenoiseRotator技术解析

美团 LongCat Interaction 团队联合上海交通大学和香港科技大学的研究人员，提出了一种创新的大模型剪枝方法——DenoiseRotator。该技术的核心在于先对模型参数矩阵进行特殊处理，将模型的知识和推理能力‘浓缩’到由少量参数构成的子网络中，再对子网络外的冗余参数进行裁剪。这种方法不仅提升了模型的训练效率，还显著改善了推理性能。DenoiseRotator 通过先压缩再剪枝的策略，有效减少了模型的计算负担，同时保留了关键的模型能力。与传统剪枝方法相比，该技术在保持模型精度的同时，实现了更高的压缩率和更优的推理速度。