专题：model_pruning

本文介绍AI/LLM领域的内存优化技术，包括量化、剪枝和知识蒸馏等方法，旨在提升模型效率和资源利用率，适用于训练和推理场景，具有实际应用价值。

DenoiseRotator 是一种创新的大模型剪枝方法，通过先浓缩后剪枝的策略提升训练效率和推理性能。其核心亮点在于有效压缩模型参数，同时保留关键知识，为模型优化提供了新思路。