专题：self-distillation

本文提出一种极简自蒸馏技术，通过教师模型的软标签指导学生模型训练，显著提升代码生成质量。核心创新在于简化了传统蒸馏流程，仅需单向知识传递即可实现性能提升。实验在多个代码生成基准测试中验证了其有效性，尤其在处理复杂逻辑和长代码生成任务时表现优异。该技术的优势在于实现简单、计算成本低，且无需额外数据，为代码生成模型的优化提供了新思路。