专题：self-attention

Mistral推出Voxtral TTS语音合成模型，融合自回归生成与流匹配技术，性能超越ElevenLabs。同时披露Forge编码器、Leanstral轻量化模型及Mistral 4研发方向，强调开源协作与企业应用落地。技术团队通过架构创新提升语音生成准确度与效率，布局AI语音技术全栈发展。

本文通过图示和数学分析，直观解析Transformer模型的结构与机制，帮助读者理解其在NLP和CV中的应用。核心亮点包括自注意力机制、位置编码和前馈网络的详细说明。

本文系统综述了多模态大语言模型中Token压缩技术，从图像、视频、音频三个模态出发，分类讨论了基于变换、相似度、注意力和查询的压缩方法，分析了性能与效率的权衡、部署难题及多轮对话适应性等挑战，并展望了跨模态协同压缩和原生高效架构等未来方向，为MLLM的效率优化提供了重要参考。