专题:inference_efficiency

按该标签聚合的大模型资讯列表(自动分类与标签提取)。2 篇文章。

媒体InfoQ 中文2026/03/26 18:107830
优化上下文窗口管理技术
提升长文本处理效率

苹果优化其基础语言模型的上下文窗口管理技术,提升长文本处理效率和性能。通过减少内存占用和加快推理速度,该技术适用于Siri等AI产品,为移动设备上的自然语言处理提供新方案。核心亮点包括模型压缩和分块处理的创新。