本周AI领域呈现多点开花态势。阿里千问3.6在国产编程模型中脱颖而出,小米探索内存定价新模式,蚂蚁数科推出创新AI智能体。同时,行业监管政策持续完善,充电宝新国标明年实施,外卖平台需落实食品安全新规。这些进展既展示了技术创新活力,也体现了监管对技术应用的规范引导。
专题:memory-management
按该标签聚合的大模型资讯列表(自动分类与标签提取)。共 9 篇文章。
本文介绍LLM推理中KV缓存的优化方法,将每个令牌的存储开销从300KB降至69KB。通过压缩、分块存储和内存管理等技术,显著提升了模型的推理效率和资源利用率,具有重要的技术参考价值。
NVIDIA GreenBoost技术通过系统内存和NVMe透明扩展GPU显存,提升AI计算效率。适用于显存不足的训练和推理场景,依赖CUDA和驱动程序实现,具备良好的资源调度能力。
NVIDIA在GTC 2026上开源Memoria项目,这是一个AI Agent的可信记忆框架。通过类似Git的版本控制机制,Memoria实现了记忆的可追溯、可审计和协作管理,适用于多任务AI系统。其核心亮点在于‘Git for Memory’概念,为开发者提供API接口,提升AI Agent的记忆处理能力。
Grab通过引入时间感知型LRU算法优化Android图像缓存,提升存储效率并保持用户体验。该算法结合时间维度,智能回收缓存,减少服务器成本。核心亮点在于对传统LRU的改进与实际效果验证。
Amazon Bedrock 新增 Stateful Runtime,为基于 OpenAI 的 AI 代理提供持久化任务编排、记忆管理和安全执行三大能力。通过托管存储和沙箱环境,代理可在跨轮对话中保持状态并安全运行,无需自行搭建状态服务,显著降低企业构建多步骤 AI 工作流的技术门槛。
CORPGEN是微软提出的多任务AI代理框架,通过模拟企业多任务环境解决传统模型在复杂依赖任务中的性能瓶颈。其核心创新包括分层记忆系统、经验学习机制和自主协作数字员工,实验显示在46任务场景下完成率提升至15.2%。该方案为AI代理在真实职场场景中的应用提供了系统性优化,具有显著的实践价值。
本文介绍了一个在 NVIDIA Jetson AGX Thor 上运行 LTX-2 19B 视频生成模型的开源流水线。该流水线实现了 1080p 视频生成,并重点解决了 Jetson AGX Thor 128GB 统一内存带来的内存管理挑战,包括避免无效的 CPU 卸载、手动内存清理、页面缓存问题以及 VAE 解码时的 `torch.no_grad()` …
本文系统介绍智能体记忆管理的双层架构与三种长期记忆类型,分析其在主流框架中的实现方式,强调记忆对AI系统学习与交互连贯性的重要性,具有较强的技术参考价值。