专题：edge-computing

微软与Armada合作，将 Azure Local 主权私有云嵌入 Galleon 模块化数据中心，实现断网或受限网络环境下的边缘自主 AI。方案提供超融合存储、多链路网络、符合监管的安全体系，使政府和受监管行业能够在本地实时运行 AI 推理，确保数据主权与系统韧性。

本文探讨了从云原生到AI原生基础设施的演进趋势，强调模型驱动在构建新一代系统中的关键作用。分析了AI原生架构的技术特点、应用场景及面临的挑战，为开发者和研究人员提供了有价值的参考。

Cloudflare发布第13代服务器，采用AMD EPYC Turin处理器，通过重构FL1为FL2，实现吞吐量翻倍、延迟降低70%。核心亮点在于硬件与软件协同优化，提升边缘计算性能与能效。

国内首个国产AI推理千卡集群落地，采用云天励飞全自研芯片，提升计算效率并降低能耗，已在多个行业场景中测试应用，具备高能效比和稳定性。

BitNet 是一种面向本地 CPU 的 1000 亿参数、1 位精度的 AI 模型。通过极低精度设计和结构优化，它在资源受限设备上实现了高效运行，兼顾性能与计算效率，为边缘计算和嵌入式 AI 提供了新方案。

本期《Import AI》聚焦AI研发自动化度量、边缘计算应用及代码生成技术。字节跳动推出CUDA Agent模型，用于编写GPU代码，展示了AI在加速核心研发中的潜力。同时，Ajeya Cotra更新AI发展预测，指出AI自我进化能力增强，可能改变经济格局。研究还提出14项指标用于评估AI研发进展，强调治理的重要性。

LiteRT是TFLite的升级版，专注于设备端AI，提升GPU效率至1.4倍，支持NPU并优化GenAI模型部署。适用于边缘计算场景，增强AI在移动端和嵌入式设备的性能表现。

Google推出FunctionGemma，一款2.7亿参数的本地AI模型，支持设备内功能调用，用于构建低延迟、离线运行的AI应用。其核心亮点在于结合AI Edge和LiteRT-LM技术，实现高效操作导向的体验。

Mistral的voxtral.c是一个基于纯C语言实现的推理引擎，用于Voxtral实时4B语音到文本模型。它旨在提高推理效率并降低成本，适用于语音数据处理场景。该技术为开发者提供了对模型内部逻辑的深入控制，有助于优化性能和资源管理。