专题：token-cost

英伟达与Akamai合作推出AI Grid，旨在优化AI推理中的Token成本与吞吐量。通过分布式计算和资源调度，AI Grid提升大规模模型部署效率，适用于实际应用中的性能与成本平衡问题。

IonRouter是Cumulus Labs推出的高吞吐、低成本推理API，专为开源和微调模型设计。其核心技术包括针对GH200架构的优化、KV块写入机制和注意力计算优化，显著提升性能。目前支持GPT-OSS-120B和Qwen3.5-122B等模型，按token计费，无空闲费用。尽管延迟略高，但团队正积极改进。

本文探讨AI模型厂商在Token调用成本上的竞争，以及AgentOS技术在AI Agent领域的应用前景。核心亮点包括模型优化策略、AgentOS的架构优势及实际应用案例。