专题：gpu-memory

NVIDIA GreenBoost技术通过系统内存和NVMe透明扩展GPU显存，提升AI计算效率。适用于显存不足的训练和推理场景，依赖CUDA和驱动程序实现，具备良好的资源调度能力。

本文探讨了LLM本地推理中，llama-server与Ollama在GPU/CPU内存管理上的差异及大模型部署挑战。用户从Ollama转向llama-server后，发现后者在模型内存分配上行为独特。具体表现为，即使模型大小（如21GB的Qwen3-Coder-30B）远超显卡显存（12GB），llama-server似乎仍优先且仅使用显存，系统内存利用率…

一位用户正在为本地隔离环境的大模型服务器寻求升级建议，预算约 5 万美元。现有配置为双路 Xeon Gold 6242、768GB DDR4 内存和三块 RTX Quadro 8000（144GB VRAM）。用户面临如何在提升模型能力（运行更大模型）与提高处理速度（TPS）之间进行权衡的难题，尤其是不确定部分内存卸载对性能的影响以及内存/CPU 升级的性…