专题:docker-deployment

按该标签聚合的大模型资讯列表(自动分类与标签提取)。1 篇文章。

社区Reddit r/LocalLLaMA2026/02/12 19:3920

本文探讨了如何利用两块12GB RTX 3060显卡搭建一个自托管社区AI服务器,以支持多用户进行Stable Diffusion图像生成、视频处理及本地大语言模型推理。核心挑战在于选择适合12GB显存并能有效利用双GPU的AI模型,实现高效的多用户Web UI访问、GPU调度与显存管理,并构建稳定、低维护的Docker部署栈。用户寻求关于模型量化、多GP…