llama.cpp RPC 服务：解决本地部署中的地址边界错误
Reddit r/LocalLLaMA2026/02/12 20:16机翻/自动摘要/自动分类
3 阅读
摘要
本文记录了在使用 llama.cpp 的 RPC 服务进行本地 LLM 部署时遇到的“地址边界错误”。该问题出现在主节点上，禁用 RPC 后则消失。作者尝试了不同的显存层数设置，但问题依旧。RPC 服务器在工作节点上运行正常，但主节点无法成功连接或处理请求。此问题对需要在本地环境配置和运行 LLM RPC 服务的开发者具有参考价值，旨在寻求解决方案。
正文
在使用本地构建的 llama.cpp（最新 git master 版本）通过 RPC（远程过程调用）在两台 CachyOS PC 上运行时，主节点（配备 RTX 5070Ti 16GB 显存）立即出现“地址边界错误”。该问题在禁用 --rpc 参数后，仅在主节点上运行 llama-cli 时消失，并且尝试不同的 -ngl（显存层数）设置（如 -1, 99）也未能解决问题。在工作节点（配备 RTX 3060 12GB 显存）上，RPC 服务器仅显示默认启动消息，无其他异常。此问题似乎与 RPC 服务在特定硬件配置下的交互有关。寻求社区帮助以解决此 RPC 运行障碍。