专题：rpc

本文记录了在使用 llama.cpp 的 RPC 服务进行本地 LLM 部署时遇到的“地址边界错误”。该问题出现在主节点上，禁用 RPC 后则消失。作者尝试了不同的显存层数设置，但问题依旧。RPC 服务器在工作节点上运行正常，但主节点无法成功连接或处理请求。此问题对需要在本地环境配置和运行 LLM RPC 服务的开发者具有参考价值，旨在寻求解决方案。