专题:llm-ops

按该标签聚合的大模型资讯列表(自动分类与标签提取)。3 篇文章。

社区Reddit r/LocalLLaMA2026/02/10 17:4950

Promptforest 是一个新开发的轻量级、本地优先的提示注入和越狱检测库,旨在解决现有检测器速度慢和过于自信的问题。它采用三个微型专用模型的投票集成(Llama Prompt Guard, Vijil Dome, Custom XGBoost),通过加权软投票提高准确率和鲁棒性,同时保持低延迟。项目还提供了 PFRanger 工具用于本地审计,并在基…

社区Reddit r/LocalLLaMA2026/02/09 21:4640

本文介绍了一个名为 Local Claw Plus Session Manager 的开源工具,旨在解决本地 AI 代理在运行过程中遇到的上下文溢出和工具调用格式不兼容问题。该工具通过“会话自动驾驶”功能监控并清除过大的会话文件,防止代理崩溃;同时,“vLLM 工具调用代理”能将从特定标签或 JSON 中提取的工具调用转换为 OpenAI 标准格式,确保子…