寻找适合工具调用的本地 LLM

Reddit r/LocalLLaMA2026/02/09 23:27机翻/自动摘要/自动分类

摘要

用户拥有 24GB VRAM，寻求一个能高效执行基础工具调用任务的本地 LLM。当前遇到的主要问题是模型冗余调用或不必要地调用工具。虽然 Qwen 3 VL 20B 表现尚可，但速度较慢；GLM 4.6v 则表现不佳。用户希望找到一个更小的模型，能够精确且高效地处理低工具调用计数和基础工具调用场景，并询问是否遗漏了其他可行选项。

正文

我有一个 24GB 的 VRAM 可以用于本地，主要目的是执行相对基础的工具调用任务。目前遇到的问题是，模型（在使用网络搜索作为工具时）会反复冗余地调用工具，或者在完全不必要的情况下调用工具。Qwen 3 VL 20B 是目前表现最好的，但它使用的是 4bpw 量化，速度相对较慢。感觉应该有更小的模型能够胜任低工具调用计数和基础工具调用的任务。GLM 4.6v 在只提供单一网络搜索工具时表现非常糟糕（存在上述相同问题）。我是否忽略了其他选项？

寻找适合工具调用的本地 LLM

摘要

正文

标签