专题：local-llms

本文探讨了本地大语言模型与编码代理集成时遇到的挑战，包括使用方式、模板设计和提示构建等问题。Gerganov强调，系统各组件的整合难度和潜在缺陷是导致性能问题的关键因素，对开发者和研究人员具有重要参考价值。

流式专家技术通过按需加载专家权重，使超大规模语言模型能在内存有限的设备上运行。已实现Qwen3.5-397B-A17B和Kimi K2.5模型在MacBook Pro和iPhone上的运行，处理速度逐步提升。该技术为本地化部署和边缘计算提供了新思路，具有较高的实用价值。

ggml.ai 与 Hugging Face 合作，推动本地 AI 技术发展。通过 llama.cpp 与 Transformers 库的集成，提升本地模型的部署和使用体验。此举有助于降低硬件门槛，使更多用户和开发者能够利用本地 AI 技术，对开源生态和 AI 领域具有重要意义。

该开源工具利用“LLM作为评判者”机制，旨在系统化评估本地大语言模型（如LLaMA-3、Qwen-Coder）在RAG和代码任务中的性能。它提供多模型对比、LLM智能评分、推理过程记录及结果导出等功能，可用于代码模型评估、回归测试和生成微调偏好数据。作者强调提示词敏感性和中间步骤记录的重要性，并呼吁社区分享可复用评估工具的经验。