专题：llm-as-a-judge

该开源工具利用“LLM作为评判者”机制，旨在系统化评估本地大语言模型（如LLaMA-3、Qwen-Coder）在RAG和代码任务中的性能。它提供多模型对比、LLM智能评分、推理过程记录及结果导出等功能，可用于代码模型评估、回归测试和生成微调偏好数据。作者强调提示词敏感性和中间步骤记录的重要性，并呼吁社区分享可复用评估工具的经验。