以代码为中心的AI服务评估策略：Monday Service与LangSmith的实践
LangChain Blog2026/02/18 16:05机翻/自动摘要/自动分类
1 阅读
内容评分
技术含量
8/10
营销水分
6/10
摘要
Monday Service与LangSmith合作，构建以代码为中心的AI服务评估策略，通过离线和在线评估双层机制确保AI代理质量。核心亮点包括快速反馈循环、全面测试覆盖、代理可观测性及评估逻辑的版本控制与CI/CD集成。
正文
本文由Monday.com团队技术负责人Gal Ben Arieh撰写，介绍了他们如何在构建AI服务代理时，从项目初期就将评估流程嵌入开发周期，以确保AI质量。通过结合LangSmith和ReAct框架，他们实现了代码驱动的评估体系，包括离线评估（作为安全网）和在线评估（作为监控器）。离线评估使用黄金数据集测试代理的核心逻辑和边缘情况，而在线评估则实时监控生产环境中的表现。文章还详细描述了如何通过Vitest和ls.describe.concurrent实现并行化测试，显著提升了评估效率。最终，他们实现了8.7倍的反馈循环速度提升，并能对数百个示例进行快速测试。