首页/详情

Tandem 无头代理后端重构:Rust 实现与性能优化

Reddit r/LocalLLaMA2026/02/23 01:42机翻/自动摘要/自动分类
5 阅读

内容评分

技术含量
9/10
营销水分
5/10

摘要

Tandem 项目重构无头代理后端为 Rust 实现,支持任务调度、模型管理、工具集和多渠道集成。核心亮点包括高效的 Web 页面提取工具和显著优于 Node.js 的性能表现,适用于本地模型和通用 URL 处理。

正文

几周前,我介绍了 Tandem 项目,现在决定使用 Rust 重新构建其无头代理运行时系统。主要动机是解决旧后端框架存在的代码冗余和行为不可预测问题,同时实现更轻量的二进制文件和对运行时行为的全面控制。新引擎支持 HTTP API、SSE 事件流、模型路由、工具集、任务管理、运行时监控、分层内存管理以及嵌入式 Web 管理界面。其中,webfetch_document 工具能将 HTML 页面转换为格式化的 Markdown,减少 70%-80% 的输入体积,显著降低资源消耗。性能测试显示,Rust 服务器模式在处理 50% 请求时耗时 0.39 秒,95% 请求耗时 1.31 秒,内存稳定在 100MB;而 Node.js 基线版本则分别达到 1.15 秒和 50.6 秒,内存使用量飙升至几 GB。此外,作者还提到 Cloudflare 的 Markdown for Agents 工具不适用于所有 URL,因此他开发了通用方案。对于希望复现测试的用户,提供了相关脚本和命令。Windows 用户可直接运行 .bat 文件进行 Web 页面提取测试。

标签