Context Gateway：LLM上下文压缩代理，提升效率与性能
Hacker News2026/03/14 01:58机翻/自动摘要/自动分类
7 阅读
内容评分
技术含量
8/10
营销水分
6/10
摘要
Context Gateway是一个开源代理工具，用于在LLM处理前压缩编码工具输出的上下文数据，减少噪声影响，提升模型效率和准确率。其核心亮点包括SLM分类器、自动压缩机制和懒加载功能，适用于开发者和研究人员优化长上下文处理。
正文
我们开发了一个开源代理工具，名为Context Gateway，它位于编码工具（如Claude Code、OpenClaw等）与大型语言模型（）之间，能够在工具输出数据进入的上下文窗口前进行压缩。这种压缩技术旨在减少无用信息（即‘噪声’）对模型性能的影响。背景显示，编码工具在处理上下文时常常注入大量冗余数据，导致准确率下降。例如，OpenAI的GPT-5.4在从32k增加到1M时，准确率从97.2%降至36.6%。为此，我们利用小型语言模型（SLMs）来识别并提取有价值的信息，训练分类器以区分关键内容与无关数据。当工具返回结果时，代理会根据调用意图进行压缩，仅保留相关部分。若后续需要原始数据，模型可通过expand()函数恢复。此外，代理会在上下文窗口容量达到85%时自动压缩，并采用懒加载机制，仅显示当前步骤相关的工具信息。项目还提供了费用限制、会话跟踪仪表盘以及Slack通知功能，以增强用户体验和管理能力。