LLM-All-Models-Async 0.1：异步模型处理插件更新与同步模式兼容性改进
Simon Willison2026/04/01 04:52机翻/自动摘要/自动分类
2 阅读
内容评分
技术含量
7/10
营销水分
4/10
摘要
LLM框架新增异步模型支持，解决同步插件与异步系统兼容问题。通过线程池和钩子机制实现模型模式转换，推动插件生态扩展。Claude插件作为实践案例，展示了同步模型异步化的技术路径，相关实现已纳入LLM 0.30版本更新。
正文
框架现支持同步与异步两种模型定义模式。异步模式专为API调用模型设计，同步模式则适用于插件内直接运行模型。作者发现其-mrchatterbox插件仅支持同步模式，而Datasette仅兼容异步模型。为此开发Claude插件，通过线程池实现同步模型的异步化改造。该方案需在核心添加钩子机制，相关更新已集成至 0.30版本。技术实现涉及异步编程模型与插件架构的深度整合，为模型兼容性提供了新的解决方案。