在SageMaker上构建兼容Strands代理的自定义LLM模型解析器

随着越来越多的组织选择在Amazon SageMaker AI实时端点上部署自定义大型语言模型（LLMs），并使用如SGLang、vLLM或TorchServe等服务框架，他们获得了更高的部署控制权和成本优化能力。然而，这些框架通常返回与OpenAI兼容的响应格式，而Strands代理则依赖于Amazon Bedrock的Messages API格式，导致格式不兼容问题。这种不匹配可能引发解析错误，例如TypeError: 'NoneType' object is not subscriptable。为解决这一问题，文章提出通过实现自定义模型解析器，将SageMaker托管模型的输出转换为Strands代理所需的格式，从而实现无缝集成。文章还介绍了如何使用awslabs/ml-container-creator部署Llama 3.1模型，并通过自定义解析器将其与Strands代理连接。