Sonrai 携手 AWS SageMaker AI：构建 MLOps 框架，加速精准医疗生物标志物发现

在精准医疗领域，开发用于早期疾病检测的诊断测试面临一个核心挑战：数据集通常包含数千个潜在的生物标志物，但患者样本却只有数百个。这种极端的“维度灾难”现象，往往决定了突破性发现的成败。

现代生物信息学广泛采用基因组学、脂组学、蛋白质组学和代谢组学等多种“组学”技术，以开发早期疾病检测测试。然而，研究人员经常遇到特征数量远超样本数量的数据集，这使得实验跟踪变得极其困难。此外，源代码控制和代码质量是整个机器学习架构中的关键要素。如果没有高效的机器学习运维（MLOps）流程，这些问题在研究的早期阶段很容易被忽视。

本文将深入探讨生命科学AI公司 Sonrai 如何与 AWS 合作，利用 Amazon SageMaker AI 构建了一个强大的 MLOps 框架，以应对这些挑战，同时确保符合监管要求的可追溯性和可重复性。

MLOps 概述： MLOps 结合了机器学习（ML）、DevOps 和数据工程实践，从而能够可靠且高效地部署和维护生产环境中的 ML 系统。从一开始就实施 MLOps 最佳实践，可以加快实验迭代速度，并确保模型部署的可信度和可追溯性——这些对于注重治理和验证的医疗技术公司至关重要。

Sonrai 面临的数据挑战： Sonrai 与一家大型生物技术公司合作，致力于为一种未得到充分研究的癌症类型开发生物标志物测试。该项目涉及多个组学数据集（蛋白质组学、代谢组学和脂组学），目标是找到具有高灵敏度和特异性的最佳特征组合。客户面临的关键挑战包括：数据集包含超过 8,000 个潜在生物标志物，但只有几百个患者样本；这种极端的特征与样本比例要求采用复杂的特征选择方法以避免过拟合。团队需要评估数百种特征组合和建模方法，这使得手动实验跟踪变得不可行。由于该诊断测试将用于临床应用，因此从原始数据到每个建模决策再到最终部署模型的完整可追溯性对于监管提交至关重要。

解决方案概述： 为了解决这些 MLOps 挑战，Sonrai 利用 SageMaker AI 构建了一个全面的解决方案。SageMaker AI 为数据科学家和开发人员提供了全面的管理服务，帮助他们大规模地构建、训练和部署 ML 模型。该解决方案提供了更安全的数据管理、灵活的开发环境、强大的实验跟踪功能以及流程化的模型部署，并具备完整的可追溯性。下图展示了该架构和流程：

MLOps 工作流程：

1. 客户将样本数据上传到 Amazon Simple Storage Service (Amazon S3) 安全数据存储库。
2. ML 工程师使用 Amazon SageMaker Studio Lab 和 Code Editor（并与源代码控制系统连接）进行开发。
3. 管道从数据存储库读取数据、处理数据并将结果写入 Amazon S3。
4. 实验在 Amazon SageMaker Studio 中的 MLflow 中进行记录。
5. 生成的报告存储在 Amazon S3 中，并与利益相关者共享。
6. 经过验证的模型会被推送到 Amazon SageMaker Model Registry。
7. 最终模型被部署用于推理或进一步验证。

安全的数据管理： Sonrai 的解决方案基于 Amazon S3 的安全数据管理机制。他们为敏感患者数据配置了分层访问控制，确保数据保护。样本数据和临床数据存储在专用存储桶中，结果数据、模型输出和生成的报告存储在另一个存储桶中。这种分离方式既保护了原始患者数据的安全性，又便于灵活分享分析结果。与 Git 仓库的无缝集成实现了协作、源代码控制和质量保证流程，同时确保敏感数据在 AWS 环境中的安全性——这对于受监管行业的治理至关重要。

SageMaker AI 与 MLOps： 从项目开始，Sonrai 就在其 SageMaker AI 环境中使用了 JupyterLab 和 Code Editor 界面。该环境与客户的 Git 仓库集成，实现了从第一天起就建立的版本控制和代码审查流程。SageMaker AI 提供了多种优化过的计算实例，可以快速配置并在不使用时停止，从而优化成本效益。对于该项目，Sonrai 使用了具有足够内存的计算实例来处理大型组学数据集，在分析阶段启动实例并关闭它们。Code Editor 作为主要开发环境，具备集成调试和 Git 工作流功能；JupyterLab 用于数据探索和客户协作会议，其交互式笔记本格式便于实时讨论结果。

第三方工具： 在 SageMaker 计算环境中安装了开源技术发布系统 Quarto，以便在建模流程中生成报告。一个 Quarto 命令即可执行整个流程，生成包含交互式可视化、统计表格和详细 Markdown 注释的报告，这些报告会自动保存在结果存储桶中，客户可在流程完成后立即下载。

MLflow 管理： SageMaker AI 中的 MLflow 管理功能实现了无缝的实验跟踪。在 SageMaker AI 环境中执行的实验会自动被记录在 MLflow 中，提供了实验过程的全面视图。对于该项目，MLflow 成为了模型实验的单一信息来源，记录了性能指标、超参数、特征重要性排名以及 ROC 曲线和混淆矩阵等自定义结果。MLflow 的用户界面便于比较不同实验，团队可以快速识别有前景的方法并在客户评审会议中分享结果。

可复制的 MLOps 流程： Sonrai 的建模流程是结构化且受版本控制的，它们通过多个阶段处理原始数据以生成最终模型：

1. 从 Amazon S3 加载原始组学数据，进行归一化和质量控制。
2. 应用领域特定的转换，生成适合建模的特征。
3. 通过递归特征消除（RFE）方法筛选出对疾病检测最关键的少数特征。
4. 在单独和组合的组学模式下训练多个模型。
5. 评估模型性能并生成综合报告。

每次流程执行都会在 MLflow 中记录输入数据版本、代码提交、超参数和性能指标，从而创建从原始数据到最终模型的可审计轨迹。

模型部署： Sonrai 结合使用 MLflow 和 SageMaker Model Registry 来管理模型工件和元数据。在活跃的实验期间，MLflow 作为主要跟踪系统，实现快速迭代和轻量级的实验跟踪。当模型达到预定的性能阈值并准备好进行更广泛的验证或部署时，它会被推送到 SageMaker Model Registry。模型注册后，会根据成功标准进行评估，附带推理代码和容器，并在 SageMaker Model Registry 中注册，带有唯一的版本标识符。SageMaker Model Registry 支持正式的部署审批流程：

• 待审：新注册的模型，等待审核。
• 已批准：通过验证标准、准备好部署的模型。
• 被拒绝：未通过验收标准的模型，附带拒绝原因。

项目成果： 在癌症生物标志物项目中，模型根据严格的临床标准进行了评估：灵敏度至少 90%、特异性至少 85%、AUC-ROC 至少 0.90。对于已批准的模型，部署选项包括用于实时推理的 SageMaker 端点、用于处理大型数据集的批处理转换作业，或用于在客户特定环境中部署的模型工件。

结论： Sonrai 与 AWS 合作，利用 SageMaker AI 开发了一个加速精准医疗试验的 MLOps 解决方案。该方案解决了生物标志物发现中的关键挑战：在患者样本有限的情况下管理包含数千个特征的数据集、跟踪数百种复杂的实验组合，以及保持版本控制和可追溯性以满足监管要求。结果是一个可扩展的 MLOps 框架，将开发迭代时间从几天缩短到几分钟，同时确保了可重复性和合规性。SageMaker AI 开发环境、MLflow 实验跟踪和 SageMaker Model Registry 的结合提供了从原始数据到部署模型的端到端可追溯性，这对科学有效性和治理至关重要。

Sonrai 取得的成果：

• 模型数量：8,916 个生物标志物被建模和跟踪。
• 执行了数百次实验，所有实验都有完整的记录。
• 用于生物标志物报告的数据整理时间减少了 50%。

基于此基础，Sonrai 正在扩展其 SageMaker AI MLOps 能力。团队正在开发自动化重新训练流程，当新的患者数据可用时触发模型更新，使用 Amazon EventBridge 来协调 SageMaker AI 管道，以监控数据漂移和模型性能下降。 Sonrai 还在扩展架构，以支持多个临床站点之间的联合学习，同时保护每个机构的敏感患者数据。选定的模型被部署到 SageMaker 端点，用于实时预测，支持临床决策支持应用。

立即开始使用 Amazon SageMaker for MLOps： 访问 Amazon SageMaker for MLOps，开始构建您自己的 ML Ops 管道。请参阅我们的入门 Amazon SageMaker ML Ops 研讨会以获取更多信息。