微软推出Argos：多模态强化学习的自主验证框架

本文介绍了微软提出的一种名为Argos的验证框架，该框架结合了强化学习与自主验证机制，旨在提升智能代理在多模态任务中的性能和可靠性。Argos不仅奖励正确的答案，还要求这些答案基于视觉和时间证据，确保代理的推理过程与实际观察结果一致。通过在模型中添加验证层，Argos能够检查答案的正确性、引用对象和事件的时间与位置准确性，以及推理是否与视觉证据一致。在训练前，Argos通过多阶段过程生成高质量的训练数据，过滤掉低质量或不基于真实输入的数据。实验结果显示，使用Argos训练的模型在空间推理、减少视觉错觉和处理复杂任务方面表现更优，同时所需训练样本量更少。这一技术为构建更可靠、更可解释的AI代理提供了新的方法，适用于自动驾驶、自动化任务等实际应用场景。