首页/详情

浙江大学团队提出CA-TTS框架:校准置信度,提升多模态模型推理可靠性

量子位2026/03/22 15:17机翻/自动摘要/自动分类
3 阅读

内容评分

技术含量
9/10
营销水分
3/10

摘要

浙江大学团队提出CA-TTS框架,通过校准置信度和动态资源分配,显著提升多模态模型在视觉模糊情况下的推理准确率和可靠性。该方法在多个基准测试中表现优异,尤其在Math-Vision任务中提升近一倍,具有重要的技术价值。

正文

浙江大学联合阿里巴巴、香港城市大学和密歇根大学的研究团队针对多模态在视觉信息模糊时仍高置信度输出的问题,提出了一种名为CA-TTS(Confidence-Aware Test-Time Scaling)的框架。该框架分为两个阶段:训练阶段通过CDRL(Confidence-Driven Reinforcement Learning)校准模型的置信度,使其与视觉证据变化保持一致;推理阶段则利用校准后的置信度作为资源分配信号,通过Self-Consistency、Self-Reflection和Self-Check三个模块协同工作,提升模型在复杂视觉推理任务中的准确性和可靠性。实验结果显示,在四个主流视觉推理基准上,CA-TTS平均超越现有最优方法8.8%,其中在Math-Vision任务中准确率从23.0%提升至42.4%。研究团队还指出,置信度校准并非附属优化,而是重新定义了test-time scaling的效率上限,使模型在不确定时更有效地分配算力。

标签