多模态数据与模型协同进化的自我推理框架

61 阅读1分钟

摘要

多模态大语言模型(MLLMs)近期展现出卓越的推理能力,但进一步提升模型性能需要高质量视觉语言数据集,其标注成本高昂且难以扩展。现有自改进模型虽能迭代优化,但仍面临两大挑战:(1)视觉与文本数据分别增强导致复杂度不匹配(如过于简化的图表配冗余文本);(2)数据与模型进化分离造成任务难度与模型能力失配。

方法

提出C2-Evo自动闭环自改进框架,通过双循环机制协同进化训练数据与模型能力:

  1. 跨模态数据进化循环:基于初始数据集生成复杂多模态问题,结合结构化文本子问题与迭代生成的几何图表
  2. 数据-模型进化循环:根据基础模型表现自适应选择生成问题,交替进行监督微调与强化学习

结果

该方法在多个数学推理基准测试中持续获得显著性能提升。代码、模型与数据集将公开。


主题分类:计算机视觉与模式识别(cs.CV);计算与语言(cs.CL);机器学习(cs.LG)
引用信息:arXiv:2507.16518 [cs.CV]
版本记录:v1提交于2025年7月22日,v2修订于2025年7月29日