投稿作者：浙江大学 April团队
给多模态大模型多看几道例题，它就一定能答得更好吗？答案可能恰恰相反。在 UniICL-Bench 上，有模型在感知类理解任务中的平均分从 zero-shot 的 54.8，一路跌到 8-shot 的 6.9。例题越多，模型反而越糊涂。
这一反常现象在统一多模态模型中尤其值得警惕。如今，一个模型既能看图答题，也能生成、编辑图片；但当图像、文字和多组示例被塞进同一段上下文，模型不仅要“看见”，还要判断：哪道例题在教规则，哪道在示范风格，哪道只是噪声。示例一多，注意力竞争、错误关联和上下文过载也随之而来。
为此，浙江大学、上海交通大学、新加坡国立大学与南洋理工大学联合团队提出 UniICL，从“示例究竟教会模型什么”出发，首次系统梳理统一多模态上下文学习，并构建 UniICL-760K、UniICL-Bench 与轻量模块 CAPM。
论文链接：https://arxiv.org/abs/2603.24690
GitHub：https://github.com/xuyicheng-zju/UniICL
数据：https://huggingface.co/datasets/xuyicheng-zju/UniICL-760K
实验中，UniICL 是论文所比较的统一模型里，唯一在理解与生成两侧都获得正向 ICL 效率的方法。
图｜以往的碎片化范式将不同模态和任务彼此隔离，常常会出现随示例数量增加而性能非单调变化的问题。UniICL 缓解了这一问题，实现了稳定收益。
研究方法
1. 六类能力：先弄清例题到底在教什么
过去的多模态 ICL 研究，常按视觉问答、图像生成、图像编辑来划分任务。UniICL 换了一个更贴近“学习过程”的角度：不先看答案是文字还是图片，而是看示例在解题时承担什么角色。
团队据此归纳出六类能力：感知用例题提示模型该关注哪里；模仿要求复现结构、风格或逻辑模板；概念形成让模型临时学会一个新符号或视觉概念；演绎依据因果或时间链推导下一步；类比从多组变化里抽出没有明说的规则；审辩则学习审美、真实性与质量标准。
这并不是给任务简单排难度，而是在回答一个更关键的问题：模型面对示例时，究竟需要调用哪一种“举一反三”的能力？在任务趋势分析中，同类任务对的平均相关性达到 0.746，跨类仅为 0.063，说明这六类能力确实呈现出不同的随示例数变化模式。
2. UniICL-760K：不是简单收集数据，而是给每道题配好例题
图 ｜UniICL-760K 数据统计
一组 ICL episode，可以理解为“若干道例题 + 一道新题”。UniICL-760K 共包含 766,868 组 episode。团队先沿真实图像与生成/编辑数据两条管线构造细粒度数据，再经过标注校正、幻觉检查和质量筛选，为每个查询组装 8-shot 上下文。整个数据集的构建消耗大约 24000 H20 GPU-hours。
同样重要的，是“怎么配例题”。对感知、模仿和审辩任务，Feature-Based Assembly 同时比较图像与文字特征，选出相关但不重复的示例；对概念形成、演绎和类比任务，Intent-Based Assembly 则把查询拆成结构化条件，寻找意图真正一致、而不只是画面看起来相似的示例。比如，新题要求找出“指定区域内穿红衣的女性”，构图相似并不够，类别、颜色与位置必须同时对上。这个细节也解释了论文最重要的发现之一：给什么例题，往往比给多少例题更重要。
图｜UniICL-760K 数据构造与两类上下文组装流程
3. UniICL-Bench：不只看最高分，还要看整条学习曲线
如果只报一个最佳分数，很容易掩盖问题：模型可能在 2-shot 达到高点，到了 4-shot、8-shot 却迅速退化；也可能原本 zero-shot 就很强，新加入的例题根本没有被利用。
因此，UniICL-Bench 用 1,250 个与训练集隔离的 episode 覆盖六类能力、15 个子任务，并按 0、1、2、4、8-shot 及链式任务的原生协议形成 5,650 个测试实例。除干净上下文外，基准还会随机替换示例、颠倒顺序、混入不匹配示例，观察模型是否真的读懂了上下文。
4. CAPM：先读懂例题之间“发生了什么变化”
标准自注意力会把多组图文示例摊成长序列，问题、答案和视觉细节很容易搅在一起。团队设计了一个轻量化可插拔模块 Context-Adaptive Prototype Modulator（CAPM）：先分开提取每个示例的输入与输出，再把二者之间的变化压缩成原型表示，最后根据当前任务，自适应地选择少数关键示例，或汇总多条示例中的共同规律。
CAPM 再通过门控把这些信息送回骨干模型，完整模块约含 189.2M 参数，只占 14.61B 骨干模型的 1.29%。它的目标并不是替模型重做一遍推理，而是让模型少被无关例题带跑偏。
图 ｜CAPM 通过输入/输出解耦、原型提取、自适应路由与门控注入，帮助模型利用上下文
研究结果
团队从峰值能力、整条 shot 曲线、上下文扰动和跨基准泛化四个方面，对 UniICL 进行了评估。
1. 总体表现：理解和生成同时从例题中受益
在 UniICL-Bench 上，UniICL 的理解/生成平均峰值达到 78.9/69.6，相比原始 BAGEL 骨干的 59.3/60.5 明显提升。
更关键的是 ICL 效率。它衡量整条 0—8-shot 曲线相对 zero-shot 基线的面积：正值说明加入示例后整体受益，负值则说明模型平均被示例拖累。UniICL 的理解/生成 ICL 效率达到 +16.9/+4.9，是论文对比的统一模型中唯一两侧均为正的方法。
图｜主实验结果与 shot-scaling 曲线：有些任务从更多例题中受益，有些任务反而出现退化。
2. 稳定性：换错例题，比调换顺序更致命
面对随机换例、顺序颠倒和噪声混入，UniICL 在理解/生成侧的综合稳定性分数为 1.7%/6.6%，统一模型平均值为 12.4%/10.6%。该分数由扰动下各指标的绝对相对变化曲线积分得到，数值越低越稳定。
实验中，随机替换示例造成的影响普遍大于打乱顺序。模型更在意的不是例题 1 和例题 2 谁排在前面，而是摆在面前的究竟是不是合适的例题。
3. 消融结果：数据与统一训练抬高上限，CAPM 稳住曲线
去掉 CAPM 后，依靠 UniICL-760K 和统一训练，模型已经达到 77.0/68.6 的理解/生成峰值。这说明大部分峰值增益来自系统化数据与联合训练。
CAPM 的作用则更集中地体现在“能否持续利用例题”上：加入它后，生成侧 ICL 效率从 0.4 提升到 4.9。换句话说，数据与统一训练让模型更强，CAPM 让它面对不同数量的例题时更稳。
示例组装同样不可忽视。在 Feature-Based 分支中，相比默认方案，随机选例会让生成峰值下降 13.34，生成 ICL 效率下降 15.17；只保留相似度、拿掉多样性控制，也会出现明显退化。
图｜稳定性分析与消融实验分别显示：UniICL 在三种扰动下具有最好的稳定性以及合适的数据、统一训练、示例组装与 CAPM 各自解决不同问题。
4. 跨基准测试：换一套考卷，提升依然存在
在 VL-ICL-Bench 的原始协议下，UniICL 相比 BAGEL 的理解平均峰值从 55.9 提升到 66.4，生成平均峰值从 48.4 提升到 55.5。15 名评估者对 350 个 episode 的盲测也显示，论文使用的主观任务指标与人类偏好具有较强一致性。
图 ｜UniICL 在外部基准上的理解与生成任务中仍保持提升。
不足和未来方向
当然，UniICL 还没有彻底解决多示例带来的上下文过载。尤其在精细图像编辑中，当多个示例包含相互重叠的空间变化，模型往往已经知道“要改什么”，却未必能准确控制“在哪里改、改到什么程度”。感知类图像生成的 ICL 效率也仍为负值，说明生成侧比理解侧更容易受错误示例干扰。
当前研究只覆盖图像与文本。扩展到视频和音频后，时间建模、跨模态同步以及更长上下文都会带来新的变量；数据管线依赖的外部基础模型，也可能把自身偏差带入标注、合成与筛选过程。
研究团队表示，未来将继续探索更有效的噪声过滤与上下文路由，让模型把已经识别出的编辑意图落实为更精确的像素操作，并检验这套能力分类能否延伸到视频、音频等更多模态。
统一多模态模型已经能在一个系统里理解和生成。UniICL 追问的，是再往前一步的问题：当几道例题摆在模型面前，它能不能真正看懂其中的规律，并稳定地用到下一道题上？