CERA：用关系图和反馈处理模态冲突

冲突不是噪声：文字积极，表情为什么可能消极

CERA 是 ICMR 2026 的多模态情绪推理工作，DOI 为 10.1145/3805622.3810634。它关注视频与文字给出不一致情绪线索时，模型如何重新审视证据。一个人可能微笑着表达拒绝，也可能用积极字眼讽刺别人。若系统简单相信文字或把模态平均融合，就容易错过这种跨模态关系。

本篇实际使用视频与文本，不包含完整音频分支；作者把音频纳入未来方向。方法使用冻结的大模型和奖励模型，通过构建图、评价、反馈、修订的推理循环改善输出。没有依据奖励信号反向更新模型参数，因此不能把它叫作在此数据集上训练的强化学习算法。推理时反思与训练时强化学习是不同过程。

“冲突”还需要操作性定义。原文在 MAFW 的分析中比较不同模态预测是否一致，在 CH-SIMS 的冲突子集分析中依据已有单模态标签差异筛选。这两种定义不是同一个量。模型意见不一致可能来自模型错误，标签差异也可能来自模态信息不充分；它们都不能直接当作角色内心存在心理冲突的证据。

Figure 1 展示冲突现象及性能差距，Figure 2 展示迭代框架，Figure 3 分析冲突子集收益。阅读时应先确认每幅图的横纵轴与分组依据，再看方法是否真正针对所定义的困难。否则很容易把“模态预测更一致”误读成“最终情绪一定更正确”。

情绪关系图：不是图神经网络，而是结构化推理材料

模型先从视频建立视觉图，从文字建立文本图，再合并为多模态图。节点记录可观察线索或语义内容，边携带情绪关系，采用包含头、情绪列表和尾的结构。视觉与文本节点通过来源标记区分，使模型在修订时知道某条判断来自哪种证据。这相当于给自由文字推理增加一个可检查的中间格式。

图在这里主要作为语言模型的结构化输入输出，不是把节点送入图卷积网络学习邻接权重。图的可解释性来自人能查看节点和关系，但其内容仍由模型生成。模型可能虚构节点，也可能把“嘴角上扬”连到错误的情绪，所以结构化格式不能代替观测真实性检查。

视觉图、文本图与融合图由奖励模型评分，最高的候选被相对接受，其他候选被标为需要修正。关键是这个接受是相对排名，不是通过了绝对正确性阈值。如果三个候选都错，最高分的那个仍然可能被接受。因此奖励模型更像一个偏好裁判，而不是掌握真实情绪的老师。

随后大模型根据评价生成反馈，分别修改各模态图，循环两次后利用更新后的图和原始输入给出最终预测。保留原始输入意味着修订不必完全依赖上一轮的文字记忆，但是否真正回到画面核查仍取决于提示与模型能力。多轮输出更自洽，并不自动意味着更忠实于视觉事实。

三个原文短语“Accept”“Reject”“feedback”对应候选选择、待改状态和修订依据。不要赋予它们超出算法的含义：接受不代表人类审核，拒绝不代表已证明错误，反馈也不是新增标注。每一步都应保留日志，才能分清系统是修复了错误还是把最初的偏见写得更完整。

flowchart TD
 V[视频] --> GV[视觉情绪关系图]
 T[文本] --> GT[文本情绪关系图]
 GV --> GM[融合图]
 GT --> GM
 GV --> R[冻结奖励模型评分]
 GT --> R
 GM --> R
 R --> E[最高分相对接受 其余待修订]
 E --> F[评价与分模态反馈]
 F --> U[更新三张图]
 U --> R
 U --> P[两轮后结合原始输入预测]

公式：读清楚循环中哪些量更新

原文 Eq.1。M 是冻结多模态模型，P 是构图提示，V 是视频。更新的是输出图对象，而不是 M 的参数。对初学者来说，先把图表示成 JSON 比先研究复杂图算法更贴近论文实际。

原文 Eq.2。文本构图单独进行，有助于保留语言线索的来源。若一开始把所有信息混在一段提示中，就很难分析某个错误是文本主导还是视觉误读导致。来源分离是后续反馈可操作的前提。

原文 Eq.3。融合图包含跨来源关系，不是简单把两个标签概率平均。图里需要表达支持、补充或矛盾的线索关系，但关系是否合理仍需评价，合并本身不是对冲突的解决。

原文 Eq.7 的教学重写。这里把原文较紧凑的集合表达改写为明确的相对选择。R 输出候选分数，C 表示相对接受状态。此式不包含正确性的绝对门槛，也不说明分差很小时该怎样表达不确定性。

原文 Eq.4–6。g 是由评价过程产生的对应反馈。每轮修改的是图的节点、关系或情绪判断。若实现时只把最终标签改掉而不更新证据图，就没有复现该迭代过程。

原文 Eq.8–9。评价文本进一步转成分模态反馈。这个二级过程使反馈有结构，但也引入额外模型调用和潜在错误传播。应检查反馈是否引用实际存在的节点，是否把模态缺失误当作某种情绪证据。

可以用一个三候选的小例子理解边界：视觉图认为高兴，文本图认为不满，融合图认为讽刺，奖励分数分别为零点六、零点五和零点七。算法选择讽刺作为相对更优候选，但这些分数不是经过校准的真实概率，也不能证明讽刺正确。如果原视频其实是礼貌回应，整个循环仍可能在错误前提上改写。

更合理的机制验证要比较更新前后具体节点：错误动作是否被删除，冲突是否被指出，原本正确的线索是否反而丢失。只展示最终回答变长或三个模态更一致，无法证明推理质量改善。图结构让这种检查成为可能，但论文框架并没有自动完成所有事实核验。

实验：主结果、消融和冲突子集不要拼在一起

WAR 是按样本总体统计的识别率，UAR 对类别召回率等权平均，更关注少数类别。两项同时提高比只看总体准确率更有信息，但仍需要误差条或多次重复来判断稳定性。原文基座是 InternVL3-8B，奖励模型为 FsfairX-LLaMA3-RM-v0.1，视频均匀采四帧、分辨率二百二十四；稀疏采样可能漏掉瞬时表情。

消融基线四十七点三一与主表基线五十三点五四来自不同汇总范围，不是同一模型突然退步。把第一折消融提升加到五折主表上会制造不存在的结果。小课题中也应给每张表写清使用哪一折、哪些样本、是否重新运行以及报告何种平均。

Table 4 在 CH-SIMS 冲突子集上，InternVL3 零样本 Acc-2 为六十八点七九，思维链为七十点九零，CERA 为七十四点六三。它支持该定义下困难子集的改进；不能与不同划分、特征或训练方式的 ALMT 本地兼容基线直接排序。主表中的同名数据集不意味着预处理和监督协议完全一致。

作者报告相关配置显存约一万九千六百一十八 MiB，运行耗时约为思维链的一点一至一点四倍。这表明冻结参数仍有推理成本，尤其多轮模型与奖励模型调用。这里没有在你的笔记本上测量，不能承诺八 GB 显存直接运行；先用保存的图文本模拟循环，远比一开始加载全部模型稳妥。

Figure 4 的图示比较模态预测之间的混淆关系，图注与轴所指是不同模态判断，不应直接当作预测对真值的混淆矩阵。模态间更一致可能是共同正确，也可能是共同错误。正文解释与图注存在容易混淆之处，阅读时需要回到坐标含义而不是顺着标题推断。

代码与复现状态：公开论文不等于已有完整运行包

本次按论文标题、作者及 CERA 关键词检索，读取作者公开十页全文，未找到能够与本文对应核验的官方训练或推理仓库。因此本篇没有伪造代码路径、行号或提示模板。已有 InternVL 或奖励模型的代码可以提供基础组件，但不能代替作者的图构建、反馈提示与候选选择实现。

实际复现缺口包括完整提示、图的严格 schema、无效 JSON 修复、分数相同处理和停止规则。原文给出的两轮设置可以作为起点，但其余选择应在实验记录里标成独立实现。用不同提示得到接近结果，仍不能自动宣称逐项复现了作者系统；机制验证与忠实复现应分别命名。

初学者可完成的四步实验

第一步不调用模型，手工为五段有权限视频建立三张图。每个节点带来源、时间或文本片段，每条边写出情绪与理由。验收条件是他人能根据节点回到原始证据，并区分观察与推断。若某节点找不到来源，就先标为未证实，而不是为了图完整强行补写。

第二步编写 JSON 校验器，只检查节点编号唯一、边端点存在、来源字段合法和情绪列表不为空。再故意制造一条不存在的节点引用、一条视觉证据误标文本来源的例子，确保能报错。验收产物是五张合法图与错误清单；这验证结构正确性，不代表图中的心理解释已经正确。

第三步用保存的候选图和人手设定分数模拟相对选择与两轮更新，设计“所有候选都错”的例子。比较固定选最高分和增加低置信保留机制，但明确后者是你的扩展。验收是完整输出每轮图、评分、反馈与变更记录，能够说明一个错误在何时被修复或被放大。

第四步在资源允许时接入一个多模态模型，固定十至二十个样本，对比直接回答、结构化图、图加反思。保持视频帧、字幕和生成参数相同，人工检查事实错误数、情绪覆盖和调用成本。不要仅靠回答长度判断提升，也不要用测试样本不断修改提示后再把它们当独立测试集。

细粒度方向可以研究图节点是否定位到眼、嘴、姿势等具体证据，以及短暂线索在四帧采样中是否丢失。跨场景方向可以研究相同提示在电影、访谈与日常对话中是否产生不同类型的虚构关系。先把错误按来源分解，再决定增加帧数、修改提示或引入其他模态，才能让改动有依据。

作者未来方向与本文独立判断

作者提出未来加入音频、结合人类反馈并探索更自适应的推理流程。这里把它们视为作者明确列出的后续方向，而不是把当前系统描述成已具有三模态人机协同能力。现有实验主要支持给定数据、基座、奖励模型和固定迭代次数下的改进，不能覆盖任意冲突场景。

本文独立判断是：CERA 的价值在于把冲突处理拆成可记录的步骤，但奖励选择可能偏好流畅和自洽，而非真实观察。应增加图证据真实性与错误传播的独立评估，并与等调用预算的简单重采样比较。否则提升可能部分来自更多推理计算，而不完全来自关系图这一结构本身。

把机制变成可以复查的实验记录

完整标题是 CERA: Conflict-Explicit Reflective Agent for Multimodal Emotion Reasoning。标题中的 Agent 指围绕模型组织的多步骤决策过程，不意味着模型具有自主心理或真实情绪。图构建、评分和反馈是明确的程序步骤，研究者仍需控制输入、调用次数和停止条件，才能比较不同方法的效率与准确性。

在手工图练习中，可以把“说出赞扬句子”作为文本节点，把“眼神回避”作为视觉节点，再把“可能是礼貌回应”作为推断边或推断节点。直接观察与推断应使用不同字段。若把推断重新作为下一轮的确定观察，就会形成证据污染：后续模型看起来找到了支持，实际上只是重复此前的猜测。

反馈更新可以用差异列表记录，而不只是保存整张新图。每一项包括新增、删除或修改的节点，触发它的反馈，以及对应的原始证据。这样能够发现反思是否真正引入有依据的修正。如果第二轮只是把“不满”改成“略显不满”而没有变化证据，应视为措辞调整，不能计为事实错误被修复。

公平比较需要控制调用预算。直接回答一次与多轮图反思的成本不同，提升可能部分来自更多尝试。可以增加同样调用次数的独立重采样加投票基线，也可以让普通思维链使用相近 token 预算。只有在这些对照下仍有收益，才能更有把握地说明图结构和反馈分工具有额外价值。

奖励模型的评价对象也要明确：它可能更擅长判断一段回答是否连贯，却不一定能重新观看视频核实细节。若评分只看到文字图，它就无法直接证明图中某个动作真实发生。实验记录应列明奖励输入字段，区分语言合理性、内部一致性与外部事实真实性，避免把三者合成模糊的“可信度”。

停止规则可以成为一个小扩展，但必须与原始固定两轮分开报告。例如连续两轮图节点不再变化时提前停止，或者反馈只重复同一理由时停止。验收应比较准确率、事实错误率和平均调用次数；只节省调用而降低困难样本表现也要如实报告，不能只展示平均速度。

最终自测可以给出三个候选全错误的情形，让你解释为什么相对最高分仍会被接受；再给出三个模态判断一致但都与真值不符的情形，解释一致性为何不等于正确性。能够独立构造这两类反例，就说明已经理解该方法的关键边界，而不是把反思步骤当作自动纠错保证。

原文与核验边界

论文原文及出版信息。本篇依据全文、附录和表格编写；文中的教学计算与研究建议均不冒充作者实验证据。核验日期：2026-10-23。