EmWorld：用慢类别状态与快视频动态学习连续场景

原文完整标题：EmWorld: Emotion World Model with Latent State Evolution for Scenario-Incremental Dynamic Facial Expression Recognition。

EmWorld：跨场景变化有两种时间尺度

EmWorld 研究动态面部表情的场景增量学习：模型依次遇到不同场景，每个场景仍使用同一组表情类别，训练当前场景时不访问历史场景样本，随后需要识别所有已经见过的场景。这里增加的是场景，不是类别。因此它与类别增量学习、多头任务增量学习以及能同时访问源目标数据的 DANN 都有不同的信息条件。

本页依据作者主页公开的十七页完整稿，作者包括 Ke Wang、Yuanyuan Liu、Kejun Liu、Yuyang Xia、Chang Tang、Yibing Zhan 和 Zhe Chen。文件标注 ICML 2026 / PMLR 306；本页将其作为作者公开稿阅读，不把该文件页眉当作已独立核实的出版方书目信息。正文与附录的数值及公式存在几处不一致，下文保留核查说明。

论文把变化拆成慢与快。慢变化发生在场景之间，例如同一种高兴在访谈和影视中的表示中心可能不同；快变化发生在一个视频内部，例如相邻帧的脸部运动。作者分别设计慢时间尺度的类别状态约束与快时间尺度的动态一致性约束，并希望二者共同减少遗忘。

先理解状态、观测和不确定性

慢状态可以理解为每个类别在特征空间中的位置及其可信程度。模型把一个视频编码为向量，同类向量的中心称为类别原型。只保存一个中心点，会把“中心估计可靠”和“样本太少所以不确定”混在一起；论文同时维护均值与协方差信息，让后来的数据对状态有不同影响。

观测则是当前场景中某类特征的样本均值。它不是无误差的真相：样本少、噪声大或特征尚不稳定时，均值都可能偏离真实中心。状态空间模型用观测噪声表达这种不可靠性，再通过类似 Kalman 更新的方式融合旧状态与当前观测。

随机游走假设表示类别中心从一个场景到下一个场景发生一定幅度的漂移，而不是完全跳到任意位置。过程噪声 Q 控制允许漂移的程度；观测噪声控制对当前样本均值的信任程度。两者不是同一个超参数，也不能只因为都被称为方差就随意合并。

作者稿慢状态建模的简写，c 是类别、k 是场景。随机扰动具有过程协方差 Q；类别原型是特征统计量，不是直接测量的真实心理状态。

预测不确定性与观测均值的不确定性。n 是该类别参与统计的样本数；在模型假设下样本越多，均值观测越可靠。没有该类别样本时不能除以零，应跳过更新或使用明确先验策略。

Kalman 增益决定听旧状态还是新观测。标量情况下，旧状态越不确定、当前观测越可靠，增益越大；它不是一个凭空学习出的注意力权重。

作者稿状态更新结构。括号中的差是创新量，即当前观测与旧预测不一致的程度。更新后的协方差用于后续场景，不能只保存更新均值而丢掉不确定性。

对应作者稿式（24）—（25）的核心形式。训练中用固定历史状态约束当前批次均值，按不确定性缩放距离；这是 Mahalanobis 距离式的约束，而非每个样本都强行贴到完全相同点。

对应式（26）。冻结的 RAFT 提供帧间光流，可学习映射 g 将光流变成潜在空间的位移预测，要求它与编码器的相邻帧特征差一致。

对应式（27）。类别监督、慢原型约束和快动态约束共同训练。不同项的数值尺度不同，权重大小不能直接解释为机制重要程度。

慢约束与状态更新不是同一件事

一个重要的实现顺序是：训练某场景期间，历史类别状态固定，用它计算慢约束；当前场景训练结束后，才用新的统计量更新长期状态。如果每个 minibatch 都覆盖历史均值，目标会随着学生一起移动，约束可能失去锚点作用，也不再对应论文描述的阶段式过程。

Mahalanobis 距离可以看成按可靠性调整的距离。某个维度旧状态很确定，偏离它的代价就较大；某个维度不确定性较高，则允许更多变化。因此它比统一欧氏距离有更细的保护方式，但效果取决于不确定性估计是否可信。一个很小的协方差若来自错误估计，会造成过强约束。

读到高斯分布时应分清理论表达与实际存储。作者的轻量状态按类别和特征维度保存均值及方差信息，附录给出七类、七百六十八维时一万零七百五十二个元素。它对应两组逐维状态，而不是七个完整七百六十八乘七百六十八协方差矩阵。实现时若误用稠密矩阵，计算和内存将完全不同。

当输入域出现突然的大变化，缓慢随机游走的假设可能不合适。作者附录讨论突变检测或更灵活过程模型的方向。你应该将此视为模型假设的边界，而不是把使用 Kalman 更新本身当作跨任何场景都稳定的保证。

快约束如何联系视频动态

快状态关注相邻帧的特征变化。光流估计像素从一帧到下一帧的位移，包含面部局部运动，也可能包含头部转动、镜头运动、遮挡和光照造成的估计误差。它并不等于面部动作单元，更不是情绪真值；论文通过可学习映射把它与编码特征差联系起来。

若相邻帧完全相同且光流接近零，一个合理的一致性项应鼓励特征变化也较小。若嘴角与眼部发生运动，特征允许变化，但这种变化应与运动证据相容。这个练习有助于理解快约束提供的是动态结构信息，而不是额外的表情标签。

快约束本身也可能过度平滑。如果所有特征都相同，特征差当然为零；因此类别监督和运动映射共同参与很重要。训练时应监测特征方差、类别区分能力与一致性损失，不能只看到快损失下降就认为模型学到了更好的动态表情。

flowchart TD
V[Video frames] --> E[Trainable encoder]
E --> C[Classification loss]
E --> S[Slow prototype loss]
H[Fixed historical state] --> S
V --> R[Frozen RAFT]
R --> G[Trainable flow mapping]
E --> F[Fast consistency loss]
G --> F
C --> U[Optimize current stage]
S --> U
F --> U
U --> K[Stage-end state update]

完整系统还有哪些容易漏掉的部分

作者稿使用 ViT-B/16，特征维度七百六十八，批量三十二，AdamW 学习率零点零零一，主要训练十五轮，随后进行五轮分类器重训练。报告的运行环境为 A100。你的 RTX 4070 Laptop 若缩小批量或冻结更多层，应先做显存试跑，再把差异写清楚，而不是直接承诺同样训练时间。

训练后还包含骨干最后层的增量权重融合，并重训练分类器。这意味着整个系统的收益不能只归因于两个时间尺度损失。做复现和消融时要明确是否保留这一融合步骤、如何建立共同基点、哪些层参与融合，否则所谓基线与完整方法可能同时改变了多个部分。

作者稿给出过程噪声参数零点一、慢损失权重零点零一、快损失权重十的负四次方。它们是已报告配置，不意味着可以不经验证地用于 ALMT 或另一种视觉编码器。尤其多模态特征尺度和光流映射完全不同，直接搬运同一个权重可能使某项损失几乎不起作用或压倒其他项。

主结果与消融结果分开看

FERV39k 的四个粗场景可以按不同顺序到来，作者在多种顺序下统计结果。下面 Table 1 摘录以不同场景开头的汇总，Avg 与 Last 分别表示过程与末阶段相关汇总。作者稿对 Avg 的文字和公式存在归一化省略问题，因此本页保留原表名称，不擅自把它改写成某个未经确认的逐样本平均。

消融表显示慢状态约束贡献较明显，快动态约束提供进一步改善。但单个设置下几项差值不能证明两项机制在所有场景都具有独立因果效应；需要结合多顺序结果、相同训练配置和误差波动判断。尤其当基线数字在不同表出现差异时，应该先核实实验定义再计算提升。

图表阅读与版本核查说明

Figure 1 给出问题动机，Figure 2 展开两时间尺度框架，Figure 3 分析遗忘，Figure 4 考察参数敏感性。理解 Figure 2 时应把批内训练与阶段末状态更新分开画，否则容易误以为每一帧都执行一次长期 Kalman 融合。Table 8 的轻量状态与更新时间只覆盖特定模块，不包含全部视频编码和光流计算成本。

作者稿 Table 1 的 DUCT 在 AI 首场景为三十六点九六与三十五点五三，另一消融对照表出现三十七点一九与三十五点六七。本页逐表保留原数，不用一张表的基线去计算另一张表的提升。DFEW 文字段落中提到的六点零八差值对应 DCE，而非同段所称 DUCT，引用时必须同时指明实际比较行。

附录逐顺序结果还显示，部分 DL 开头顺序中 EmWorld 的末阶段表现低于 DUCT，例如三十一点三八对三十三点九二。平均改善并不意味着所有顺序获益。作者稿将 DFEW、MAFW 的折划分用于连续阶段时，也需要进一步核查样本是否重叠；统计折不自动等于语义场景，不能据此声称验证了所有自然场景迁移。

代码可得性与最小实现路线

本次检索作者主页公开稿、论文内链接以及 EmWorld 题名与 GitHub 组合查询，没有确认到可核验的官方训练仓库。因而本页不提供伪造的官方路径、行号或训练命令。下面给出的是按公式组织的教学实现清单，只有拿到完整配置与源码后才能称为严格复现。

先建立 StateBank，按类别保存均值、逐维方差和样本计数；历史状态在训练期只读。实现观测均值函数时使用类别掩码，对缺失类跳过，记录当前有效类别。再实现对角 Kalman 更新与慢约束，确保所有分母有合理的数值下界，并区分数值稳定项与统计模型中的噪声。

快分支先用人工平移图像做测试，确认光流方向和帧顺序一致，再接冻结 RAFT。映射输出维度要与编码器特征相同，输入预处理也要与光流模型一致。将帧顺序颠倒时，特征差与位移目标应相应改变；如果损失完全不受影响，可能是时间索引或广播形状出了问题。

最后才组合完整损失和阶段末更新。保存每阶段状态文件、编码器检查点及融合配置，并用相同初始化分别跑基线、慢约束、快约束、完整版本。每个阶段后评估所有已见场景，形成下三角结果矩阵；没有这个矩阵，就无法区分新场景适应与旧场景遗忘。

初学者验收与独立判断

最小数值练习可以用一维状态：旧均值为零、预测方差为一，当前观测为二、观测方差为一，则增益为二分之一，新均值为一，更新方差为二分之一。把观测方差减小后，新均值应更接近二；把它增大后，应更接近旧均值。手算结果与程序一致后再扩展到逐维向量。

慢约束验收应包含同均值零损失、偏移增大损失增大、方差增大同偏移惩罚减小，以及缺失类别不产生 NaN。快约束验收应包含相同帧、已知平移、随机打乱帧序三组输入。数值检查不保证方法有效，但能排除“公式写错却继续跑完整数据”的低效路径。

独立判断是：类别中心与帧间运动确实提供两种不同结构，但它们都可能混入身份和拍摄因素。一个类别中心稳定，不意味着类内所有细粒度语义都保留；光流一致，也不意味着模型关注了真正表达情绪的局部。进一步研究可以检查按人物、强度和背景分组的遗忘，而不是只增加一个更复杂的损失名称。

建议先做两个场景、一个种子的机制试跑，把状态更新与损失尺度核实，再扩大到四场景与多个顺序。验收产物包括状态更新算例、缺失类测试、模块消融表、每阶段场景矩阵和资源实测。原稿中的冲突应保存在复现日志里，待官方代码或出版版本可得时再统一，不能用猜测填补。

可执行研究记录与评价纪律

把阅读成果变成可检查的实验记录。先建立一张样本清单，每行至少包括样本标识、原始视频或说话人标识、类别、场景、训练验证测试角色。先检查这些标识的交集，再开始训练。视频切成不同短片，并不意味着它们在语义、人物或拍摄来源上相互独立；随机划分得到的高分也不能自动证明跨场景泛化。

所有比较都应固定输入帧数、预训练权重、数据增强、优化步数和评价脚本。先用一个种子验证数据流、梯度和保存恢复，再用预先约定的多个种子做正式比较。记录每个种子的结果，报告均值和波动，而不是只保留最高一次。若为了显存缩小模型或批量，把它写入兼容性实验说明，不把改动后的结果称为原论文的严格复现。

检查分类效果时，同时保存逐样本预测和混淆矩阵。总体准确率上升可能只是多数类别变好；逐类召回率能揭示少数表情被牺牲的问题。跨场景实验还要报告每个场景的指标，防止样本量大的场景掩盖小场景退化。一个漂亮的特征可视化只能辅助观察，不能替代独立测试集、明确指标和误差分析。

模型选择必须与最终测试分开。用验证集选择学习率、训练轮数和新增模块的强度，先写清选择规则，再运行最终测试；不要根据测试集反复挑选超参数。若研究设定禁止访问旧数据，就不能为了选择防遗忘系数反复查看旧任务测试结果。可以预先固定系数，或另行声明验证数据的可访问范围，让比较遵循同一规则。

每次改动只回答一个问题，保存配置文件、代码提交、随机种子、数据清单哈希和检查点路径。最后交付一页实验说明，按“问题、对照、改动、结果、解释、失败案例”组织。若结果没有提高，先确认机制是否确实生效，再判断假设是否错误；未运行的实验只能写成计划，不能填上看似合理的数字。本文表格均为原文报告或明确注明的教学计算，并非本机复现实测。

原文短引与证据入口

原论文与完整上下文。以下三个短引仅定位作者用语，解释与判断见上文：“Slow-timescale”；“Fast-timescale”；“Kalman”。