基于特定人物面部动态的自监督学习自动人格识别
关键词：自动人格分析（APR）、排序损失、面部时间演变、人格化动态层、自监督学习、卷积神经网络
摘要
现有自动人格分析方法常见两个问题：一是过度依赖短视频片段甚至单帧来推断人格，二是缺少对特定个体面部动态的显式编码。为此，论文提出一种基于排序损失的自监督学习方案，用面部动作的自然时间演变来学习通用动态表示。方法上，先用大量未标记面部视频训练一个 U-Net 风格模型，学习通用面部动态；再冻结主干，只在特定个体视频上训练插入的中间自适应层，让这些层的权重逐渐带上个人特征。最后，直接把这些权重拼接起来作为该个体的人格化描述符，用于下游人格预测。实验在自我报告人格数据集和表观人格数据集上验证了效果，不仅达到了较好的预测结果，也说明了任务内容、时间尺度和融合策略都会显著影响最终性能。
引言
人格通常被看作一组稳定但会体现个体差异的行为、认知和情感模式。它既能通过长期行为观察，也能从非语言线索中捕捉到一些端倪。论文关注的是两类常见的人格分析任务：
- 自我报告人格：个体对自己性格特质的主观评价；
- 表观人格：观察者基于外显行为和线索对某人的感知。
心理学研究早就提示，面部行为并不只是情绪的瞬时反映，也可能携带隐含气质和内部状态的信息。问题在于，很多视频人格预测方法把视频级标签直接摊到帧级或短片段级上训练，这会带来很明显的矛盾：不同人格的人可能在某一帧里表现出相同的动作原语，但真正有区分力的是这些动作如何随时间变化。换句话说，单帧或极短片段通常不够支撑人格推断。
论文的目标很明确：提取一种长时稳定、个体区分明显的视频级面部行为表示，同时尽量保留短时动态信息。为此，作者把'动态图像'的思想改造成了一个自监督排序任务：不依赖人格标签，而是利用面部动作在时间上的自然演化来训练模型。
主要贡献
论文围绕这个思路做了几件事：
- 把动态图像的思想扩展到自监督场景，用排序损失学习短时面部动态；
- 通过领域自适应，把个体特有信息注入到预训练网络中；
- 直接使用网络权重作为人格化描述符，而不是只拿中间特征做回归；
- 系统分析了任务内容、时间窗口和融合策略对人格分析结果的影响。
相关工作
五因素模型
论文使用五因素模型（FFM）作为人格度量标准，即开放性、严谨性、外向性、宜人性和神经质。这个模型在心理学里非常经典，也最常用于自动人格分析。
人格、面部行为与情绪之间的关系
面部不仅承载身份信息，也会反映年龄、性别、情绪状态等多种线索。既然观察者能够从自然面部行为中读出一定的人格印象，那么从视频里自动预测人格也就有了心理学基础。只是这件事不能靠'单帧像不像某种人格'来做，而更应该看行为模式的时间演化。
基于视频的自动人格预测
已有方法大体分两类：
- 帧级/片段级方法：先提取单帧或短片段特征，再做决策融合；
- 视频级方法：先把帧级特征汇总成统计描述符，再用回归器预测人格。
这些方法的问题在于，它们大多默认人格可以从短时间局部行为里直接读出，或者在汇总时丢掉了不少细粒度时间信息。论文正是希望补上这一块：既不把视频标签粗暴地贴到帧上，也不把动态特征压成过于粗糙的统计量。
方法
论文的方法可以分成三层：先学通用面部动态，再学个体特定动态，最后把学到的权重当作人格描述符送入回归模型。
面部动态的自监督学习
作者把问题改写成一个排序任务。直观来说，给定一张中间帧，模型要学会生成一个动态表示，让它对同一时间窗内的前后帧打分时，越接近中心帧的图像分数越高，越远的图像分数越低。
这个设计有两个好处：
- 不需要人工标注动态标签；
- 网络必须真的去理解'时间上的变化'，而不是只记住静态外观。
论文里借用了动态图像的思想，但做了一个关键调整：不是从整段序列直接生成动态图像，而是从单张中心图像出发，去预测周围帧的相对顺序。这样做会迫使网络学习短时面部运动的通用规律。
排序损失的核心思路
设中心帧为 (I_t)，网络输出动态表示 (d_t)。对于窗口内任意两帧 (a) 和 (b)，如果 (a) 比 (b) 更接近中心帧，那么模型应该给 (a) 更高的相似度分数。论文用 (d_t) 和帧表示之间的点积作为打分，并只对排序错误的样本对施加惩罚。
损失函数还加了两个小技巧：
- 用一个'排序成功因子'控制正确排序时的最小间隔；
- 用松弛因子限制异常样本对带来的极端损失，避免错误人脸检测把训练带偏。
这部分的思路很实在，属于那种'为了让自监督训练真的跑稳，不得不加的工程性约束'。
人格化描述提取
通用动态学到以后，下一步是把'这个人自己的面部动态'单独拎出来。
通用面部动态建模
作者先用情感数据对编码器做预训练，让网络先学会和情绪相关的动态空间。这个选择并不是随手拍脑袋定的，因为人格和情绪状态之间确实存在关联。随后再用大量无标签人脸视频进行自监督排序训练，得到能概括一般面部动态的 DFNN。
个体特定面部动态建模
通用模型虽然能排序大多数人的面部帧，但还不够'像某一个人'。于是作者在 U-Net 的跳跃连接处插入一组自适应层 PALs，只冻结主干，只训练这些小层。
这种做法的直觉很清楚：
- 主干负责保留通用面部动态；
- PALs 专门吸收某个人细微但稳定的表达习惯。
训练结束后，这些 PALs 的权重就成了该个体的动态签名。论文观察到，特定个体上的排序性能会明显提升，而在其他人身上反而下降，这恰恰说明 PALs 确实学到了个体化模式，而不是泛化到所有人。
人格化描述符
最有意思的一点，是论文没有把 PALs 当成中间'辅助模块'就结束，而是直接把它们的权重拿来做特征。由于权重本身就是在个体视频上学出来的，所以它天然是固定长度、与视频时长无关的表示。
论文中使用了 5 个 PAL 层的滤波器权重和偏置，拼接后得到 1984 维特征，再交给一个前馈神经网络去预测五大人格特质。
训练人格模型
最终的人格预测器是一个比较标准的 ANN：4 层全连接隐藏层，加 dropout，输出 5 个维度分别对应五大人格特质。这个部分没有太多花哨设计，重点还是前面提取到的人格化描述符是否真的有效。
作者还进一步做了多尺度建模。因为人格相关动态到底应该看多长时间窗口并没有统一答案，所以他们训练了不同窗口长度下的 PALs，再把多尺度描述符融合起来。实验结果表明，多尺度信息确实比单尺度更有价值。
实验
数据集
论文在两类任务上做实验：
- 自我报告人格：VHQ 数据集；
- 表观人格：ChaLearn 数据集。
两者的差异主要在于标注类型、视频数量、视频长度和录制条件。也正因为如此，论文后面会分别讨论它们的训练策略和评估方式。
实现细节
DFNN 训练
编码器先在 Aff-Wild 上做效价/唤醒度预训练，再在 RECOLA 上训练和验证 DFNN。SEMAINE 和 BP4D 的视频则作为跨数据集排序评估的测试集。输入尺寸统一为 224×224×3。
PALs 训练
PALs 的训练不依赖人工标注。作者固定 DFNN，只训练 PALs，并按视频时间顺序输入帧，这样可以保证同一个视频的 PALs 收敛到一致的个体表示，减少初始化和帧顺序带来的随机性。
人格模型训练与测试
- VHQ：由于样本量小，采用留一法交叉验证；
- ChaLearn：按官方划分训练、验证和测试，并用相关性特征选择（CFS）筛选特征。
评价指标
论文主要看三类指标：
- RA（ranking accuracy）：衡量动态表示的排序能力；
- PCC、RMSE：衡量人格预测质量；
- ACC：用于 ChaLearn 上的比较。
消融实验
作者重点检查了几组变量：
- 编码器预训练：情感引导的预训练是否真的有帮助；
- 时间窗口大小：不同时间尺度会学到什么；
- 视频内容：不同任务是否会影响人格预测；
- 融合策略：视频级、特征级还是决策级融合更稳。
结果很一致：
- 情感引导预训练有效；
- 多时间尺度比单尺度更有信息量；
- 不同任务内容会显著影响人格预测；
- 如果一个人有多个视频，决策级融合通常最好。
与其他方法的比较
论文和几类基线做了对比，包括直方图特征、行为原语的频谱表示、深度回归网络以及深度残差网络等。整体上，所提方法在多个人格维度上都有更好的表现，尤其是在宜人性、神经质和开放性上提升明显。
结论
这篇论文的核心价值，不在于又搭了一个更深的网络，而在于它把'人格分析'这件事从粗糙的视频标签预测，往'学习个体稳定动态模式'的方向往前推了一步。
它做对了几件事：
- 用排序损失做自监督，避开了帧级标签不合理的问题；
- 通过 PALs 把个体差异真正写进模型参数里；
- 直接拿权重当特征，得到固定长度、与视频时长无关的描述符；
- 用多尺度动态和融合策略补足了人格分析的时间复杂性。
从结果看，面部动态确实能为人格推断提供有价值的信息，而且不同任务、不同时间尺度下的信息并不完全一样。后续如果把语音、文本等多模态信号一起纳入，自监督人格分析还有很大的延展空间。
