多模态动态融合模型 Predictive Dynamic Fusion 信度概念与参数解析

多模态动态融合模型 Predictive Dynamic Fusion 涉及置信度与不确定性理论。文章解析 Mono-Confidences 与 Holo-Confidences 等信度指标，说明协同信度在权重融合中的作用。同时梳理基于 MVSA_Single 数据集的代码运行环境，指出原代码 Forward 函数逻辑错误并提供修正方案，详解训练参数如 batch_sz、lr、freeze_txt 等配置建议，辅助模型复现。

NodeJser发布于 2026/4/10更新于 2026/5/2422 浏览

多模态动态融合模型 Predictive Dynamic Fusion 信度概念与参数解析

参考文：Cao B, Xia Y, Ding Y, et al. Predictive Dynamic Fusion[J]. arXiv preprint arXiv:2406.04802, 2024.

一、理论

本文解析论文中的指标含义及多模态训练代码参数。

置信度

在机器学习中，置信度表示模型对其预测结果'有多确定'。它刻画的是模型认为自己预测是正确的程度。

例如，在分类任务中：'这是正类的概率是 0.92'，那么 0.92 就可以视为模型对该预测的置信度。

在监督学习中，给定输入样本 x，模型预测类别为 ŷ，则置信度通常定义为模型对预测类别的后验概率估计。

置信度和不确定性（补充）

文中用熵来衡量整体不确定性，算是置信度的一种扩展：

置信度高 <=> 熵低

分类评价指标对比

指标	一句话解释
Accuracy	模型整体准不准
Precision	模型说'是'的时候靠谱吗
Recall	真正'是'的有没有被找全
F1	Precision 和 Recall 的折中
ROC-AUC	正样本排在负样本前面的能力

The Mono-Confidences and Holo-Confidences

该文的目的之一是为了解决模态权重融合的权重问题；也就是，多个模态分别从多个维度评价目标的状态，给出不一样的结果，怎么融合这几个结果的问题。

目前可以确定的是：融合权重 ω 应当与损失 l 呈负相关，并且与其他模态的损失呈正相关。也就是：当前模态越可靠 → 权重越大；其他模态越不可靠 → 当前模态权重越大。

对单个模态的模型，权重 ω 是要求的权重，损失 loss 是：

文章配图

所以，就有人两个信度指标：

The Mono-Confidences	Holo-Confidences
当前模态本身有多可靠	相对其他模态我有多可靠

将他们统合：

Co-Belief（协同信度）

Mono-Confidence：只看自己；Holo-Confidence：只看别人；但多模态融合需要：既考虑自身可靠性，又考虑整体模态状态。

故有：

相关免费在线工具

加密/解密文本
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。在线工具，加密/解密文本在线工具，online
RSA密钥对生成器
生成新的随机RSA私钥和公钥pem证书。在线工具，RSA密钥对生成器在线工具，online
Mermaid 预览与可视化编辑
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。在线工具，Mermaid 预览与可视化编辑在线工具，online
随机西班牙地址生成器
随机生成西班牙地址（支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选），支持数量快捷选择、显示全部与下载。在线工具，随机西班牙地址生成器在线工具，online
Gemini 图片去水印
基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印，支持批量处理与下载。在线工具，Gemini 图片去水印在线工具，online
curl 转代码
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。在线工具，curl 转代码在线工具，online

wget https://nlp.stanford.edu/data/glove.840B.300d.zip

def model_forward(i_epoch, model, args, criterion, optimizer, batch, mode='eval'):
    txt, segment, mask, img, tgt, idx = batch
    tgt = tgt.cuda()
    clf_loss = 0.0
    tcp_pred_loss = 0.0
    # ⭐ 先初始化，避免炸
    # ---------- 普通单 / 早期融合模型 ----------
    if args.model == "bow":
        txt = txt.cuda()
        out = model(txt)
        clf_loss = criterion(out, tgt)
    elif args.model == "img":
        img = img.cuda()
        out = model(img)
        clf_loss = criterion(out, tgt)
    elif args.model == "concatbow":
        txt, img = txt.cuda(), img.cuda()
        out = model(txt, img)
        clf_loss = criterion(out, tgt)
    elif args.model == "bert":
        txt, mask, segment = txt.cuda(), mask.cuda(), segment.cuda()
        out = model(txt, mask, segment)
        clf_loss = criterion(out, tgt)
    elif args.model == "concatbert":
        txt, img = txt.cuda(), img.cuda()
        mask, segment = mask.cuda(), segment.cuda()
        out = model(txt, mask, segment, img)
        clf_loss = criterion(out, tgt)
    # ---------- late fusion（特例） ----------
    elif args.model == "latefusion_pdf":
        txt, img = txt.cuda(), img.cuda()
        mask, segment = mask.cuda(), segment.cuda()
        out, txt_logits, img_logits, txt_tcp_pred, img_tcp_pred = \
            model(txt, mask, segment, img, 'pdf_train')
        # 分类 loss
        txt_loss = criterion(txt_logits, tgt)
        img_loss = criterion(img_logits, tgt)
        clf_loss = txt_loss + img_loss
        # TCP loss
        maeloss = nn.L1Loss(reduction='mean')
        label = F.one_hot(tgt, num_classes=args.n_classes)
        if args.task_type == "multilabel":
            txt_pred = torch.sigmoid(txt_logits)
            img_pred = torch.sigmoid(img_logits)
        else:
            txt_pred = F.softmax(txt_logits, dim=1)
            img_pred = F.softmax(img_logits, dim=1)
        txt_tcp, _ = torch.max(txt_pred * label, dim=1, keepdim=True)
        img_tcp, _ = torch.max(img_pred * label, dim=1, keepdim=True)
        tcp_pred_loss = (
            maeloss(txt_tcp_pred, txt_tcp.detach()) + maeloss(img_tcp_pred, img_tcp.detach())
        )
    # ---------- mmbt ----------
    else:
        assert args.model == "mmbt"
        txt, img = txt.cuda(), img.cuda()
        mask, segment = mask.cuda(), segment.cuda()
        out = model(txt, mask, segment, img)
        clf_loss = criterion(out, tgt)
    # ---------- 总 loss ----------
    loss = clf_loss + tcp_pred_loss
    return loss, out, tgt

参数名	默认值	含义说明	影响阶段	备注 / 建议
`batch_sz`	128	每个 batch 的样本数量	训练	大 batch 更稳定，但占显存
`gradient_accumulation_steps`	24	梯度累积步数	训练	等效 batch = batch_sz × steps
`lr`	1e-4	初始学习率	训练	BERT 微调常用 1e-5～5e-5
`weight_decay`	0.0	权重衰减系数（L2 正则）	训练	防止过拟合
`dropout`	0.1	Dropout 概率	模型	Transformer 常用 0.1
`max_epochs`	100	最大训练轮数	训练	搭配 early stopping
`patience`	10	Early stopping 容忍轮数	训练	验证集无提升时停止
`warmup`	0.1	学习率 warmup 比例	训练	防止初期梯度震荡
`lr_factor`	0.5	学习率衰减倍率	训练	ReduceLROnPlateau
`lr_patience`	2	学习率衰减等待轮数	训练	验证集不提升则降 lr
`seed`	123	随机种子	全局	保证实验可复现
`n_workers`	12	DataLoader 线程数	数据加载	与 CPU 核数相关

参数名	默认值	含义说明	影响阶段	备注
`bert_model`	`./bert-base-uncased`	BERT 预训练模型路径	模型	可换成 large
`freeze_txt`	0	是否冻结文本编码器	训练	1 表示不更新 BERT
`max_seq_len`	512	文本最大 token 长度	数据	BERT 上限
`embed_sz`	300	词向量维度	模型	对应 GloVe
`glove_path`	glove.840B.300d.txt	GloVe 文件路径	数据	300 维
`hidden_sz`	768	文本隐藏层维度	模型	BERT-base 默认

参数名	默认值	含义说明	影响阶段	备注
`img_hidden_sz`	2048	图像特征维度	模型	ResNet 输出
`num_image_embeds`	1	图像 token 数	模型	MMBT 中常见
`img_embed_pool_type`	avg	图像特征池化方式	模型	avg / max
`freeze_img`	0	是否冻结图像编码器	训练	1 表示冻结
`drop_img_percent`	0.0	随机丢弃图像比例	数据增强	模态缺失模拟

参数名	默认值	含义说明	影响阶段	备注
`model`	latefusion_pdf	使用的模型结构	模型	PDF = Predictive Dynamic Fusion
`hidden`	[]	额外隐藏层结构	模型	如 [512,256]
`include_bn`	True	是否使用 BatchNorm	模型	提高训练稳定性
`df`	True	是否启用动态融合	模型	PDF 核心开关
`baseline`	None	对比方法名称	实验	仅用于记录

参数名	默认值	含义说明	影响阶段	备注
`task`	MVSA_Single	使用的数据集	数据	多模态情绪识别
`task_type`	classification	任务类型	训练	单标签 / 多标签
`weight_classes`	1	是否类别加权	loss	类别不平衡时用
`noise`	0.0	标签噪声比例	数据	鲁棒性实验
`data_path`	/path/to/data_dir/	数据集路径	数据	必须配置
`savedir`	/path/to/save_dir/	模型保存路径	输出	checkpoint

多模态动态融合模型 Predictive Dynamic Fusion 信度概念与参数解析