VisionReward：重塑 AIGC 时代视觉生成的人类偏好对齐范式
摘要
在 AIGC 技术迅猛发展的浪潮中，视觉生成模型正面临着与人类复杂偏好精准对齐的重大挑战。本文提出的 VisionReward 框架开创性地构建了跨模态统一的偏好评估体系，通过细粒度多维度拆解与可解释性评分机制，实现了对图像与视频生成质量的精准量化。该框架创新性地将人类视觉偏好解构为可计算维度，结合动态特征增强技术与多目标优化算法，在视频偏好预测任务中较现有基准提升 17.2%，并有效解决了偏好学习中的维度失衡问题。
1 研究背景与挑战
AIGC 技术的飞速演进使文本驱动的视觉生成模型能够创造出令人惊叹的图像与视频内容，但当前模型输出质量与人类主观偏好之间仍存在显著鸿沟。受 LLM 领域 RLHF 技术成功的启发，视觉生成模型的偏好对齐已成为行业突破的关键方向。然而，视觉内容的多维性与主观性使这一任务面临独特挑战：静态与动态内容的评估维度差异、人类偏好的复杂组合关系、以及优化过程中的维度平衡难题。
现有技术方案存在三大核心局限：首先，单维度评分体系无法捕捉人类对视觉内容的复杂偏好结构，导致评估结果缺乏可解释性；其次，视频生成特有的动态特征（如时序一致性、动作流畅度）难以通过静态图像评估方法有效捕捉；最后，传统优化方法容易导致模型在特定维度过度拟合，形成'偏科式'性能提升。这些问题严重制约了视觉生成模型向实用化、高质量方向发展。
本研究通过系统性创新构建解决方案：建立覆盖图像与视频的多维度评估体系，实现人类偏好的结构化拆解；开发融合动态特征分析的 VisionReward 模型，突破跨模态评估精度瓶颈；提出多目标偏好优化算法，实现各维度性能的均衡提升。这三大创新共同构成了应对视觉偏好对齐挑战的完整技术路径。
2 技术方案详解
2.1 多维度偏好评估体系构建
研究团队首先开展了大规模用户偏好调研，结合视觉认知科学理论，构建了层次化的视觉偏好评估维度体系。针对图像生成任务，通过因子分析与专家论证确定五大核心维度：文本指令对齐度（描述匹配精度）、视觉真实感（光影/材质/比例合理性）、美学质量（构图/色彩/层次感）、内容完整性（细节丰富度）和主题相关性（核心概念表达）。扩展至视频领域时，新增时序一致性（帧间过渡自然度）、动作流畅度（运动连续性）、场景连贯性（空间关系保持）和动态合理性（物理规律符合度）四个动态专属维度，形成九维评估体系。
每个维度均设计结构化评估指标与判断标准，例如在'动态合理性'维度下设置'物体加速/减速是否符合物理定律'、'液体流动是否呈现自然表面张力'等可观测指标。这种结构化设计使抽象偏好转化为可标注、可计算的具体特征，为后续模型训练奠定基础。
在数据构建阶段，研究团队采用多源数据融合策略，构建了包含 48,000 张图像和 33,000 段视频的大规模标注数据集。图像数据覆盖 12 种艺术风格、8 大类场景类型及主流生成模型输出；视频数据包含人物动作、物体变换、场景转换等 6 种动态类型，时长 3-10 秒。所有样本均经过三重质量筛选：技术指标过滤（清晰度/分辨率）、内容相关性检查、标注一致性验证，确保数据集的高质量与多样性。
2.2 VisionReward 模型架构设计
VisionReward 采用创新的'维度判断 - 权重融合'双阶段架构。第一阶段基于 CogVLM2 系列模型构建维度判断器：针对图像任务采用 CogVLM2 基础模型，视频任务则使用 CogVLM2-Video 模型，通过专项指令微调使其具备维度指标的判断能力。每个评估维度对应一组结构化问题，模型对每个问题输出二元判断（是/否），形成多维特征向量。
评分合成阶段采用数据驱动的权重学习机制：通过逻辑回归模型对人类偏好数据进行训练，学习各维度对总体偏好的贡献权重，最终通过线性加权求和生成综合评分。这种设计既保留了维度层面的可解释性（各维度权重透明可追溯），又实现了整体评分的精准性。模型训练过程采用五折交叉验证，结合早停策略与正则化技术，确保权重参数的泛化能力。
针对视频评估的技术挑战，研究团队开发了动态特征增强模块：通过光流分析提取帧间运动矢量，构建运动轨迹一致性特征；利用时序卷积网络捕捉长程依赖关系；结合 3D 卷积提取时空特征。这些技术使 VisionReward 能够有效区分静态质量与动态质量，在评估视频特有维度时实现精度突破。模型采用混合精度训练策略，在保持评估精度的同时提升计算效率。
2.3 多目标偏好优化算法设计
深入分析扩散模型生成机制后，研究团队发现传统偏好优化方法存在维度失衡的根本原因：单一目标函数优化会导致模型在某些维度快速收敛，而其他维度被忽视。基于这一洞察，团队提出多目标偏好优化算法（MPO），将视觉生成优化分解为与评估维度对应的多个子目标。
MPO 算法采用帕累托优化框架，通过动态权重调整机制实现各维度的均衡提升。算法核心创新在于：设计维度贡献度评估函数，实时监测各维度性能状态；建立自适应学习率机制，对优化不足的维度自动提高学习权重；引入维度协同正则项，鼓励维度间的正向关联学习。这种多目标优化策略有效避免了'顾此失彼'的优化陷阱，使模型在所有评估维度上实现协同提升。
在实现层面，MPO 算法与扩散模型生成过程深度融合：在前向扩散阶段注入维度导向的噪声调度，在反向去噪过程中应用维度感知的梯度调整。通过这种精细化控制，模型能够在生成过程中动态平衡各维度表现，最终输出在多维度评估中均表现优异的视觉内容。算法还支持按应用场景定制维度权重，满足不同领域对视觉质量的差异化需求。
3 实验验证与性能分析
研究团队构建了全面的评估体系，从机器指标与人类主观评价两个维度验证技术方案的优越性。在图像评估任务中，VisionReward 在 COCO-30K 与 LAION-Aesthetics 数据集上的斯皮尔曼相关系数分别达到 0.86 和 0.89，显著优于 CLIPScore（0.72）、Aesthetic Score（0.78）等现有方法，证明其对静态视觉质量的精准评估能力。
