小红书 AlignRec: 多模态推荐系统的对齐与训练框架

2.2.2 流程描述

这个聚合模块的流程根据输出的依赖关系，可以分成以下三个步骤完成：

1) User 侧和 Item 侧的 ID 模态 记为 User-Item 的交互矩阵，通过构造得到以 User+Item 为结点的异构图的邻接矩阵，然后进一步处理得到归一化的邻接矩阵。再使用 LightGCN 逐层（共 L 层）计算。其中，包含了 User+Item 的 Embedding，再对这 L+1 层的表征进行聚合，得到 User 侧和 Item 侧的 ID 表征。

2) 物品侧的多模态表征 对于物品侧的多模态表征，作者首先将前面统一的内容模态表征经过一个 MLP 进行映射，再做 Element-wise 乘积与 ID Embed 进行融合，得到融合了内容先验知识的内容表征。然后，作者会基于前面统一的内容模态表征，构造物品侧的相似矩阵，每个物品取与它最相似的 10 个 Item 做聚合，得到物品侧的多模态表征输出。

3) 用户侧的多模态表征 对于 User 侧，通过聚合用户历史交互过的 Item 得到用户侧的多模态表征。其中，R 为归一化后的交互矩阵。

2.2.3 训练细节

1) 实现内容模态与 ID 模态对齐 为了对齐内容模态表征和 ID 模态表征，作者使用 In-Batch InfoNCE 损失函数，让同 Item 的内容模态表征与 ID 模态表征更接近，不同 Item 的内容模态表征与 ID 模态表征的距离更疏远。在 User 侧和 Item 侧分别去做对齐。

2) 规避模态表征坍塌 如果不加任何约束，模型可能会盲目地趋近于某个固定表征，引起模态表征坍塌。为了规避这个问题，作者增加了正则项约束。其中，表示 Cosine 相似度，而表示 Stop Gradient（停止梯度）操作，防止梯度回传导致的模式崩溃。

2.3 Fusion Module

这个模块的作用在于融合 ID 模态表征和多模态表征，从而得到 User 侧表征和 Item 侧表征，用于召回的 TopK 向量检索。

具体地，作者简单直接地将相应的表征进行相加。在得到 User 侧和 Item 侧的表征之后，作者增加了 User 侧和 Item 侧的对齐。具体地，作者对用户表征以及交互 Item 对应的表征作了相似度约束，确保用户向量与其感兴趣物品的向量在空间上足够接近。

2.4 统一训练

推荐任务会使用 BPR (Bayesian Personalized Ranking) 计算损失：

$$L_{BPR} = - \sum_{(u,i,j) \in D} \ln \sigma(x_{ui} - x_{uj})$$

其中，$i$ 为正样本，$j$ 为采样的负样本。

针对挑战二中提到的内容模态和 ID 模态学习速度差异问题，训练分为两个阶段：

1. 预训练阶段：先对齐不同内容模态，得到统一的内容模态表征输出。
2. End-to-End 训练阶段：加权融合推荐任务的损失、正则化损失，以及前面多个对齐目标损失，得到最终的训练损失。

2.5 中间评估指标

为了更准确评估多模态特征在推荐系统中的适用性及应用效果，作者提出了三种中间评估方案：

2.5.1 Zero-Shot 推荐

用于评估基于用户历史交互行为，多模态特征能否反映出用户兴趣。包括三个步骤：

1. 按时间顺序对用户历史交互行为排序，取最后一个行为作为 Target Item，其余作为用户历史行为交互。
2. 基于用户历史行为交互，计算用户的多模态表征。
3. 计算与 Target Item 的相似度，判断是否在 TopK 中出现。

2.5.2 Item-CF 推荐

用于评估只使用多模态特征，基于协同过滤的方法进行物品推荐的能力。

1. 计算每对 Item 的 Item-CF 分数。
2. 为每个 Item $i$，选择最高 Item-CF 分数所对应的 Item $j$ 作为 Target Item。
3. 使用多模态表征计算 Item $i$ 与候选集里其它 Item 的相似度得分，判断 Item $j$ 是否在 TopK 里。

2.5.3 Mask Modality 推荐

按一定比例 Mask 视觉模态或文本模态，衡量最终推荐效果差异，从而评估不同内容模态的重要度。这有助于分析哪些模态对特定类别的物品更为关键。

3. 实验部分

3.1 对比 Baseline 模型效果

在不同数据集上与各 Baseline 模型做对比。实验结果表明，AlignRec 在多个指标上均优于现有的主流多模态推荐模型。特别是在长尾物品推荐方面，由于引入了丰富的多模态信息，模型表现有显著提升。

3.2 中间评估指标

论文所提各中间评估指标的效果验证了多模态特征的有效性。Zero-Shot 推荐测试表明，即使没有显式的交互信号，多模态特征也能在一定程度上捕捉用户偏好。

3.3 消融实验

3.3.1 多模态表征在其它模型的效果

使用作者所提 AlignRec 得到的多模态表征在其他 Baseline 模型上的表现。结果显示，高质量的预训练多模态表征具有通用性，可以迁移到其他架构中提升性能。

3.3.2 模块消融实验

验证不同模块的效果。移除任何一个对齐模块都会导致性能下降，证明了 ICA、CCA 和 UIA 三者缺一不可。

3.3.3 超参实验

分析超参的影响。包括学习率、Batch Size 以及对齐损失的权重系数等。实验发现模型对某些超参较为敏感，需要精细调优。

3.4 长尾内容上的表现

在长尾内容上，不同模型的表现对比。传统 ID 模型往往难以覆盖长尾物品，而 AlignRec 通过多模态信息的补充，有效缓解了数据稀疏问题，提升了长尾物品的曝光率和点击率。

4. 总结与展望

本文介绍了小红书提出的 AlignRec 框架，旨在解决多模态推荐系统中的语义鸿沟和对齐难题。通过引入多模态编码器、图聚合模块以及融合模块，并结合多种对齐损失函数，AlignRec 实现了内容模态与 ID 模态的有效融合。实验证明，该方法在推荐准确性和多样性上均有提升，特别是在长尾物品推荐场景中表现优异。

未来的工作可以进一步探索更轻量级的多模态编码方式，以适应在线服务的低延迟要求。同时，也可以研究如何将更多类型的模态（如音频、视频）纳入对齐框架，以构建更加全面的用户画像。此外，针对冷启动问题的优化也是值得深入的方向，利用多模态信息可以帮助新物品快速获得准确的表征，从而加速其进入推荐池的过程。

综上所述，AlignRec 为多模态推荐系统提供了一个有效的对齐和训练范式，对于工业界落地多模态推荐技术具有重要的参考价值。