针对传统推荐系统中新冷内容因用户行为稀疏导致的 ID Embedding 欠学习问题，快手提出 M3CSR 方法。该方法采用双塔结构，在 User 塔和 Item 塔均引入多模态信息（文本、视觉、音频）。核心创新点包括：通过降维映射解决 ID 与多模态表征空间不一致问题；利用聚类 ID 增强多模态表征的可学习性；显式建模用户对不同模态的偏好强度；设计门控网络根据内容热度动态平衡 ID 与多模态特征的贡献。实验表明，该方法在离线指标及线上新冷内容场景中均取得了显著效果，有效提升了推荐准确率。
基于 ID Embedding 主导的传统深度推荐系统，在新冷内容推荐上由于新冷内容用户行为非常稀疏，ID Embedding 欠学习导致经常表现不佳。因此，对于这部分新冷内容，业界一般会更多地结合内容（如本文讨论的多模态信息）本身来做推荐。
将多模态信息应用于推荐系统可能会面临两个主要挑战：
为了克服这两个问题，快手提出了 M3CSR 方法，下面详细介绍。
快手所提方法的整体框架如下图所示，其主体框架是双塔结构，在 User 塔和 Item 塔都引入了多模态信息以提升新冷内容推荐上的效果。
快手这里的多模态推荐遵循着业界的一般实践，也是一种 Two-Stage 方案。即对于新内容，会先提取出多模态表征存下来，然后再使用这预先提取的多模态表征用于下游推荐任务的学习。
快手所提方法在预处理阶段，主要处理两个事情：
对于新内容，快手这里会基于内容的三种模态提取出三种模态表征：
在获取视频的多模态表征后，快手这里还会做 K-means 聚类处理以得到新视频的聚类 ID 信息。具体地，作者将多模态表征都 concat 起来，再使用数千万的多模态表征做 K-means 聚类，共 1000 个聚类中心，每个新视频都可以得到对应的聚类中心标签。
模态 Encoder 包含两个操作，如下图所示：
对于每种模态表征，单独过个映射网络函数，实现模态空间到用户行为空间的映射，记映射后对应模态的表征为 $\hat{v}_m$。这种方式旨在解决前述的表征空间不一致问题，使多模态特征能够与 ID 特征在同一空间内有效交互。
前面提到，每个短视频都对应着一个聚类 ID，这样可以再过个 embedding layer，将聚类 ID 转换成低维的可学习的隐向量，这种方式的好处是它的聚类 ID Embedding 是可学习的，以克服原始多模态 Embedding 不可学习的缺点。
然后，再将这两个表征做 Fusion（其实就是直接 Concat 起来）作为内容最终的多模态表征，形式化描述如下：
$$ v_{item} = [\hat{v}_t; \hat{v}_v; \hat{v}a; E{cluster}] $$
其中，$W_m$ 和 $b_m$ 是模态的映射矩阵参数。
在 User 塔的序列建模上，一方面，会正常使用 ID Embedding 做多头注意力计算：
$$ Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d_k}})V $$
其中，$Q$ 表示用户历史交互序列的 Id Embedding。
另一方面，作者会使用前面融合计算出的文本、图片、音频的多模态表征，分别计算多头注意力：
这里，ID Embedding 会作为多头注意力计算的 Query，它是 Stop Gradient 的，而 $\hat{v}_m$ 为对应模态的模态表征，会作为多头注意力的 Key 和 Value。可以看出，这种方式其实是让 ID Embedding 去引导多模态表征的学习映射过程，确保多模态特征对齐到用户的兴趣空间。
考虑到不同用户对不同模态的兴趣偏好/强度可能会有差异，作者还使用了基于 ID 计算出来的注意力结果去做多模态注意力结果的缩放，具体地：
首先，计算各模态表征的缩放因子（兴趣强度）$\alpha_m$。
再将对应的多模态表征进行缩放 $\tilde{v}_m = \alpha_m \cdot \hat{v}_m$。
然后，再将缩放后的多模态表征与 ID Embedding 直接 Concat 起来作为 User 塔最后的表征。
考虑到新冷内容的 ID Embedding 可能学习不充分，因此，作者这里引入受欢迎程度的门控网络来控制 ID Embedding 和多模态 Embedding 的表达，让热门内容更多依赖 ID Embedding，而新冷内容则减少 ID Embedding，以使在冷启阶段更好的捕获内容的多模态信号。
具体的实现中，作者使用了视频的交互次数来做分桶，使用可学习的分桶 Embedding，即上面的 $E_{bucket}$。
理想情况下，建议可使用 Item 被参与训练的次数作为这里门控机制的输入，因为离在线的可能存在的一些 diff，热门的 Item 在推理时它的 Item Embedding 可能学习的也不充分。虽然这个被参与训练的次数信息在获取会比较麻烦，但确实是可以直接在框架层去实现的。
最后，将门控的权重加上再拼接起来后，就得到 Item 塔最后的表征：
$$ v_{final} = Gate \cdot v_{id} + (1 - Gate) \cdot v_{multi-modal} $$
对于多模态表征，作者额外增加了多模态间的约束，鼓励不同模态之间的语义一致性。
预测时，令 $u$ 为用户向量，$i$ 为正样本物品向量，$j$ 为负样本物品向量，然后计算 BPR Loss：
$$ L_{BPR} = -\sum \ln \sigma(\hat{y}{ui} - \hat{y}{uj}) $$
最终的 Loss 为：
$$ L = L_{BPR} + \lambda_1 L_{modal} + \lambda_2 L_{reg} $$
其中，$\lambda_1$ 和 $\lambda_2$ 为对应的超参。
M3CSR 模型在离线指标上相比基线模型有显著提升，特别是在新冷内容场景下。
通过消融实验验证了各个模块的有效性，包括模态编码器、聚类 ID 以及门控机制等组件的贡献。
在不同数据集上不同模态重要程度不一，说明针对特定业务场景可能需要调整模态权重或选择重点模态。
可视化结果显示，不同用户确实对不同的模态表现出显著不同的兴趣强度，验证了显式建模偏好的必要性。
新冷内容的表现在线上 A/B 测试中得到验证，点击率和转化率均有提升。
通过具体案例展示模型如何根据视频内容特征进行更精准的推荐。
M3CSR 方法通过引入多模态信息并解决表征空间不一致及用户偏好差异问题，有效提升了短视频冷启动推荐的效果。该方案结合了 ID Embedding 与多模态特征的优势，并通过门控机制动态调整两者权重，为工业界推荐系统提供了新的思路。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
