数据稀疏场景下 Embedding 学习策略综述

2.2 Meta Scaling and Shifting Networks

第二篇文章是 Learning to warm up cold item embeddings for cold-start recommendation with meta scaling and shifting networks (SIGIR 2021)。本文的核心思路是，具有相似特征、相同用户群体点击的 Item 应该更相似，因此利用了 Item 的属性等特征以及 User 的特征对冷启动 Item 做 Warm-up。

核心公式涉及 Scale + Shift 操作：

• Scale 操作：使用的是 Item 的属性特征生成的向量，用于调整初始 Embedding 的幅度。
• Shift 操作：使用的是 User 的 Embedding，用于平移初始 Embedding 的位置。 这两种信息同时作用到初始的 Item Embedding 上，实现冷启动 Embedding 的动态调整。

在具体的训练方法上，首先使用所有数据训练一个基础的推荐模型，然后固定住其他参数不变，使用非冷启动 Item 通过数据采样的方式模拟冷启动样本，在这些样本上单独训练 Scale、Shift 网络和 Item 的 Embedding。冷启动 Item 的 Embedding 使用预训练模型产出的全局所有 Item 的 Embedding 求均值得到，避免随初始化影响模型训练。

2.3 变分自编码器 (CVAE)

在今年的 SIGIR 上，Improving Item Cold-start Recommendation via Model-agnostic Conditional Variational Autoencoder (SIGIR 2022) 提出使用变分自编码器提升使用特征生成 ID Embedding 的效果。这篇文章专注于解决 Item 侧的冷启动问题，核心是利用 Conditional Variational AutoEncoder (CVAE) 对齐使用 Side Information 生成的 Item Embedding 和 Item 的 ID Embedding。

具体做法是，使用两个 CVAE 分别对 Item ID 生成的 Embedding 和使用 Item 的 Side Information 特征生成的 Embedding 进行自编码，在隐空间让二者分布距离最小。在训练过程中，同一个样本会先使用主模型预估 CTR，然后再走另一个自编码通道训练自编码器。

使用 CVAE 的好处在于：目标是学习 Side Information 到 Item Embedding 的映射，而模型在训练过程中得到的 Item Embedding 不一定完全反映的是 Side Information，还包含了和 User 的交互信息，这导致很难让 Side Information 和 Item Embedding 对齐。因此文中采用 CVAE，将 Item ID Embedding 压缩到隐空间去除噪声，再在隐空间和 Side Information 侧信息对齐，从而获得更纯净的特征表示。

3. 基于对比学习学习 Embedding

基于对比学习学习 Embedding 的典型工作是 Contrastive learning for cold-start recommendation (Multimedia 2021)。这里也借助了 Item 的属性特征，通过对比学习拉近同一个 Item 属性特征生成的 Embedding 和 ID 得到的 Embedding 的距离。

3.1 互信息优化

本文通过对 Item 表示最优化的推导，得出想要得到最优的 Item 表示需要同时优化两个互信息：

1. User-Item 互信息：根据历史 User-Item 的交互行为优化 User-Item 的互信息。
2. Item-Item 互信息：Item 的协同过滤信号得到的 Embedding 与使用内容信息得到 Embedding 的互信息。

3.2 对比学习实现

在优化上述互信息时采用的是对比学习的方法学习：

• User-Item 互信息：正样本为有交互的 User-Item Pair，负样本中适应随机采样的 Item。直接使用 ID Embedding 加上一个 Encoder 学习二者的协同过滤 Embedding。
• Item-Item 互信息：同一个 Item 为正样本，该 Item 和其他随机采样的 Item 为负样本。对比学习让通过内容生成的 Embedding 和协同过滤学到的 Embedding 相似，从而增强内容特征在推荐中的有效性。

4. 根据用户历史行为生成 Embedding

在今年 SIGIR 2022 中阿里发表了一篇文章 Transform Cold-Start Users into Warm via Fused Behaviors in Large-Scale Recommendation (SIGIR 2022)，主要利用用户的历史行为数据解决冷启动 User 的问题。

4.1 融合行为序列

一个核心点是引入曝光未点击的数据扩充冷启动用户稀疏的历史行为。一般的做法是对冷启动 User 生成一个更好的 User ID Embedding。这种方法的缺点是生成 User ID Embedding 的网络是用非冷启动用户训练的，而冷启动用户和非冷启动用户的特征分布差异很大，导致非冷启动用户上训练的 Embedding 生成器在冷启动用户上可能并不适用。

本文的做法是使用用户的历史行为作为 Context 来 Warm up 初始的 User Embedding。具体做法是将用户历史行为序列和初始的 User Embedding 拼接后过 Transformer，实现 User Embedding 的转换。Transformer 结构能够捕捉长距离依赖，有效处理稀疏序列。

4.2 区分交互类型

由于冷启动 User 的历史行为稀疏，点击行为就更稀疏了，因此本文会将用户历史点击和曝光未点击的行为都加进来作为历史行为序列，缓解冷启动用户的历史行为序列稀疏问题。点击和不点击是两种不同类型的交互行为，为了区分这两种不同的交互行为，文中将行为序列中每个 Item 的 Embedding 做了一步 Label Encoding 的变换，用一个可学习的参数根据交互类型（点击或未点击）进行转换。

最后，本文在训练过程中会将冷启动 User 的 Embedding 以一定概率替换成一个全局可学习的冷启动 Embedding，帮助模型对齐冷启动和非冷启动的 ID Embedding 分布，减少分布偏移带来的负面影响。

5. 总结

本文主要围绕推荐系统中，如何给冷启动或长尾的样本生成好的 ID Embedding 表示这一问题，介绍了近年来 4 种思路 6 篇顶会工作。包括 Domain Adaptation、变分自编码器、对比学习、引入用户历史行为序列等多种类型的解法。

• 域自适应：通过特征分布对齐，利用头部数据辅助尾部数据学习。
• 属性映射：利用 Side Information 构建映射函数，结合 VAE 去噪或 Meta Learning 动态调整。
• 对比学习：通过最大化互信息，拉近内容与协同过滤表示的距离。
• 行为融合：利用曝光未点击数据扩充序列，结合 Transformer 和全局 Embedding 对齐分布。

在实际工程中，建议根据数据规模和业务场景选择合适的组合策略。例如，对于极度冷启动场景，可优先考虑基于属性特征的映射方案；对于有一定曝光但无点击的场景，融合行为序列的方法更为有效。未来随着大模型技术的发展，利用预训练语言模型提取更丰富的语义特征也将成为 Embedding 学习的重要方向。