MiniOneRec 技术解读：基于 LLM 的生成式推荐框架

函数 get_new_tokens 返回 SID 的子 Token 集合。这里有个潜在问题：代码读取的是所有实体的 SID Token 集合，而实际上码本可能并未完全利用，部分未见过实体可能被分配到未使用的 SID 索引上。

梯度控制技巧

如何只对新 Token 的 Embedding 做训练？直接对 Tensor 切片设置 requires_grad=False 是无效的。正确做法是先冻结所有参数，再打开 Embedding 层梯度，并通过 Hook 过滤旧 Token 的梯度。

print("Freezing LLM parameters, only training new token embeddings")
for param in model.parameters(): 
    param.requires_grad = False

if sid_index_path and os.path.exists(sid_index_path) and new_tokens: 
    embedding_layer = model.get_input_embeddings()
    if embedding_layer.weight.shape[0] > original_vocab_size: 
        embedding_layer.weight.requires_grad = True

    def mask_grad(grad):
        # grad shape: [vocab_size, hidden_dim]
        grad[:original_vocab_size].zero_()
        return grad
    
    embedding_layer.weight.register_hook(mask_grad)
    print(f"Unfrozen {len(new_tokens)} new token embeddings (indices {original_vocab_size} to {len(tokenizer)-1})")

RL 强化学习

代码入口位于 MiniOneRec/rl.py。

数据集

• SidDataset：输入历史 SID 序列，预测下一个 SID。
• RLTitle2SidDataset：Title/Description 到 SID 的任务，返回 Prompt-Completion Pairs。
• RLSeqTitle2SidDataset：输入带 Title 的交互序列预测 SID。

奖励模型

使用 SASRec 作为奖励模型的基础。

采样与奖励设计

1. 混合动态采样：由于 SID 空间较小，容易采样重复。论文提出了 Over-sample 和 Beam Search 两种方法，最终采用了 Beam Search。
2. 稀疏排序信号：以 NDCG 作为奖励，若预测正确商品则额外加分。

训练与评估

配置参数

• 商品描述编码：Qwen3-Embedding-4B。
• 分词器：RQVAE，单卡训练，Batch Size=20480，LR=1e-3，Epochs=10000。
• SFT：AdamW + Qwen2.5-Instruct，8 卡训练，单卡 Batch Size=128，10 Epochs+Early Stop，LR=3e-4，Cosine Decay。
• RL：GRPO，2 Epoch，KL 权重 β=0.1，LR=1e-5，Batch Size=512。
• 推理：Beam Search Width=16。

实验结论

1. Scaling 定律：训练与评估损失随模型增大而降低，证明模型越大越好。
2. 基线对比：LLM 系列与非 LLM 系列对比显示世界知识的重要性；Ours 与 LLM 系列对比突显了 RL 的作用。
3. 迁移性：在 Industrial 上训练并在 Office 上评估，证明了 RL 的有效性。SFT 容易过拟合特定领域，因此迁移实验中未使用 SFT。
4. 消融实验：
   • Language-SID 对齐：不做对齐 vs 只做 RL 对齐 vs 只做 SFT 对齐。结果显示完整的 Language-SID 对齐策略最佳。
   • 采样策略：TopK < 采 1.5 倍筛选 < Beam Search。
   • 奖励设计：0/1 奖励 < SASLogits（易导致 Reward Hacking） < NDCG。
   • 预训练：预训练后的模型表现更好。