MiniOneRec 开源推荐框架技术解析

RL 训练

代码入口：MiniOneRec/rl.py

数据集

• SidDataset: 输入用户历史交互 item SID 序列，预测下一个 item 的 SID。
• RLTitle2SidDataset: title2sid 和 description2sid 任务，返回 prompt-completion pairs。
• RLSeqTitle2SidDataset: 输入用户交互序列（带 title）来预测下一个 item 的 SID。

奖励模型

使用 SASRec。

框架详解

摘要

框架包含 SID 构建（RQVAE）、SFT（0.5b~7b）、RL（受限解码 + 混合奖励）。实验证明了 LLM 的 Scaling 特点，模型越大越好。从图上看，对齐 SID-text 挺重要。

Modeling

框架流程：

1. Tokenizer（RQVAE）
2. LLM-text 对齐（利用 LLM 的世界知识）
3. SFT next token prediction
4. RL（GRPO）

Task

序列推荐任务。先分词：用户 u 有时间顺序的历史交互商品序列 $H_u=[i_1, i_2, \dots, i_T]$。每个商品 $i_t$ 通过 RQVAE 编码为一个 3 层的 SID ${c_0^{i_t}, c_1^{i_t}, c_2^{i_t}\u007d$。后训练 LLM $π_θ$，读取历史序列预测下一个商品。推理时使用 k beams search。

Item Tokenization

标准 RQVAE。为避免码本坍缩，使用第一个训练 batch 的 k-means 中心作为 codebook 的初始化码本。代码中包含 Sinkhorn-Knopp algorithm 代码，这也是缓解码本坍缩的 trick。

Align with LLM

对齐 LLM 世界知识和 SID 信号。 任务一：序列推荐任务。 任务二：对齐 SID 和文本描述任务。

注：GitHub 更新了新技术 GPR-inspired SFT with Value-Aware Fine-Tuning (VAFT)，实现了基于模拟物品价值的加权损失，但暂无实验结果。

RL with verifiable rewards (RLVR)

1. 混合动态采样（SID 空间小，容易采样到相同的 SID）。
2. 稀疏排序信号。

混合动态采样方法包括 over-sample 疯狂采并构造不重复集合，或使用 beam search。最终采用 beam search。 稀疏排序信号：用 NDCG 作为奖励，如果是正确商品，分数再加 1。

训练配置

• 商品描述：Qwen2.5-Embedding-4B 编码
• 分词器：RQVAE，单卡训练，batchsize=20480，lr=1e-3，epochs=10000
• SFT：AdamW，Qwen2.5-Instruct。8 卡训练，单卡 batchsize=128, 10 epochs+early stop（patience=1），lr=3e-4，cosine decay。
• RL：GRPO，2epoch，KL 权重β不变=0.1，lr=1e-5，batchsize=512
• 推理：beam search width=16

评估

亚马逊数据集 Office+Industrial。Hitrate+NDCG 作为指标。

1. Scaling：训练 + 评估损失随模型增大而减小。
2. Baseline 对比：LLM 系列和非 LLM 系列对比说明世界知识的重要性；Ours 和 LLM 系列对比说明 RL 的重要性。

Transferability

SID pattern discovery 实验：在 Industrial 上训在 Office 上评估，证明 RL 的有效性。未做 SFT 是因为 SFT 容易领域过拟合影响迁移。

消融实验

• Language-SID 重要性：不做对齐 vs 做对齐但不 SFT vs SFT 只做推荐任务。
• 采样：直接 topk vs 采 1.5 倍 budget+ 筛选 vs beamsearch（最好）。
• 奖励设计：01 奖励 vs SASRec logits（效果差，reward hacking）vs NDCG。
• 是否预训练：预训练效果更好。

代码补充

sft_gpr

GPR-inspired SFT with Value-Aware Fine-Tuning (VAFT)。 参考：https://github.com/AkaliKong/MiniOneRec/blob/main/sft_gpr.py