MiniOneRec 开源框架技术解析：LLM 生成式推荐

RL 训练流程

数据集

• SidDataset: 输入用户历史交互 item SID 序列，预测下一个 item SID。
• RLTitle2SidDataset: title2sid 和 description2sid 任务，返回 prompt-completion pairs。
• RLSeqTitle2SidDataset: 输入用户交互序列（带 title）预测下一个 item SID。

奖励模型

使用 SASRec 作为奖励模型基础。

建模细节

框架组成

1. Tokenizer (RQVAE)
2. LLM-text 对齐（利用 LLM 的世界知识）
3. SFT next token prediction
4. RL (GRPO)

Task

序列推荐任务。先分词：用户 u 有历史交互商品序列 $H_u=[i_1, i_2, ..., i_T]$。每个商品 $i_t$ 通过 RQVAE 编码为 3 层 SID ${ c_0^{i_t}, c_1^{i_t}, c_2^{i_t} \u007d$。后训练 LLM $π_θ$ 读取历史序列预测下一个商品。推理时使用 k beams search。

Item Tokenization

采用标准 RQVAE。为避免码本坍缩，使用第一个训练 batch 的 k-means 中心作为 codebook 初始化码本。代码中包含 Sinkhorn-Knopp algorithm 代码，这也是缓解码本坍缩的 trick。

Align with LLM

对齐 LLM 世界知识和 SID 信号。包括序列推荐任务和对齐 SID 与文本描述任务。GitHub 仓库中更新了新技术 GPR-inspired SFT with Value-Aware Fine-Tuning (VAFT)，基于模拟物品价值实现加权损失，但暂无实验结果对比。

RL with verifiable rewards (RLVR)

1. 混合动态采样: SID 空间小，容易采样到相同 SID。最终采用 beam search 方法。
2. 稀疏排序信号: 使用 NDCG 作为奖励，如果是正确商品分数再加 1。

训练配置

• 商品描述: Qwen3-Embedding-4B 编码
• 分词器: RQVAE，单卡训练，batchsize=20480，lr=1e-3，epochs=10000
• SFT: AdamW，Qwen2.5-Instruct。8 卡训练，单卡 batchsize=128, 10 epochs+early stop（patience=1），lr=3e-4，cosine decay。
• RL: GRPO，2 epoch，KL 权重 β=0.1，lr=1e-5，batchsize=512
• 推理: beam search width=16

评估

使用亚马逊数据集 Office+Industrial，指标为 hitrate+NDCG。

1. Scaling: 训练 + 评估损失随模型增大而减小。
2. Baseline 对比: LLM 系列和非 LLM 系列对比说明世界知识重要性；Ours 和 LLM 系列对比说明 RL 的重要性。

Transferability

在 Industrial 上训练并在 Office 上评估，证明 RL 的有效性。未做 SFT 是因为 SFT 容易领域过拟合影响迁移。

消融实验

• Language-SID 重要性: 对比不做对齐、仅 RL 对齐、仅 SFT 对齐等不同配置。
• 采样策略: 直接 topk、采 1.5 倍 budget+ 筛选、beamsearch（效果最好）。
• 奖励设计: 01 奖励、SASRec 模型 logits（效果差，存在 reward hacking）、NDCG。
• 是否预训练: 预训练效果更好。

相关代码

sft_gpr 模块实现了 GPR-inspired SFT with Value-Aware Fine-Tuning (VAFT)，基于模拟物品价值实现加权损失。