MiniOneRec 开源推荐框架论文解读

RL 阶段

代码入口：MiniOneRec/rl.py

数据集

SidDataset：输入用户历史交互的 item SID 序列，预测下一个 item 的 SID RLTitle2SidDataset：title2sid 和 description2sid 任务，返回 prompt-completion pairs RLSeqTitle2SidDataset：输入用户交互序列（带 title）来预测下一个 item 的 SID

奖励模型

SASRec

框架概述

摘要

做了一个框架：SID 构建（RQVAE）+SFT（0.5b~7b）+RL（受限解码 + 混合奖励） 实验证明了 llm 的 Scaling 特点，模型越大越好。 从图上来看，对齐 SID-text 是挺重要的。

Introduction/Related Work 略

Modeling

框架：

1. tokenizer（RQVAE）
2. LLM-text 对齐（利用 llm 的世界知识）
3. SFT next token prediction
4. RL（GRPO）

Task

序列推荐任务 先分词：一个用户 u，有一个时间顺序的历史交互商品序列 Hu=[i1,i2, …, iT]。每个商品 it 通过 RQVAE 编码为一个 3 层的 SID {c_0^{i_t}, c_1^{i_t}, c_2^{i_t}}。 后训练：LLM π_θ，读取历史序列预测下一个商品。推理的时候 k beams search。

Item Tokenization

标准 RQVAE 为了避免码本坍缩使用第一个训练 batch 的 k-means 中心作为 codebook 的初始化码本 论文里没写，但是我看代码里有 Sinkhorn-Knopp algorithm 代码（LC-Rec 也做了），这也是缓解码本坍缩的 trick。

Align with LLM

对齐 LLM 世界知识和 SID 信号。 任务一：序列推荐任务 任务二：对齐 SID 和文本描述任务。

实际上在 github 里更新了新技术： GPR-inspired SFT with Value-Aware Fine-Tuning (VAFT): implements weighted loss based on simulated item value https://github.com/AkaliKong/MiniOneRec/blob/main/sft_gpr.py 相当于每条样本有一个数值表示好坏，然后对损失做加权。

RL with verifiable rewards (RLVR)

1. 混合动态采样（SID 空间小，容易采样到相同的 SID）
2. 稀疏排序信号

混合动态采样采样： 论文说了两个方法。方法 1 是 over-sample 疯狂采，然后构造一个 SID 样本尽量不重复的集合。方法 2 是 beam search。它的最终方法是 beam search，没用上方法 1。

稀疏排序信号 用 NDCG 作为奖励 如果是正确商品，分数再加 1

训练

商品描述：Qwen3-Embedding-4B 编码 分词器：RQVAE 单卡训练，batchsize=20480，lr=1e-3，epochs=10000 SFT：AdamW，Qwen2.5-Instruct。8 卡训练，单卡 batchsize=128,10 epochs+early stop（patience=1），lr=3e-4，cosine decay。 RL：GRPO，2epoch，KL 权重β不变=0.1，lr=1e-5，batchsize=512 推理：beam search width=16

评估

亚马逊数据集 Office+Industrial。hitrate+NDCG 作为指标。

1. Scaling：训练 + 评估损失：模型越大损失越小
2. baseline 对比：LLM 系列和非 LLM 系列对比，说明世界知识的重要；Ours 和 LLM 系列对比，说明 RL 的重要

Transferablity

SID pattern discovery 实验：在 Industrial 上训在 Office 上评估 证明 RL 的有效 没做 SFT 是因为 SFT 很容易领域过拟合影响迁移。

消融

language-SID 的重要性：

1. 不做 language-SID 对齐
2. 做 language-SID 对齐，但不 SFT 推荐任务，只在 RL 上做推荐任务
3. SFT 只做推荐任务，RL 做 language-SID 对齐

采样：

1. 直接 topk
2. 采 1.5 倍 budget+筛选
3. beamsearch：最好

奖励设计：

1. 01 奖励
2. SASRec 模型 logits 【效果很差 reward hacking，SASRec 协同信息和推荐信息不一致】
3. NDCG

是否预训练：预训练效果更好

代码补充

sft_gpr

https://github.com/AkaliKong/MiniOneRec/blob/main/sft_gpr.py GPR-inspired SFT with Value-Aware Fine-Tuning (VAFT): implements weighted loss based on simulated item value