MiniOneRec 论文解读：生成式推荐框架

代码实现

代码结构

• 数据：MiniOneRec/data.py

  • Tokenizer：给普通分词器多包装一层，处理连续的 bos/eos 特殊字符串。
  • SidSFTDataset：输入用户最近交互过的 item 列表，预测用户下一个交互的 item。
  • SidItemFeatDataset：sid2title 或者 title2sid 任务。
  • FusionSeqRecDataset：带意图识别的商品推荐。

• SFT：MiniOneRec/sft.py

  1. 运行 train.py，传入要训练的主干 LLM 即 base_model。
  2. 传入 SID token，MiniOneRec 是传入到了普通 tokens 中，而非 special tokens 中。
  3. 考虑是否冻结 LLM 自带的 token 的 emb 和各种参数，只训练新传入的 SID 的 token emb。
  4. 处理数据集，有三种类型：SidSFTDataset、SidItemFeatDataset、FusionSeqRecDataset。
  5. 训练。

TokenExtender: SID

• SID 索引示例：MiniOneRec/data/Amazon/index/Industrial_Scientific.index.json
• 是一个 json 文件，{"0": ["<a_236>", "<b_231>", "<c_226>"], ...}。
• 函数 get_new_tokens 返回 self.new_tokens，就是返回 SID 的子 token 集合。

如何只对新 token 的 emb 做训练 先冻结所有参数，然后打开 embedding 参数的 requires_grad，然后通过 register_hook 来控制哪些 token 的梯度保留。

print("Freezing LLM parameters, only training new token embeddings")
for param in model.parameters():
    param.requires_grad = False

if sid_index_path and os.path.exists(sid_index_path) and new_tokens:
    embedding_layer = model.get_input_embeddings()
    if embedding_layer.weight.shape[0] > original_vocab_size:
        embedding_layer.weight.requires_grad = True

def mask_grad(grad):
    # grad shape: [vocab_size, hidden_dim]
    grad[:original_vocab_size].zero_()
    return grad

embedding_layer.weight.register_hook(mask_grad)
print(f"Unfrozen {len(new_tokens)} new token embeddings "
      f"(indices {original_vocab_size} to {len(tokenizer)-1})")

RL 部分

代码入口：MiniOneRec/rl.py

• 数据集
  • SidDataset：输入用户历史交互的 item SID 序列，预测下一个 item 的 SID。
  • RLTitle2SidDataset：title2sid 和 description2sid 任务，返回 prompt-completion pairs。
  • RLSeqTitle2SidDataset：输入用户交互序列（带 title）来预测下一个 item 的 SID。
• 奖励模型：SASRec。

SFT_GPR

MiniOneRec/sft_gpr.py GPR-inspired SFT with Value-Aware Fine-Tuning (VAFT)：实现了基于模拟物品价值的加权损失。