解读了 MiniOneRec 开源推荐框架，该框架结合 SID 构建（RQVAE）、SFT（0.5b~7b）与 RL（受限解码 + 混合奖励）。核心内容包括序列推荐任务的 SID 分词、LLM 世界知识与 SID 信号的对齐、以及基于 GRPO 的强化学习优化。实验表明模型具备 Scaling 特性，且对齐 SID-text 至关重要。训练细节涵盖 Qwen 系列模型、AdamW 优化器及特定超参数配置。评估显示 RL 相比 SFT 具有更好的迁移能力，Beam Search 采样策略优于 TopK，NDCG 奖励设计有效避免了 Reward Hacking。
代码路径：MiniOneRec/data.py
类 Tokenizer：给普通的分词器多包装了一层，可以处理连续的 bos/eos 的特殊字符串。
SidSFTDataset
多样化的指令 任务：输入用户最近交互过的 item 列表，预测用户下一个交互的 item
SidItemFeatDataset
sid2title 或者 title2sid 任务
FusionSeqRecDataset
带意图识别的商品推荐
代码入口：MiniOneRec/sft.py
SID 索引示例：MiniOneRec/data/Amazon/index/Industrial_Scientific.index.json
是一个 json 文件，{"0": ["<a_236>", "<b_231>", "<c_226>"], "1": ["<a_42>", "<b_80>", "<c_160>"],...}
indices 是一个字典，如 indices["0"]=["<a_236>", "<b_231>", "<c_226>"]
函数 get_new_tokens 返回 self.new_tokens，就是返回 SID 的子 token 集合。
先冻结所有参数，然后打开 embedding 参数的 required_grad，然后通过 register_hook 来控制哪些 token 的梯度保留
embedding_layer.weight[:original_vocab_size].requires_grad=False是不行的，因为不能直接对张量（Tensor）的切片（Slice）设置 requires_grad 属性。
print("Freezing LLM parameters, only training new token embeddings")
for param in model.parameters():
param.requires_grad = False
if sid_index_path and os.path.exists(sid_index_path) and new_tokens:
embedding_layer = model.get_input_embeddings()
if embedding_layer.weight.shape[0] > original_vocab_size:
embedding_layer.weight.requires_grad = True
def mask_grad(grad):
# grad shape: [vocab_size, hidden_dim]
grad[:original_vocab_size].zero_()
return grad
embedding_layer.weight.register_hook(mask_grad)
print(f"Unfrozen {len(new_tokens)} new token embeddings "
f"(indices {original_vocab_size} to {len(tokenizer)-1})")
代码入口：MiniOneRec/rl.py
SidDataset：输入用户历史交互的 item SID 序列，预测下一个 item 的 SID RLTitle2SidDataset：title2sid 和 description2sid 任务，返回 prompt-completion pairs RLSeqTitle2SidDataset：输入用户交互序列（带 title）来预测下一个 item 的 SID
SASRec
做了一个框架：SID 构建（RQVAE）+SFT（0.5b~7b）+RL（受限解码 + 混合奖励） 实验证明了 llm 的 Scaling 特点，模型越大越好。 从图上来看，对齐 SID-text 是挺重要的。
框架：
序列推荐任务 先分词：一个用户 u，有一个时间顺序的历史交互商品序列 Hu=[i1,i2, …, iT]。每个商品 it 通过 RQVAE 编码为一个 3 层的 SID {c_0^{i_t}, c_1^{i_t}, c_2^{i_t}}。 后训练：LLM π_θ，读取历史序列预测下一个商品。推理的时候 k beams search。
标准 RQVAE 为了避免码本坍缩使用第一个训练 batch 的 k-means 中心作为 codebook 的初始化码本 论文里没写，但是我看代码里有 Sinkhorn-Knopp algorithm 代码（LC-Rec 也做了），这也是缓解码本坍缩的 trick。
对齐 LLM 世界知识和 SID 信号。 任务一：序列推荐任务 任务二：对齐 SID 和文本描述任务。
实际上在 github 里更新了新技术： GPR-inspired SFT with Value-Aware Fine-Tuning (VAFT): implements weighted loss based on simulated item value https://github.com/AkaliKong/MiniOneRec/blob/main/sft_gpr.py 相当于每条样本有一个数值表示好坏，然后对损失做加权。
混合动态采样采样： 论文说了两个方法。方法 1 是 over-sample 疯狂采，然后构造一个 SID 样本尽量不重复的集合。方法 2 是 beam search。它的最终方法是 beam search，没用上方法 1。
稀疏排序信号 用 NDCG 作为奖励 如果是正确商品，分数再加 1
商品描述：Qwen3-Embedding-4B 编码 分词器：RQVAE 单卡训练，batchsize=20480，lr=1e-3，epochs=10000 SFT：AdamW，Qwen2.5-Instruct。8 卡训练，单卡 batchsize=128,10 epochs+early stop（patience=1），lr=3e-4，cosine decay。 RL：GRPO，2epoch，KL 权重β不变=0.1，lr=1e-5，batchsize=512 推理：beam search width=16
亚马逊数据集 Office+Industrial。hitrate+NDCG 作为指标。
SID pattern discovery 实验：在 Industrial 上训在 Office 上评估 证明 RL 的有效 没做 SFT 是因为 SFT 很容易领域过拟合影响迁移。
language-SID 的重要性：
采样：
奖励设计：
是否预训练：预训练效果更好
https://github.com/AkaliKong/MiniOneRec/blob/main/sft_gpr.py GPR-inspired SFT with Value-Aware Fine-Tuning (VAFT): implements weighted loss based on simulated item value
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online