LFM2-1.2B：面向边缘设备的混合模型整理

<|startoftext|><|im_start|>system List of tools: <|tool_list_start|>[{"name": "get_candidate_status", "description": "Retrieve candidate status"}]<|tool_list_end|><|im_start|>user What is the current status of candidate ID 12345?<|im_end|> <|im_start|>assistant <|tool_call_start|>[get_candidate_status(candidate_id="12345")]<|tool_call_end|>Checking the response...<|im_start|>tool <|tool_response_start|>{"candidate_id": "12345", "status": "Interview Scheduled", "position": "Software Engineer"}<|tool_response_end|> <|im_start|>assistant The candidate with ID 12345 is currently in the "Interview Scheduled" stage for the position.

架构

LFM2 是混合模型，采用乘法门控和短卷积结构，包含 10 个双门控短程 LIV 卷积块和 6 个分组查询注意力（GQA）块。

预训练数据混合

预训练数据大约由 75% 的英语数据、20% 的多语言数据和 5% 的代码数据组成，来源包括网络内容和授权材料。

训练方法

• 使用 LFM1-7B 作为教师模型做知识蒸馏。
• 在 50% 的下游任务和 50% 的通用领域数据上做大规模 SFT（监督微调）。
• 使用长度归一化和半在线数据集的自定义 DPO（直接偏好优化）。
• 通过迭代模型合并继续提升效果。

三、如何运行 LFM2

要运行 LFM2，需要从源代码安装 Hugging Face transformers（v4.54.0.dev0）。更新或安装命令如下：

pip install "transformers @ git+https://github.com/huggingface/transformers.git@main"

下面这段 Python 代码可以用 transformers 生成答案：

from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载模型和分词器
model_id = "LiquidAI/LFM2-1.2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="bfloat16",
    trust_remote_code=True
    # attn_implementation="flash_attention_2" <- 在兼容的 GPU 上取消注释
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 生成答案
prompt = "What is C. elegans?"
input_ids = tokenizer.apply_chat_template(
    [{"role":"user","content": prompt}], 
    add_generation_prompt=True, 
    return_tensors="pt", 
    tokenize=True
).to(model.device)

output = model.generate(
    input_ids, 
    do_sample=True, 
    temperature=0.3, 
    min_p=0.15, 
    repetition_penalty=1.05, 
    max_new_tokens=512
)
print(tokenizer.decode(output[0], skip_special_tokens=False))

输出示例：

<|startoftext|><|im_start|>user What is C. elegans?<|im_end|> <|im_start|>assistant C. elegans, also known as Caenorhabditis elegans, is a small, free-living nematode worm (roundworm) that belongs to the phylum Nematoda.

另外也可以直接用提供的 Colab 笔记本跑通和测试模型。

四、如何微调 LFM2

如果是具体业务场景，微调基本是绕不开的。官方给了两个相关笔记本资源：

• SFT+LoRA：包含 LoRA 适配器的监督微调（SFT）笔记本，可在 TRL 中使用。
• DPO：在 TRL 中使用直接偏好优化（DPO）进行偏好对齐。

五、性能表现

LFM2 在不同评估类别里，和同尺寸模型相比有一定优势，不过这个优势并不均匀。它在小模型里算是比较均衡的一类，尤其是多语言和指令遵循部分更值得看。

1. 自动化基准测试

在多个基准测试中，LFM2-1.2B、LFM2-700M 和 LFM2-350M 与其他模型的对比如下：

2. LLM-as-a-Judge

• LFM2-1.2B 对 Llama-3.2-1B-Instruct 的胜率是 78.55%，平局率是 20.65%。
• 对 gemma-3-1b-it 的胜率是 61.03%，平局率是 37.93%。
• 对 Qwen3-1.7B 的胜率是 50.03%，平局率是 49.31%。
• LFM2-350M 对 Qwen3-0.6B 的胜率是 46.51%，平局率是 51.15%。
• LFM2-700M 对 Qwen3-0.6B 的胜率是 63.14%，平局率是 34.68%。

3. 推理性能

• 在 CPU 上使用 ExecuTorch 做吞吐量比较时，不同上下文长度下，LFM2-350M、LFM2-700M 和 LFM2-1.2B 的预填充和解码性能，与 Phi-1.5、Qwen3-1.7B、Llama-3.2-1B-Instruct 和 Qwen3-0.6B 等模型进行了对比。
• 在 CPU 上使用 Llama.cpp 做吞吐量比较时，不同序列长度下，LFM2-350M、LFM2-700M 和 LFM2-1.2B 的预填充和解码性能，也与 Gemma3-1B、Qwen3-1.7B、Llama-3.2-1B-Instruct 和 Qwen3-0.6B 等模型进行了对比。

六、核心技术汇总