LFM2-1.2B 多语言开源边缘高效混合模型解析

LFM2-1.2B 多语言开源边缘高效混合模型解析 | 极客日志

LFM2-1.2B 模型

一、模型概述

LFM2 是由 Liquid AI 开发的新一代混合模型，专为边缘人工智能和设备端部署而设计。它在质量、速度和内存效率方面树立了新的标准。此次公开了三个经过后训练的检查点权重，分别包含 3.5 亿、7 亿和 12 亿参数。这些模型具备以下关键特性，以助力创建基于人工智能的边缘应用：

快速训练与推理：与上一代相比，LFM2 的训练速度提升了 3 倍。在 CPU 上，其解码和预填充速度是 Qwen3 的 2 倍。
最佳性能表现：在知识、数学、指令遵循以及多语言能力等多类基准测试中，LFM2 超越了同尺寸的其他模型。
新架构：LFM2 是一种新型的混合液体模型，采用乘法门控和短卷积结构。
灵活部署：该模型能够在 CPU、GPU 和 NPU 硬件上高效运行，适用于智能手机、笔记本电脑或车辆等设备的灵活部署。

二、模型细节

鉴于其较小的模型尺寸，建议对 LFM2 模型进行针对特定用例的微调，以实现性能最大化。它们特别适合用于代理任务、数据提取、RAG（检索增强生成）、创意写作和多轮对话等场景。不过，不推荐将它们用于知识密集型任务或需要编程技能的任务。

模型参数

属性	值
参数数量	1,170,340,608
层数	16（10 个卷积层 +6 个注意力层）
上下文长度	32,768 个标记
词汇表大小	65,536
精度	bfloat16
训练预算	10 万亿个标记

许可证

LFM2 采用 LFM 开放许可证 v1.0。

支持语言

支持英语、阿拉伯语、中文、法语、德语、日语、韩语和西班牙语。

生成参数

推荐使用以下参数：

temperature=0.3
min_p=0.15
repetition_penalty=1.05

聊天模板

LFM2 采用类似 ChatML 的聊天模板，示例如下：

可使用 Hugging Face transformers 中的 apply_chat_template() 函数应用该模板。

工具使用

工具使用包含四个主要步骤：

函数定义：LFM2 将 JSON 函数定义作为输入（位于 <|tool_list_start|> 和 <|tool_list_end|> 特殊标记之间的 JSON 对象），通常在系统提示中。
函数调用：LFM2 编写类似 Python 的函数调用（位于 <|tool_call_start|> 和 <|tool_call_end|> 特殊标记之间的 Python 列表），作为助手的回答。
函数执行：执行函数调用，并返回结果（位于 <|tool_response_start|> 和 <|tool_response_end|> 特殊标记之间的字符串），作为'工具'角色。
最终答案：LFM2 根据函数调用的结果，以纯文本形式回答原始用户问题。

以下是使用工具的对话示例：

<|startoftext|><|im_start|>system List of tools: <|tool_list_start|>[{"name": "get_candidate_status", "description": "Retrieve candidate status"}]<|tool_list_end|><|im_start|>user What is the current status of candidate ID 12345?<|im_end|> <|im_start|>assistant <|tool_call_start|>[get_candidate_status(candidate_id="12345")]<|tool_call_end|>Checking the response...<|im_start|>tool <|tool_response_start|>{"candidate_id": "12345", "status": "Interview Scheduled", "position": "Software Engineer"}<|tool_response_end|> <|im_start|>assistant The candidate with ID 12345 is currently in the "Interview Scheduled" stage for the position.

架构

LFM2 是一种混合模型，采用乘法门控和短卷积结构，包含 10 个双门控短程 LIV 卷积块和 6 个分组查询注意力（GQA）块。

预训练数据混合

预训练数据大约包含 75% 的英语数据、20% 的多语言数据和 5% 的代码数据，这些数据来源于网络和授权材料。

训练方法

使用 LFM1-7B 作为教师模型进行知识蒸馏。
在 50% 的下游任务和 50% 的一般领域数据上进行大规模 SFT（监督微调）。
使用长度归一化和半在线数据集的自定义 DPO（直接偏好优化）。
迭代模型合并。

三、如何运行 LFM2

要运行 LFM2，需要从源代码安装 Hugging Face transformers（v4.54.0.dev0）。可以通过以下命令进行更新或安装：

pip install "transformers @ git+https://github.com/huggingface/transformers.git@main"

以下是使用 transformers 在 Python 中生成答案的示例代码：

from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载模型和分词器
model_id = "LiquidAI/LFM2-1.2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="bfloat16",
    trust_remote_code=True
    # attn_implementation="flash_attention_2" <- 在兼容的 GPU 上取消注释
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 生成答案
prompt = "What is C. elegans?"
input_ids = tokenizer.apply_chat_template(
    [{"role":"user","content": prompt}], 
    add_generation_prompt=True, 
    return_tensors="pt", 
    tokenize=True
).to(model.device)

output = model.generate(
    input_ids, 
    do_sample=True, 
    temperature=0.3, 
    min_p=0.15, 
    repetition_penalty=1.05, 
    max_new_tokens=512
)
print(tokenizer.decode(output[0], skip_special_tokens=False))

输出示例：

还可以直接使用提供的 Colab 笔记本运行和测试模型。

四、如何微调 LFM2

建议针对具体用例对 LFM2 模型进行微调，以提升性能。以下是相关的笔记本资源：

SFT+LoRA：包含 LoRA 适配器的监督微调（SFT）笔记本，可在 TRL 中使用。
DPO：在 TRL 中使用直接偏好优化（DPO）进行偏好对齐。

五、性能表现

LFM2 在不同评估类别中超越了同尺寸的其他模型。

1. 自动化基准测试

在多个基准测试中，LFM2-1.2B、LFM2-700M 和 LFM2-350M 等模型与其他模型的性能对比如下：

模型	MMLU	GPQA	IFEval	IFBench	GSM8K	MGSM	MMMLU
LFM2-350M	43.43	27.46	65.12	16.41	30.1	29.52	37.99
LFM2-700M	49.9	28.48	72.23	20.56	46.4	45.36	43.28
LFM2-1.2B	55.23	31.47	74.89	20.7	58.3	55.04	46.73
Qwen3-0.6B	44.93	22.14	64.24	19.75	36.47	41.28	30.84
Qwen3-1.7B	59.11	27.72	73.98	21.27	51.4	66.56	46.51
Llama-3.2-1B-Instruct	46.6	28.84	52.39	16.86	35.71	29.12	38.15
gemma-3-1b-it	40.08	21.07	62.9	17.72	59.59	43.6	34.43

2. LLM-as-a-Judge

LFM2-1.2B 与其他模型的胜负对比：
- 对 Llama-3.2-1B-Instruct：胜率 78.55%，平局率 20.65%。
- 对 gemma-3-1b-it：胜率 61.03%，平局率 37.93%。
- 对 Qwen3-1.7B：胜率 50.03%，平局率 49.31%。
LFM2-350M 和 LFM2-700M 与 Qwen3-0.6B 的胜负对比：
- LFM2-350M：胜率 46.51%，平局率 51.15%。
- LFM2-700M：胜率 63.14%，平局率 34.68%。

3. 推理性能

在 CPU 上使用 ExecuTorch 进行吞吐量比较：
- 在不同上下文长度下，LFM2-350M、LFM2-700M 和 LFM2-1.2B 的预填充和解码性能与 Phi-1.5、Qwen3-1.7B、Llama-3.2-1B-Instruct 和 Qwen3-0.6B 等模型进行了对比。
在 CPU 上使用 Llama.cpp 进行吞吐量比较：
- 在不同序列长度下，LFM2-350M、LFM2-700M 和 LFM2-1.2B 的预填充和解码性能与 Gemma3-1B、Qwen3-1.7B、Llama-3.2-1B-Instruct 和 Qwen3-0.6B 等模型进行了对比。

六、核心技术汇总

核心架构

LFM2-1.2B 多语言开源边缘高效混合模型解析

更多推荐文章

相关免费在线工具

LFM2-1.2B 模型

一、模型概述

二、模型细节

模型参数

许可证

支持语言

生成参数

聊天模板

工具使用

架构

预训练数据混合

训练方法

三、如何运行 LFM2

四、如何微调 LFM2

五、性能表现

1. 自动化基准测试

2. LLM-as-a-Judge

3. 推理性能

六、核心技术汇总

LFM2-1.2B 多语言开源边缘高效混合模型解析

微信扫一扫，关注极客日志

更多推荐文章

相关免费在线工具

LFM2-1.2B 模型

一、模型概述

二、模型细节

模型参数

许可证

支持语言

生成参数

聊天模板

工具使用

架构

预训练数据混合

训练方法

三、如何运行 LFM2

四、如何微调 LFM2

五、性能表现

1. 自动化基准测试

2. LLM-as-a-Judge

3. 推理性能

六、核心技术汇总