在使用 LLaMA-Factory 进行大模型微调、评估和部署时,llamafactory-cli 是最常用的命令行工具。它不仅能处理命令行对话、训练和评估,还提供了网页界面和 API 服务等多种交互方式。下面我们来梳理一下常用指令的实际用法。
命令概览
| 命令 | 功能简述 |
|---|---|
| llamafactory-cli api | 启动 OpenAI 风格的 API 服务 |
| llamafactory-cli chat | 在命令行中启动聊天界面 |
| llamafactory-cli eval | 评估模型 |
| llamafactory-cli export | 合并 LoRA 适配器并导出模型 |
| llamafactory-cli train | 训练模型 |
| llamafactory-cli webchat | 启动网页聊天界面 |
| llamafactory-cli webui | 启动 LlamaBoard 界面 |
| llamafactory-cli version | 显示版本信息 |
版本与界面
版本检查
验证安装是否成功,直接运行:
llamafactory-cli version
执行后终端会返回当前版本号,确认环境无误。
可视化界面
启动 LlamaBoard 图形化操作入口,适合不想敲命令的同学:
llamafactory-cli webui
浏览器访问 http://127.0.0.1:7860 即可进入管理后台,所有配置都能通过点击完成。
对话与推理
命令行聊天
无需启动网页,直接在终端与模型对话,适合快速测试。基础用法如下:
llamafactory-cli chat --model_name_or_path <模型路径> --template <模板名称>
例如加载本地 DeepSeek 模型:
llamafactory-cli chat --model_name_or_path ~/.cache/modelscope/hub/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --template deepseekr1
这里要注意,如果模型已经训练过,也可以指定 adapter 路径加载 checkpoint,这样能直接复用之前的微调成果:
llamafactory-cli chat --model_name_or_path <基座模型> --adapter_name_or_path <训练后的 LoRA 路径> --template <模板名称>
网页聊天
功能类似,但提供 Web 页面交互体验,输入输出更直观:
llamafactory-cli webchat --model_name_or_path <模型路径> --template <模板名称>
同样支持加载训练后的 checkpoint 进行对话测试,实际运行时注意端口占用情况。

