LLaMA-Factory 快速入门（五）：终端命令实操记录

文章目录

• 1. 引言
• 2. 命令使用
  • 2.1 version（显示版本）
  • 2.2 webui（启动 LlamaBoard 界面）
  • 2.3 chat（命令行聊天）
  • 2.4 webchat（网页聊天）
  • 2.5 api（启动 API 服务）
  • 2.6 train（训练模型 ）
  • 2.7 eval（评估模型 ）
  • 2.8 export（导出模型 ）
• 3. 总结

1. 引言

在使用 LLaMA-Factory 进行大模型的微调、评估和部署时，llamafactory-cli 是最常用的命令行工具。它不仅支持命令行对话、训练、评估，还提供了网页界面、API 服务等多种交互方式。

本文将详细介绍 llamafactory-cli 的常用命令及其使用方法，帮助你快速上手并高效完成相关任务。

2. 命令使用

2.1 version（显示版本）

功能：显示 LLaMA-Factory 的版本信息，验证安装是否成功

执行命令：

llamafactory-cli version 

执行后的效果如下：

2.2 webui（启动 LlamaBoard 界面）

功能：启动可视化界面 LlamaBoard，提供图形化操作入口

执行命令：

llamafactory-cli webui 

执行后返回：

浏览器访问：http://127.0.0.1:7860

2.3 chat（命令行聊天）

功能：接在终端中与模型进行对话，无需启动网页

最小化命令：

llamafactory-cli chat \--model_name_or_path 模型名称或本地路径 \--template 模板名称 

例如：

llamafactory-cli chat \--model_name_or_path /Users/yanglinwei/.cache/modelscope/hub/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B \--template deepseekr1 

执行效果如下：

当然也可以从模型训练完的chekcpoint启动，命令如下：

llamafactory-cli chat \--model_name_or_path 模型名称或本地路径 \--adapter_name_or_path 训练后的路径\--template 模板名称 

例如：

llamafactory-cli chat \--model_name_or_path /Users/yanglinwei/.cache/modelscope/hub/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B \--adapter_name_or_path saves/DeepSeek-R1-1.5B-Distill/lora/cx_666_final_optimized \--template deepseekr1 

2.4 webchat（网页聊天）

功能：启动网页端聊天界面

webchat的功能跟chat命令差不多，只是webchat是给了一个web页面进行对话。最小化命令如下：

llamafactory-cli webchat \--model_name_or_path 模型名称或本地路径 \--template 模板名称 

例如：

llamafactory-cli webchat \--model_name_or_path /Users/yanglinwei/.cache/modelscope/hub/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B \--template deepseekr1 

当然也可以从模型训练完的chekcpoint启动webchat，跟chat命令差不多：

llamafactory-cli webchat \--model_name_or_path 模型名称或本地路径 \--adapter_name_or_path 训练后的路径\--template 模板名称 

2.5 api（启动 API 服务）

功能：启动 OpenAI 风格的 API 服务

最小化命令：

llamafactory-cli chat \--model_name_or_path 模型名称或本地路径 \--template 模板名称 

例如执行：

llamafactory-cli api \--model_name_or_path /Users/yanglinwei/.cache/modelscope/hub/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B \--template deepseekr1 

可以看到输出了如下信息：

浏览器访问：http://localhost:8000/docs

可以看到开放了3种API，分别是：

直接执行ListModels列出当前可用的模型，可以看见返回：

执行Create Chat Completion，示例请求内容如下：

{"model":"deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B", "messages":[{"role":"user", "content":"你好，可以自我介绍一下吗？"}], "do_sample": true, "temperature":0.7, "top_p":0.9, "n":1, "max_tokens":512, "stream":false}

可以看到返回：

2.6 train（训练模型 ）

功能：启动训练流程，对模型进行微调

详情可以参考：《LLaMA-Factory 快速入门（一）：Mac 下大模型微调与部署全流程》

2.7 eval（评估模型 ）

功能：：对训练后的模型进行性能评估

详情可以参考：《LLaMA-Factory 快速入门（一）：Mac 下大模型微调与部署全流程》

2.8 export（导出模型 ）

功能：合并 LoRA 适配器并导出最终模型

详情可以参考：《LLaMA-Factory 快速入门（一）：Mac 下大模型微调与部署全流程》

3. 总结

本文详细介绍了 LLaMA-Factory 的命令行工具 llamafactory-cli 的常用功能，包括版本检查、命令行聊天、网页聊天、可视化界面、API 服务，以及训练、评估、导出等核心操作。

• 可以先从 chat / webchat 开始，快速体验模型效果；
• 如果需要部署服务，建议使用 api 模式；
• 完整训练流程中，train → eval → export 是必经的三个步骤。

通过灵活使用这些命令，大家可以快速搭建起属于自己的大模型微调与应用环境 。