本地部署LLaMA-Factory并微调Qwen2.5模型

Ne0inhk

— 10 min read

本地部署LLaMA-Factory并微调Qwen2.5模型

在大模型落地应用日益深入的今天，如何快速、低成本地定制一个符合特定领域需求的语言模型，已成为开发者和企业面临的核心课题。通义千问团队最新发布的 Qwen2.5 系列，凭借其强大的中文理解能力和长上下文支持（最高32K），迅速成为中文场景下的热门选择。然而，开箱即用的通用模型往往难以满足垂直领域的专业表达与任务逻辑。

这时候，轻量级微调就成了破局关键——无需从头训练千亿参数，只需通过少量高质量数据引导，就能让模型“学会”新技能。而 LLaMA-Factory 正是当前最成熟的大模型微调一体化框架之一，它将原本复杂的训练流程封装为可视化的操作界面，极大降低了技术门槛。

本文将以 Qwen2.5-7B-Instruct 模型为例，完整演示如何在本地环境中使用 LoRA/QLoRA 技术对其进行高效微调，并最终部署为高性能 API 服务。整个过程无需编写复杂代码，适合有一定 Linux 和 Python 基础的开发者实操。

部署 LLaMA-Factory：搭建你的私有化微调平台

LLaMA-Factory 被誉为“大语言模型微调的一站式工厂”，支持包括 Qwen、LLaMA、Baichuan、ChatGLM 在内的 100+ 主流架构模型，覆盖数据预处理、高效微调、训练监控到模型导出与部署的全流程。其最大亮点是内置了直观易用的 WebUI 界面，开发者可以通过图形化操作完成全部配置。

首先克隆项目源码：

git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory

建议创建独立 Conda 环境以避免依赖冲突，推荐使用 Python 3.11：

conda create -n llama_factory python=3.11 -y conda activate llama_factory

安装核心依赖项，包含 PyTorch 及评估组件：

pip install -e '.[torch,metrics]'

安装完成后，务必验证 GPU 是否正常识别：

import torch print(torch.cuda.is_available()) # 应输出 True print(torch.__version__) print(torch.cuda.current_device()) print(torch.cuda.get_device_name(0)) # 如 NVIDIA A100 或 RTX 4090

若以上命令均能正确执行，则说明 CUDA 环境已就绪，可以进入下一步。

获取 Qwen2.5 模型权重：加速下载策略

Hugging Face 官方仓库中托管了 Qwen/Qwen2.5-7B-Instruct 的公开权重，但由于文件体积较大（约15GB），直接下载可能较慢。为此，可启用 hf_transfer 扩展来实现多线程并行传输，显著提升速度。

先安装增强工具包：

pip install "huggingface_hub[hf_transfer]"

然后设置环境变量激活高速模式：

export HF_HUB_ENABLE_HF_TRANSFER=1

开始下载模型：

huggingface-cli download Qwen/Qwen2.5-7B-Instruct \ --local-dir models/Qwen2.5-7B-Instruct \ --local-dir-use-symlinks False
⚠️ 注意事项：若磁盘空间有限，也可选用更小的 Qwen2.5-1.8B-Instruct 进行实验。下载路径需保持与后续配置一致，建议统一放在 models/ 目录下。

下载完成后，该模型即可在 WebUI 中直接加载使用。

微调实战：从数据准备到训练启动

LLaMA-Factory 支持多种微调方式，其中 LoRA 和 QLoRA 是资源受限场景下的首选方案：

  • LoRA（Low-Rank Adaptation）：冻结原始模型权重，在注意力层插入低秩矩阵进行增量学习，显存占用仅为全参微调的30%左右。
  • QLoRA：在 LoRA 基础上引入 4-bit 量化，进一步压缩显存消耗，单张 24GB 显卡即可运行 7B 级别模型。

对于大多数消费级设备，推荐采用 QLoRA + bfloat16 组合，在性能与效率之间取得最佳平衡。

准备自定义训练数据集

虽然框架内置了多个通用数据集（位于 data/ 目录），但要实现领域适配，仍需准备专属语料。我们以中文指令遵循任务为例，构造一个多轮对话格式的数据集。

创建工作目录并获取示例数据：

mkdir workspace && cd workspace wget https://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/tutorials/llama_factory/data.zip unzip data.zip

你会看到一个名为 alpaca_zh.json 的文件，结构如下：

[ { "instruction": "解释什么是机器学习", "input": "", "output": "机器学习是……" }, ... ]

将其复制到主项目的 data/ 目录中：

cp alpaca_zh.json ../data/

接着注册该数据集，编辑或创建 data/dataset_info.json：

{ "my_alpaca_zh": { "file_name": "alpaca_zh.json", "columns": { "instruction": "instruction", "input": "input", "output": "output" } } }

保存后，你就可以在 WebUI 的下拉菜单中通过名称 my_alpaca_zh 调用这个数据集。

配置微调参数：兼顾效果与资源

启动图形化界面：

llamafactory-cli webui

浏览器访问 http://localhost:7860，右上角可切换为中文界面。

进入「训练」标签页，填写以下关键配置：

参数项推荐值说明
模型路径models/Qwen2.5-7B-Instruct刚才下载的模型目录
微调方法qlora推荐节省显存
数据集my_alpaca_zh自定义注册的数据集
输出目录train_qwen2.5适配器权重保存路径

展开「高级设置」进行精细化调整：

  • 学习率（Learning Rate）: 2e-4
  • 批次大小（Batch Size）: 4
  • 梯度累积步数: 4 → 实际 batch size = 4 × 4 = 16
  • 训练轮数（Epochs）: 3
  • 序列长度（Max Length）: 2048
  • LoRA Rank: 64
  • LoRA Alpha: 128
  • Dropout: 0.1
  • Target Modules: all-linear 或留空自动识别
💡 工程提示：Qwen2.5 使用的是 q_proj, k_proj, v_proj, o_proj 等命名规范，LLaMA-Factory 能自动识别这些线性层并挂载 LoRA 模块，无需手动指定。

若启用 QLoRA，还需额外勾选：

  • Bits: 4
  • Quantization Method: bitsandbytes

确认无误后，点击「预览命令」可查看底层实际执行的 CLI 指令，便于后期自动化脚本调用。

启动训练任务：观察训练动态

点击「开始」按钮，系统会自动启动训练流程。首次运行时会进行 token 化缓存构建，稍等片刻即可进入正式训练阶段。

WebUI 实时展示以下信息：

  • 当前 epoch / step 进度
  • 学习率变化曲线
  • Loss 下降趋势（理想情况应平稳收敛）
  • GPU 显存占用情况（QLoRA 通常控制在 18~22GB）

典型训练耗时约 1~2 小时（取决于数据量和硬件性能）。结束后，LoRA 权重将保存在 train_qwen2.5 目录中，主要包含两个文件：

  • adapter_model.bin：微调得到的增量权重
  • adapter_config.json：LoRA 配置元信息

这些文件体积通常只有几十 MB，便于传输和版本管理。

效果验证：评估与人工测试双管齐下

训练完成后，不能仅凭 loss 曲线判断模型优劣，必须结合定量评估与定性测试。

自动化指标评估

切换至「评估与预测」标签页：

  • 检查点路径：选择 train_qwen2.5
  • 数据集：若有验证集可选 eval 分割
  • 输出目录：设为 eval_qwen2.5

点击「开始」运行评估，系统将逐条生成 response 并计算 ROUGE-L、BLEU 等自然语言生成指标。

例如输出结果：

ROUGE-1: 0.62 | ROUGE-2: 0.45 | ROUGE-L: 0.58

其中 ROUGE-L 衡量最长公共子序列匹配度，分数越高表示生成文本与参考答案语义越接近，反映模型的理解能力更强。

当然，这类指标仅供参考，尤其对创意类任务（如写诗、讲故事）敏感度较低。

人机对话测试：真实体验微调成果

真正检验模型是否“学到位”的，还是实际对话表现。

切换至「对话」标签页：

  • 设置「适配器路径」为 train_qwen2.5
  • 点击「加载模型」

等待加载完毕后，即可在聊天框中提问。比如尝试输入：

“请用李白的风格写一首关于春天的诗”

观察回复是否具有古风意境、押韵工整、意象丰富。你可以反复对比微调前后模型的表现差异——清除适配器路径后重新加载原始模型，就能立刻切换回“出厂状态”。

这种即时反馈机制，极大提升了调试效率。

导出融合模型：迈向生产部署的第一步

尽管 LoRA 权重小巧灵活，但在生产环境中通常希望获得一个独立完整的模型文件，方便封装和分发。

LLaMA-Factory 提供了「模型导出」功能，可将基础模型与 LoRA 增量权重合并成标准 Hugging Face 格式的单一模型。

进入「导出」标签页：

  • 模型路径：models/Qwen2.5-7B-Instruct
  • 适配器路径：train_qwen2.5
  • 导出目录：merged_qwen2.5
  • 数据类型：bf16 或 fp16（根据部署环境选择）

点击「开始导出」，系统会执行权重融合操作。完成后你将得到一个标准的 HF 模型目录，包含 config.json、model.safetensors 等文件。

该模型可用于：

  • 本地 Transformers 加载
  • Docker 容器打包
  • 上传至 Hugging Face Hub 共享
  • 私有化 API 服务部署

使用 vLLM 部署高吞吐推理服务

光有模型还不够，高效的推理引擎才是服务上线的关键。原生 Transformers 推理存在批处理效率低、显存浪费等问题，而 vLLM 凭借 PagedAttention 和 连续批处理（Continuous Batching） 技术，实现了高达10倍以上的吞吐提升。

先安装 vLLM 支持：

pip install -e '.[vllm]'

启动 OpenAI 兼容的 API 服务：

VLLM_WORKER_MULTIPROC_METHOD=spawn \ vllm serve merged_qwen2.5 \ --host 0.0.0.0 \ --port 8000 \ --served-model-name qwen2.5-finetuned \ --tensor-parallel-size 4 \ --gpu-memory-utilization 0.95 \ --max-model-len 32768 \ --trust-remote-code \ --api-key sk-llama-factory-demo
📌 关键参数说明：--tensor-parallel-size: 多 GPU 并行数量，需与实际可用 GPU 数匹配--max-model-len: 最大上下文长度，Qwen2.5 支持 32K--trust-remote-code: 必须开启，因 Qwen 使用自定义模型类

服务启动后，可通过标准 OpenAI 客户端调用：

from openai import OpenAI client = OpenAI( base_url="http://localhost:8000/v1", api_key="sk-llama-factory-demo" ) response = client.chat.completions.create( model="qwen2.5-finetuned", messages=[{"role": "user", "content": "你好，请介绍一下你自己"}] ) print(response.choices[0].message.content)

即可获得微调后模型的响应，完全兼容现有生态工具链。

创建自动化启动脚本：简化日常运维

为了避免每次重复激活环境和输入命令，建议创建一键启动脚本。

新建文件 start_llama_factory.sh：

#!/bin/bash # 加载 Conda 环境 eval "$(/root/miniconda3/bin/conda shell.bash hook)" conda activate llama_factory # 设置环境变量 export DISABLE_VERSION_CHECK=1 export PYTORCH_NVML_BASED_CUDA_CHECK=1 export CUDA_VISIBLE_DEVICES=0,1,2,3 # 指定使用的 GPU 编号 # 启动 WebUI llamafactory-cli webui --host 0.0.0.0 --port 7860

赋予执行权限：

chmod +x start_llama_factory.sh

此后只需运行：

./start_llama_factory.sh

即可快速启动整个微调平台，极大提升开发效率。

这套基于 LLaMA-Factory + Qwen2.5 + vLLM 的技术组合，真正实现了“轻量微调、快速迭代、高效部署”的闭环。无论是用于科研探索、产品原型验证，还是企业级知识库问答系统的构建，都能提供强大支撑。

未来还可在此基础上拓展更多方向：

  • 引入真实业务数据替代示例数据集
  • 尝试 DPO（Direct Preference Optimization）进行偏好对齐
  • 结合 RAG 架构打造知识增强型智能体
  • 将服务容器化，集成进 Kubernetes 编排体系

当大模型不再只是云端黑盒，而是可定制、可掌控的生产力工具时，真正的智能化变革才刚刚开始。

Read more

Flutter 组件 globe_cli 的适配 鸿蒙Harmony 实战 - 驾驭全球化云原生部署、实现鸿蒙端 Serverless 一键发布与跨地域加速方案

Flutter 组件 globe_cli 的适配 鸿蒙Harmony 实战 - 驾驭全球化云原生部署、实现鸿蒙端 Serverless 一键发布与跨地域加速方案

欢迎加入开源鸿蒙跨平台社区：https://openharmonycrossplatform.ZEEKLOG.net Flutter 组件 globe_cli 的适配 鸿蒙Harmony 实战 - 驾驭全球化云原生部署、实现鸿蒙端 Serverless 一键发布与跨地域加速方案 前言 在鸿蒙（OpenHarmony）生态走向国际化的新征程中，开发者面临的一个现实难题是：如何将原本适配国内环境的后端服务，以极低的成本、极高的速度部署到全球范围内的边缘节点？如何在没有专业运维团队支持的情况下，实现鸿蒙应用后端服务的“全球一键分发”？ Serverless（无服务器架构）作为当代的开发范式，正逐渐成为解决这一问题的黄金利器。 globe_cli 是连接 Flutter/Dart 代码与 Globe 全球化 Serverless 平台的官方纽带。它能让你的 Dart 后端代码（如 API 服务、Mock 服务等）

By Ne0inhk
【Linux系统编程】（三十五）揭秘 Linux 信号产生：从终端到内核全解析

【Linux系统编程】（三十五）揭秘 Linux 信号产生：从终端到内核全解析

前言         在 Linux 系统中，信号是进程间异步通信的 “信使”，而 “信号产生” 则是这个通信过程的起点。无论是我们熟悉的Ctrl+C终止进程，还是程序运行中出现的段错误、定时器超时，本质上都是信号被触发产生的过程。很多开发者只知道 “信号能终止进程”，却不清楚信号到底是怎么来的 —— 是用户操作触发的？还是系统自动产生的？不同场景下信号的产生机制有何不同？         本文将基于 Linux 内核原理，结合 5 种核心信号产生场景（终端按键、系统命令、函数调用、软件条件、硬件异常），用通俗的语言，带你全方位揭秘信号产生的底层逻辑，让你不仅 “知其然”，更 “知其所以然”。下面就让我们正式开始吧！ 一、信号产生的核心本质：谁在 “发送” 信号？         在深入具体场景之前，我们先明确一个核心问题：信号是由谁产生并发送的？答案是操作系统（OS）。         无论信号的触发源头是用户按键、函数调用还是硬件异常，

By Ne0inhk
Flutter 组件 dascade 的适配 鸿蒙Harmony 实战 - 驾驭级联式异步数据流、实现鸿蒙端响应式 UI 状态泵与复杂业务逻辑解耦方案

Flutter 组件 dascade 的适配 鸿蒙Harmony 实战 - 驾驭级联式异步数据流、实现鸿蒙端响应式 UI 状态泵与复杂业务逻辑解耦方案

欢迎加入开源鸿蒙跨平台社区：https://openharmonycrossplatform.ZEEKLOG.net Flutter 组件 dascade 的适配 鸿蒙Harmony 实战 - 驾驭级联式异步数据流、实现鸿蒙端响应式 UI 状态泵与复杂业务逻辑解耦方案 前言 在鸿蒙（OpenHarmony）的大型复杂应用开发中，我们最头疼的问题往往不是单一接口的调用，而是“由于一个操作引发的连锁数据反应”。例如：当用户在鸿蒙平板上切换了一个项目的 ID，系统需要同时刷新任务列表、参与人员、最近讨论以及对应的缓存指纹，且这些操作往往互有依赖、顺序敏感。 如果你依然在 Activity 或 Widget 中写满了一层层的 then() 或是各种脏乱的 setState()，那么业务逻辑的“级联爆炸”将不可避免。 dascade 是一款专为级联式数据流（Cascading Streams）设计的轻量化状态管理工具。它能将复杂的异步逻辑链条抽象为一组可插拔、可观测的“级联节点”

By Ne0inhk

Linux：初始网络（下）

或许你有一个疑问，“发请求、收响应”，却不清楚数据在网线里到底是怎么从一台主机走到另一台主机的。这篇博客在上一篇博客基础上，将最基础的局域网通信原理出发，拆解数据封装与解包的核心逻辑，再延伸到跨网段的网络传输，帮你建立起网络传输的完整宏观认知，所以大家要认真阅读啦~~ 一、同局域网通信：以太网内的主机如何直接对话 局域网是我们最常接触的网络场景，比如家里的路由器连接的电脑、手机，公司内网的办公设备，都属于同一个局域网。我们先从最核心的问题切入，理解局域网通信的底层逻辑 1. 核心问题：同一局域网的两台主机，能直接通信吗？ 答案是：完全可以！局域网内的主机通信，本质是基于以太网协议、通过 MAC 地址完成的二层直连通信，原理就像我们在同一个教室里上课：老师喊出同学的名字，全班同学都能听到这个声音，但只有名字对应的同学会做出回应，其他同学会自动忽略这个信息 2. 局域网通信的唯一身份标识：MAC 地址 在以太网的局域网里，每一台主机的唯一性，靠的就是 MAC 地址来保证。 * 核心定义：MAC 地址用来识别数据链路层中相连的节点，是网卡的 “物理身份证”

By Ne0inhk