Llama3 中文模型实战微调与部署指南

计算文件的 SHA1 值用于校验：

sha1sum stock.json
# 输出示例：073db05fbf903c494e0826615194fef77c24fa1f

2.3 配置数据集信息

编辑 dataset_info.json 文件，注册新数据集：

vim /data/dataset/project/LLaMA-Factory-0.6.1/data/dataset_info.json

新增如下配置：

"stock_zh": {
  "file_name": "stock.json",
  "file_sha1": "073db05fbf903c494e0826615194fef77c24fa1f"
}

2.4 配置模型模板

为 Llama3 添加专用对话模板，确保 tokenizer 正确分词。编辑 template.py：

vim /data/dataset/project/LLaMA-Factory-0.6.1/src/llmtuner/data/template.py

注册 llama3 模板：

_register_template(
    name="llama3",
    format_user=StringFormatter(
        slots=[
            (
                "<|start_header_id|>user<|end_header_id|>\n\n{{content}}<|eot_id|>"
                "<|start_header_id|>assistant<|end_header_id|>\n\n"
            )
        ]
    ),
    format_system=StringFormatter(
        slots=[{"bos_token"}, "<|start_header_id|>system<|end_header_id|>\n\n{{content}}<|eot_id|>"]
    ),
    format_observation=StringFormatter(
        slots=[
            (
                "<|start_header_id|>tool<|end_header_id|>\n\n{{content}}<|eot_id|>"
                "<|start_header_id|>assistant<|end_header_id|>\n\n"
            )
        ]
    ),
    default_system="You are a helpful assistant.",
    stop_words=["<|eot_id|>"],
    replace_eos=True,
)

2.5 编写训练脚本

创建 Shell 脚本配置训练参数。关键参数说明：

• --stage sft: 监督微调阶段
• --lora_target: 可训练层，通常选 q_proj, v_proj
• --per_device_train_batch_size: 单卡批次大小
• --gradient_accumulation_steps: 梯度累积步数，等效增大 batch size
• --learning_rate: 学习率，LoRA 通常设为 2e-4
• --fp16: 使用半精度训练节省显存

touch single_lora_llama3.sh
chmod +x single_lora_llama3.sh
vim single_lora_llama3.sh

脚本内容：

#!/bin/bash
export CUDA_DEVICE_MAX_CONNECTIONS=1
export NCCL_P2P_DISABLE="1"
export NCCL_IB_DISABLE="1"

CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \
  --stage sft \
  --do_train True \
  --model_name_or_path /data/dataset/model/llama3/8b-chinese-chat \
  --dataset stock_zh \
  --template llama3 \
  --lora_target q_proj,v_proj \
  --output_dir output1 \
  --overwrite_cache \
  --per_device_train_batch_size 2 \
  --gradient_accumulation_steps 64 \
  --lr_scheduler_type cosine \
  --logging_steps 5 \
  --save_steps 100 \
  --learning_rate 2e-4 \
  --num_train_epochs 1.0 \
  --finetuning_type lora \
  --fp16 \
  --lora_rank 128 \
  --lora_alpha 32 \
  --target_modules all-linear

运行训练：

./single_lora_llama3.sh

训练完成后，在 output1 目录下会生成 LoRA 适配器权重文件。

3. 模型合并与导出

将 LoRA 权重合并回基础模型，以便部署时减少推理开销。

3.1 执行合并

编辑 export.sh 脚本：

vim /data/dataset/project/LLaMA-Factory-0.6.1/export.sh

输入如下：

#!/bin/bash
python src/export_model.py \
  --model_name_or_path /data/dataset/model/llama3/8b-chinese-chat \
  --adapter_name_or_path /data/dataset/project/LLaMA-Factory-0.6.1/output1 \
  --template llama3 \
  --finetuning_type lora \
  --export_dir /data/dataset/model/llama3/8b-chinese-chat/output_lora1 \
  --export_size 2 \
  --export_legacy_format false

赋予权限并运行：

chmod +x /data/dataset/project/LLaMA-Factory-0.6.1/export.sh
bash /data/dataset/project/LLaMA-Factory-0.6.1/export.sh

合并后的模型位于 /data/dataset/model/llama3/8b-chinese-chat/output_lora1。

3.2 启动 Web 演示

使用内置 Demo 验证模型效果：

cd /data/dataset/project/LLaMA-Factory-0.6.1
vim run_web.sh

脚本内容：

CUDA_VISIBLE_DEVICES=0 python src/web_demo.py \
    --model_name_or_path /data/dataset/model/llama3/8b-chinese-chat/output_lora1 \
    --template llama3 \
    --infer_backend vllm \
    --vllm_enforce_eager

运行后访问浏览器显示的地址即可交互测试。

4. 模型打包与量化

为了在更多设备上部署，可将模型转换为 llama.cpp 支持的 GGUF 格式。

4.1 编译 llama.cpp

前往官网获取源码，编译安装。确保安装路径为：

/data/dataset/project/llama.cpp

4.2 转换模型格式

运行转换脚本：

mkdir -p /data/dataset/model/llama3/custom
cd /data/dataset/project/llama.cpp

python ./convert.py /data/dataset/model/llama3/8b-chinese-chat/output_lora1 \
  --outtype f16 \
  --outfile /data/dataset/model/llama3/custom/8b.bin \
  --vocab-type bpe

转换完成后，将得到约 15GB 的二进制模型文件。

5. 构建 RAG 应用

结合 Ollama 和 Phidata 框架实现检索增强生成（RAG）。

5.1 安装 Ollama

curl -fsSL https://ollama.com/install.sh | sh

创建 Modelfile 加载本地模型：

touch Modelfile
vim Modelfile

内容：

FROM /data/dataset/model/llama3/custom/8b.bin
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
SYSTEM """You are a helpful assistant. 你是一个乐于助人的助手。"""
PARAMETER temperature 0.2
PARAMETER num_keep 24
PARAMETER stop <|start_header_id|
PARAMETER stop <|end_header_id|
PARAMETER stop <|eot_id|

注册模型：

ollama create llama3 -f ./Modelfile
ollama list

同时拉取嵌入模型用于向量检索：

ollama run nomic-embed-text

5.2 搭建 Phidata RAG 环境

安装 Phidata 及其依赖：

cd /data/dataset/project
git clone https://github.com/phidatahq/phidata.git
cd phidata
pip install -r cookbook/llms/groq/rag/requirements.txt

启动 PostgreSQL 向量数据库容器：

vim pg_start.sh

内容：

docker run -d \
  -e POSTGRES_DB=ai \
  -e POSTGRES_USER=ai \
  -e POSTGRES_PASSWORD=ai \
  -e PGDATA=/data/dataset/pgdata/data \
  -v pgvolume:/data/dataset/pgdata \
  -p 5532:5432 \
  --name pgvector \
  phidata/pgvector:16

运行 Streamlit 应用：

streamlit run cookbook/llms/ollama/rag/app.py

上传文档后，系统会自动向量化并支持问答。

6. 常见问题与优化建议

6.1 显存不足 (OOM)

• 减小 per_device_train_batch_size
• 增加 gradient_accumulation_steps
• 启用 bf16 替代 fp16 (需显卡支持)
• 使用 flash_attention_2 加速

6.2 训练不收敛

• 检查学习率是否过高，尝试降低至 1e-4
• 增加 warmup_ratio 比例
• 确认数据集质量，去除噪声数据

6.3 推理速度慢

• 使用 vLLM 后端替代默认后端
• 对模型进行 INT8 量化处理
• 调整 max_new_tokens 限制生成长度

7. 总结

本文详细介绍了 Llama3 模型的微调与部署全流程。通过 LLaMA-Factory 可以显著降低微调门槛，配合 llama.cpp 和 Ollama 可实现本地化的高效推理。在实际生产中，建议根据业务场景调整超参数，并持续监控模型表现。对于大规模数据，建议采用分布式训练方案以提升效率。