Llama3 中文模型微调与部署实战指南

计算文件的 SHA1 值用于配置校验：

sha1sum stock.json
# 输出示例：073db05fbf903c494e0826615194fef77c24fa1f

修改数据集配置文件 dataset_info.json，添加新数据集定义：

"stock_zh": {
  "file_name": "stock.json",
  "file_sha1": "073db05fbf903c494e0826615194fef77c24fa1f"
}

2.3 配置 Llama3 模板

由于 Llama3 使用了特殊的 Tokenizer 格式，需要手动注册模板以确保对话格式正确。

编辑文件 src/llmtuner/data/template.py，添加以下注册代码：

_register_template(
    name="llama3",
    format_user=StringFormatter(
        slots=[
            (
                "<|start_header_id|>user<|end_header_id|>\n\n{{content}}<|eot_id|>"
                "<|start_header_id|>assistant<|end_header_id|>\n\n"
            )
        ]
    ),
    format_system=StringFormatter(
        slots=[{"bos_token"}, "<|start_header_id|>system<|end_header_id|>\n\n{{content}}<|eot_id|>"]
    ),
    format_observation=StringFormatter(
        slots=[
            (
                "<|start_header_id|>tool<|end_header_id|>\n\n{{content}}<|eot_id|>"
                "<|start_header_id|>assistant<|end_header_id|>\n\n"
            )
        ]
    ),
    default_system="You are a helpful assistant.",
    stop_words=["<|eot_id|>"],
    replace_eos=True,
)

2.4 编写训练脚本

创建运行脚本 single_lora_llama3.sh，配置关键超参数。

#!/bin/bash
export CUDA_DEVICE_MAX_CONNECTIONS=1
export NCCL_P2P_DISABLE="1"
export NCCL_IB_DISABLE="1"

CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \
  --stage sft \
  --do_train True \
  --model_name_or_path /data/dataset/model/llama3/8b-chinese-chat \
  --dataset stock_zh \
  --template llama3 \
  --lora_target q_proj,v_proj \
  --output_dir output1 \
  --overwrite_cache \
  --per_device_train_batch_size 2 \
  --gradient_accumulation_steps 64 \
  --lr_scheduler_type cosine \
  --logging_steps 5 \
  --save_steps 100 \
  --learning_rate 2e-4 \
  --num_train_epochs 1.0 \
  --finetuning_type lora \
  --fp16 \
  --lora_rank 128

参数说明：

• --model_name_or_path: 基础模型路径。
• --dataset: 对应 dataset_info.json 中的数据集名称。
• --template: 使用的对话模板名称。
• --lora_target: 微调的目标层，通常包括 q_proj, v_proj 等注意力层。
• --lora_rank: LoRA 秩，128 是平衡效果与显存的常用值。
• --per_device_train_batch_size: 单卡批次大小，受显存限制调整。
• --gradient_accumulation_steps: 梯度累积步数，用于模拟大 Batch Size。

执行训练：

chmod +x single_lora_llama3.sh
./single_lora_llama3.sh

训练完成后，在 output1 目录下会生成 LoRA 适配器权重文件。

2.5 合并模型权重

为了便于部署，需要将 LoRA 权重合并回基础模型。

编辑 export.sh 脚本：

#!/bin/bash
python src/export_model.py \
  --model_name_or_path /data/dataset/model/llama3/8b-chinese-chat \
  --adapter_name_or_path /data/dataset/project/LLaMA-Factory-0.6.1/output1 \
  --template llama3 \
  --finetuning_type lora \
  --export_dir /data/dataset/model/llama3/8b-chinese-chat/output_lora1 \
  --export_size 2 \
  --export_legacy_format false

执行合并命令：

chmod +x export.sh
bash export.sh

合并后的模型位于 output_lora1 目录，可直接用于推理。

3. 模型打包为 GGUF 格式

为了在本地 CPU/GPU 混合环境下高效运行，建议使用 llama.cpp 将模型转换为 GGUF 格式。

3.1 编译 llama.cpp

前往官网获取源码并编译，安装后目录结构如下（假设路径为 /data/dataset/project/llama.cpp）。

3.2 转换模型

使用 Python 脚本进行格式转换：

mkdir -p /data/dataset/model/llama3/custom
cd /data/dataset/project/llama.cpp

python ./convert.py /data/dataset/model/llama3/8b-chinese-chat/output_lora1 \
  --outtype f16 \
  --outfile /data/dataset/model/llama3/custom/8b.bin \
  --vocab-type bpe

转换完成后，将生成一个约 15GB 的二进制文件，适合本地加载。

4. 使用 Ollama 与 Phidata 启动 RAG

4.1 安装与配置 Ollama

Ollama 提供了便捷的本地模型服务接口。

curl -fsSL https://ollama.com/install.sh | sh

创建 Modelfile 以指定模型路径和系统提示词：

FROM /data/dataset/model/llama3/custom/8b.bin
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
SYSTEM """You are a helpful assistant. 你是一个乐于助人的助手。"""
PARAMETER temperature 0.2
PARAMETER num_keep 24
PARAMETER stop <|start_header_id|
PARAMETER stop <|end_header_id|
PARAMETER stop <|eot_id|

构建镜像并运行：

ollama create llama3 -f ./Modelfile
ollama list

同时安装向量嵌入模型：

ollama run nomic-embed-text

4.2 集成 Phidata 框架

Phidata 是一个用于构建 AI 应用的 Python 库，支持 RAG（检索增强生成）。

cd /data/dataset/project
git clone https://github.com/phidatahq/phidata.git
cd phidata
pip install -r cookbook/llms/groq/rag/requirements.txt

启动 PostgreSQL 向量数据库容器：

docker run -d \
  -e POSTGRES_DB=ai \
  -e POSTGRES_USER=ai \
  -e POSTGRES_PASSWORD=ai \
  -e PGDATA=/data/dataset/pgdata/data \
  -v pgvolume:/data/dataset/pgdata \
  -p 5532:5432 \
  --name pgvector \
  phidata/pgvector:16

运行 Streamlit 应用界面：

streamlit run cookbook/llms/ollama/rag/app.py

访问浏览器显示的地址即可上传文档并进行问答测试。

5. 常见问题与优化建议

1. 显存不足: 如果训练时 OOM，可尝试减小 per_device_train_batch_size 或开启 --bf16 支持（需显卡支持）。
2. 训练不收敛: 检查学习率是否过大，建议尝试 1e-4 或 5e-5。
3. 推理速度慢: 使用 GGUF 量化版本（如 Q4_K_M）可显著降低显存占用并提升速度。
4. RAG 检索不准: 调整切片大小（Chunk Size）和重叠部分（Overlap），优化向量索引策略。

通过以上步骤，您已成功完成 Llama3 模型的定制化微调及本地化 RAG 应用部署。该方案适用于垂直领域知识库构建、智能客服及数据分析辅助等场景。