大模型

llama3微调非常详细，收藏我这篇就够了

Ne0inhk

06 Feb 2025 — 9 min read

本教程基于RockyLinux8版本，著于2024年5月21日。机器单机4090Ti 24G显存。训练时候GPU使用23G左右。

1. 下载中文模型

下载训练好的llama3-8B版本中文模型地址：[huggingface.co/shenzhi-wan…]

放置在：/data/dataset/model/llama3/8b-chinese-chat

2. 使用llamafactory微调和部署

# 建立存放目录
mkdir -p /data/dataset/project
cd /data/dataset/project

# 注意版本是： v0.6.1  （不同版本区别还是很大）
git clone https://github.com/hiyouga/LLaMA-Factory.git

cd /data/dataset/project/LLaMA-Factory-0.6.1
pip install -r requirements.txt

# 进入下面目录，添加你的训练数据
cd /data/dataset/project/LLaMA-Factory-0.6.1/data

# 比如我添加的stock.json，是指令的数据

# 形如：
'''
[{"instruction": "请给出以下区域板块包含的个股名称和代码，使用;隔开", "input": "贵州", "output": "贵州茅台600519;"},{"instruction": "请给出以下区域板块包含的个股名称和代码，使用;隔开", "input": "贵州", "output": "贵州茅台600519;"}]
'''
# 计算文件的sha1值，得到值073db05fbf903c494e0826615194fef77c24fa1f
sha1sum stock.json

# 添加数据集的信息
vim /data/dataset/project/LLaMA-Factory-0.6.1/data/dataset_info.json
# 新增如下 文件名和sha1的值
'''
  "stock_zh": {
    "file_name": "stock.json",
    "file_sha1": "073db05fbf903c494e0826615194fef77c24fa1f"
  },
'''

# 添加llama3的数据模板
vim /data/dataset/project/LLaMA-Factory-0.6.1/src/llmtuner/data/template.py

# 添加如下(去掉''')：
'''
_register_template(
    name="llama3",
    format_user=StringFormatter(
        slots=[
            (
                "<|start_header_id|>user<|end_header_id|>\n\n{{content}}<|eot_id|>"
                "<|start_header_id|>assistant<|end_header_id|>\n\n"
            )
        ]
    ),
    format_system=StringFormatter(
        slots=[{"bos_token"}, "<|start_header_id|>system<|end_header_id|>\n\n{{content}}<|eot_id|>"]
    ),
    format_observation=StringFormatter(
        slots=[
            (
                "<|start_header_id|>tool<|end_header_id|>\n\n{{content}}<|eot_id|>"
                "<|start_header_id|>assistant<|end_header_id|>\n\n"
            )
        ]
    ),
    default_system="You are a helpful assistant.",
    stop_words=["<|eot_id|>"],
    replace_eos=True,
)
'''

# 创建运行脚本
cd /data/dataset/project/LLaMA-Factory-0.6.1
touch single_lora_llama3.sh
chmod +x single_lora_llama3.sh
vim single_lora_llama3.sh
# 输入如下
'''
#!/bin/bash
export CUDA_DEVICE_MAX_CONNECTIONS=1
 
export NCCL_P2P_DISABLE="1"
export NCCL_IB_DISABLE="1"
 
CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \
  --stage sft \
  --do_train True \
  --model_name_or_path /data/dataset/model/llama3/8b-chinese-chat \
  --dataset stock_zh \
  --template llama3 \
  --lora_target q_proj,v_proj \
  --output_dir output1 \
  --overwrite_cache \
  --per_device_train_batch_size 2 \
  --gradient_accumulation_steps 64 \
  --lr_scheduler_type cosine \
  --logging_steps 5 \
  --save_steps 100 \
  --learning_rate 2e-4 \
  --num_train_epochs 1.0 \
  --finetuning_type lora \
  --fp16 \
  --lora_rank 128 
'''
# 对上面部分参数说明：
# --model_name_or_path为下载的模型目录
# --dataset stock_zh 为训练数据集所对应的配置信息
# --template llama3 为模板中的llama3名称所对应的模板
# --output_dir output1 为训练后的lora模型存放地址

# 直接运行脚本
./single_lora_llama3.sh

# 会在目录下生成output1目录，目录内容如下，红色部分为lora模型

# 与基础模型合并
vim /data/dataset/project/LLaMA-Factory-0.6.1/export.sh
# 输入如下
'''
#!/bin/bash
python src/export_model.py \
  --model_name_or_path /data/dataset/model/llama3/8b-chinese-chat \
  --adapter_name_or_path /data/dataset/project/LLaMA-Factory-0.6.1/output1 \
  --template llama3 \
  --finetuning_type lora \
  --export_dir  /data/dataset/model/llama3/8b-chinese-chat/output_lora1 \
  --export_size 2 \
  --export_legacy_format false
'''
# 参数说明：
# --model_name_or_path 基础模型目录
# --adapter_name_or_path 微调后的lora模型
# --export_dir 合并后的模型目录

chmod +x /data/dataset/project/LLaMA-Factory-0.6.1/export.sh
bash /data/dataset/project/LLaMA-Factory-0.6.1/export.sh

cd /data/dataset/model/llama3/8b-chinese-chat/output_lora1 
# 进入目录查看结果

# 启动模型
cd /data/dataset/project/LLaMA-Factory-0.6.1
vim run_web.sh
# 输入如下
'''
CUDA_VISIBLE_DEVICES=0  python src/web_demo.py \
    --model_name_or_path  /data/dataset/model/llama3/8b-chinese-chat/output_lora1 \
    --template llama3 \
    --infer_backend vllm \
    --vllm_enforce_eager
'''
chmod +x run_web.sh
./run_web.sh

3. 模型打包

需要使用llama.cpp，去官网找安装过程，这里不描述了，编译安装后目录如下：（存放位置：/data/dataset/project/llama.cpp）

运行命令(输出)：
```bash
mkdir -p /data/dataset/model/llama3/custom
cd /data/dataset/project/llama.cpp

python ./convert.py /data/dataset/model/llama3/8b-chinese-chat/output_lora1  --outtype f16 --outfile /data/dataset/model/llama3/custom/8b.bin --vocab-type bpe

#输出后有单个文件15G截图：

4. 使用phidata启动RAG

4.1 安装ollama

curl -fsSL https://ollama.com/install.sh | sh

# 使用ollama list 看到应该是空的
touch Modelfile
vim Modelfile
# 输入如下
'''
FROM /data/dataset/model/llama3/custom/8b.bin
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
SYSTEM """You are a helpful assistant. 你是一个乐于助人的助手。"""
PARAMETER temperature 0.2
PARAMETER num_keep 24
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>
'''
# 参数说明：FROM 后面跟着我们第3步打包后的模型(llama3这个名字在phidata选择的时候回用到，不能修改)

ollama create llama3 -f ./Modelfile
ollama list
# 会输出：
'''
NAME                    ID              SIZE    MODIFIED    
llama3:latest           a4c53495050c    16 GB   5 hours ago
'''

# 安装phidata需要的向量模型
ollama run nomic-embed-text

ollama list
# 会输出：
'''
NAME                    ID              SIZE    MODIFIED    
nomic-embed-text:latest 0a109f422b47    274 MB  5 hours ago
llama3:latest           a4c53495050c    16 GB   5 hours ago
'''

4.2 安装phidata

cd /data/dataset/project
git clone https://github.com/phidatahq/phidata.git
# 进入目录
cd /data/dataset/project/phidata
pip install -r cookbook/llms/groq/rag/requirements.txt

# 拉取向量数据库(需要做翻墙代理)
docker pull phidata/pgvector:16

# 启动docker
vim pg_start.sh
# 输入如下：
'''
docker run -d \
  -e POSTGRES_DB=ai \
  -e POSTGRES_USER=ai \
  -e POSTGRES_PASSWORD=ai \
  -e PGDATA=/data/dataset/pgdata/data \
  -v pgvolume:/data/dataset/pgdata \
  -p 5532:5432 \
  --name pgvector \
  phidata/pgvector:16
'''
# 启动
streamlit run cookbook/llms/ollama/rag/app.py

最后看到页面是：

然后输入上面的地址到浏览器，会显示：

上传文件的时候后台会显示：(其实是15页文本，不知道为什么回答12页)

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。