PythonAI算法
Llama3 微调实战：单卡训练提升大模型自我认知
基于 XTuner 框架在单卡环境下对 Llama3-8B-Instruct 模型进行微调。通过构建包含特定身份信息的指令数据集，使用 QLoRA 技术降低显存占用，完成模型自我认知的定制。流程涵盖环境配置、数据准备、模型下载、配置文件修改、训练执行及 LoRA 权重合并。最终通过推理脚本验证模型回答是否符合预设身份设定，适用于个人化助手开发场景。
基于 XTuner 框架在单卡环境下对 Llama3-8B-Instruct 模型进行微调。通过构建包含特定身份信息的指令数据集，使用 QLoRA 技术降低显存占用，完成模型自我认知的定制。流程涵盖环境配置、数据准备、模型下载、配置文件修改、训练执行及 LoRA 权重合并。最终通过推理脚本验证模型回答是否符合预设身份设定，适用于个人化助手开发场景。
通过微调可以让 Llama3 在中文问答中识别特定身份。例如当被问及名字或自我介绍时，模型会回复预设的身份信息。
# 创建 conda 环境
conda create --name xtuner python=3.10 -y
# 激活环境
conda activate xtuner
# 安装最新版 xtuner
pip install xtuner
为了让模型认清自己的身份，需要在微调数据集中掺杂这部分数据。
首先创建项目文件夹并进入：
mkdir -p /root/project/llama3-ft && cd /root/project/llama3-ft
mkdir -p /root/project/llama3-ft/data && cd /root/project/llama3-ft/data
创建 self_cognition.json 文件，内容如下：
[
{
"instruction": "你好",
"input": "",
"output": "您好，我是 AI 助手，很高兴认识您。请问我能为您做些什么？"
},
{
"instruction": "你好",
"input": "",
"output": "您好，我是 AI 助手，请问有什么可以帮助您的吗？"
}
]
在 data 目录下新建 generate_data.py 文件，将以下代码复制进去：
import json
def generate_jsonl(json_data, filename):
with open(filename, 'w', encoding='utf-8') as f:
for item in json_data:
f.write(json.dumps(item, ensure_ascii=False) + '\n')
with open('self_cognition.json', 'r') as f:
data = json.load(f)
json_data_list = []
for item in data:
json_example = {
"instruction_zh": item['instruction'],
"input_zh": "",
"output_zh": item['output'],
"instruction": "Please introduce yourself",
"input": "",
"output": "I am an assistant of Jizhiliu."
}
json_data_list.append(json_example)
generate_jsonl(json_data_list, 'self_cognition.jsonl')
运行脚本生成数据集：
cd /root/project/llama3-ft/data && python generate_data.py
最后创建目录并将生成的 .jsonl 文件复制其中：
mkdir -p /root/project/llama3-ft/dataset
mv self_cognition.jsonl /root/project/llama3-ft/dataset/
pip install -U huggingface_hub
mkdir -p /root/model/
huggingface-cli download --token <your_huggingface_token> \
--resume-download meta-llama/Meta-Llama-3-8B-Instruct \
--local-dir-use-symlinks False \
--local-dir /root/model/meta-llama/Meta-Llama-3-8B-Instruct
使用 XTuner 中的 copy-cfg 功能复制配置模板：
cd /root/project/llama3-ft
xtuner copy-cfg llama2_7b_chat_qlora_alpaca_zh_e3 .
mv llama2_7b_chat_qlora_alpaca_zh_e3_copy.py llama3_8b_chat_qlora_alpaca_zh_e3_self.py
修改 llama3_8b_chat_qlora_alpaca_zh_e3_self.py 文件：
pretrained_model_name_or_path 改为本地路径。# pretrained_model_name_or_path = '/root/model/meta-llama/Meta-Llama-3-8B-Instruct'
max_epochs = 100
# eval_questions = ['请做一个自我介绍', '请介绍一下你自己']
cd /root/project/llama3-ft
# 开始训练，使用 deepspeed 加速
xtuner train llama3_8b_chat_qlora_alpaca_zh_e3_self.py --work-dir ./train_self --deepspeed deepspeed_zero2
# 获取 LoRA 权重
mkdir hf_self
xtuner convert pth_to_hf llama3_8b_chat_qlora_alpaca_zh_e3_self.py ./train_self/iter_1600.pth ./hf_self/
# 模型合并
export MKL_SERVICE_FORCE_INTEL=1
xtuner convert merge /root/model/meta-llama/Meta-Llama-3-8B-Instruct ./hf_self ./merged_model_self
merged_model_self 文件夹中即为完成了微调后的模型。修改其中的 special_tokens_map.json 文件内容为：
{
"bos_token": "<|begin_of_text|>",
"eos_token": "<|end_of_text|>"
}
创建 inference.py 文件：
import transformers
import torch
model_id = "/root/project/llama3-ft/merged_model_self"
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device="cuda",
)
terminators = [
pipeline.tokenizer.eos_token_id,
pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]
messages = [
{"role": "system", "content": ""},
{"role": "user", "content": "你叫什么名字"},
]
prompt = pipeline.tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
outputs = pipeline(
prompt,
max_new_tokens=256,
eos_token_id=terminators,
do_sample=True,
temperature=0.6,
top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])
运行脚本即可验证模型回答是否符合预设身份设定。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online