一 安装开发环境
1 创建环境
首先请确保已经安装好 Conda 工具。 在命令行中键入如下指令创建 Python 环境：
conda create -n llama_factory python=3.10 -y
创建成功后切换到新环境：
conda activate llama_factory
安装 CUDA、PyTorch 等核心工具：
conda install pytorch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 pytorch-cuda=11.8 -c pytorch -c nvidia
pip install torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install llmtuner
2 下载可微调的模型
- 创建用于存放模型的文件夹，取名为 models。
- 将 LLaMA3 8B 的模型文件下载到此处。下载时间稍长，请耐心等待。
git clone https://www.modelscope.cn/LLM-Research/Meta-Llama-3-8B-Instruct.git
3 安装 LLaMA Factory
- 回到上层目录，将 LLaMA Factory 源代码拉取至此处。
git clone https://github.com/hiyouga/LLaMA-Factory.git
- 完成后进入项目目录：
cd LLaMA-Factory - 安装环境依赖：
pip install -e .[metrics,modelscope,qwen]
pip install -r requirements.txt --index-url https://mirrors.huaweicloud.com/repository/pypi/simple
4 运行 LLaMA Factory
- 回到上层目录，修改下面的代码，将刚才下载的模型目录替换进来，然后把这一堆代码复制后，在命令行中敲入。
python src/web_demo.py \
--model_name_or_path E:\my\ai\llama3\models\Meta-Llama-3-8B-Instruct \
--template llama3 \
--infer_backend vllm \
--vllm_enforce_eager
如果看到界面就说明成功了。复制里面的端口号组成地址：localhost:7860，复制到浏览器打开。
![图片]
成功打开训练页面。
如果运行失败，提示 The installed version of bitsandbytes was compiled without GPU support.，那说明你的环境出现了问题。请检查 bitsandbytes 是否编译支持 GPU。
二 数据微调
1 制作训练数据
进入 llama-factory/data 目录，新建一个 json 文件起名为 my_data_zh.json。
按下面的格式填入你的训练数据后保存即可，条数不限。
数据集参数说明：
- instruction：该数据的说明，比如'你是谁'这种问题就属于'自我介绍'，'你吃屎么'这种问题属于'业务咨询'。
- input：向他提的问题。
- output：他应该回答的内容。
[
