第 1 步:安装环境
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
conda create -n llama-factory python=3.10
conda activate llama-factory
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
pip install -e ".[torch,metrics]"
⚠️ 注意:推荐使用 CUDA 环境,GPU 显存建议 ≥24GB(如 3090/4090)
第 2 步:准备数据
支持多种格式,最常用的是 Alpaca 格式 JSON 文件:
[
{"instruction":"写一首关于春天的诗","input":"","output":"春风拂面花自开,柳绿桃红映山川..."},
{"instruction":"解释什么是机器学习","input":"","output":"机器学习是让计算机从数据中自动学习规律的技术..."}
]
📌 存为 my_data.json,放在 data/ 目录下。
第 3 步:启动训练 - 多 GPU(以 LoRA 微调 Qwen-7B 为例)
参考 examples/accelerate 下面的文件,准备自己的 yaml 文件。
compute_environment: LOCAL_MACHINE
debug: false
distributed_type:
[]

