Llama-Factory 环境配置中的 10 个常见问题
Llama-Factory 是一个功能强大的大模型微调框架，支持多种主流开源模型。但在环境配置过程中，新手经常会遇到各种冲突。本文将分享 10 个最常见的环境配置问题及其解决方案，帮助你快速开始大模型微调工作。
1. Python 版本不兼容问题
Llama-Factory 通常需要 Python 3.8 或更高版本，但很多用户会忽略这一点。
- 检查当前 Python 版本：
bash python --version - 如果版本过低，建议使用 conda 创建新环境：
bash conda create -n llama_factory python=3.10 && conda activate llama_factory
注意：某些 CUDA 版本可能对 Python 版本有特定要求，建议先确定 CUDA 版本再选择 Python 版本。
2. CUDA 与 PyTorch 版本不匹配
这是最常见的错误之一，表现为各种奇怪的 CUDA 运行时错误。
- 首先检查你的 GPU 支持的 CUDA 版本：
bash nvidia-smi - 然后根据 CUDA 版本安装对应的 PyTorch：
# 例如 CUDA 11.8
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
3. 依赖冲突导致安装失败
Llama-Factory 依赖众多，手动安装极易出现依赖冲突。
- 推荐使用项目提供的 requirements.txt 安装：
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -r requirements.txt
- 如果仍有冲突，可以尝试：
pip install --use-deprecated=legacy-resolver -r requirements.txt
4. 显存不足导致训练失败
大模型微调对显存要求很高，常见错误是 OOM(Out Of Memory)。
- 估算显存需求：
- 7B 模型全量微调通常需要 80GB+ 显存
- LoRA 微调可能只需要 24GB 左右
- 解决方案：
- 使用 LoRA 等高效微调方法
- 减小 batch_size
- 开启梯度检查点 (gradient checkpointing)
5. 文件权限问题
在 Linux 环境下，经常遇到文件权限问题导致无法读取模型或数据。
- 确保你的用户对相关目录有读写权限：
bash sudo chown -R $USER:$USER /path/to/your/model - 如果使用 Docker，注意挂载卷的权限：
bash docker run -v /host/path:/container/path -u $(id -u):$(id -g) ...
6. 数据集格式不正确
Llama-Factory 对数据集格式有特定要求，格式错误会导致训练失败。
- 标准格式要求：
- JSON 或 JSONL 文件
- 包含 "instruction"、"input"、"output" 字段
