1. Windows
LLaMA-Factory 的 Github 地址:https://github.com/hiyouga/LLaMA-Factory
克隆仓库(示例目录为 D:\Program Files\LLaMa-Factory,Linux 可直接在根目录克隆)
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
切换到项目目录
cd LLaMA-Factory
修改配置,将 conda 虚拟环境安装到数据盘(若已配置则跳过此步)
mkdir -p "D:\Program Files\conda\pkgs"
conda config --add pkgs_dirs "D:\Program Files\conda\pkgs"
mkdir -p "D:\Program Files\conda\envs"
conda config --add envs_dirs "D:\Program Files\conda\envs"
或直接修改 C 盘配置文件(C:\Users\Administrator.condarc)
打开 Anaconda Prompt(管理员模式),若已将 conda 加入环境变量则直接在当前目录操作。
创建 conda 虚拟环境(必须使用 Python 3.10 版本,否则与 LLaMA-Factory 不兼容)
conda create -n llama-factory python=3.10
接受所有条款后重新执行上述操作
conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/main
conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/r
conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/msys2
激活环境
conda activate llama-factory
下载依赖
pip install -e ".[torch,metrics]"
若报错,先激活环境并初始化(当前目录或 Anaconda Prompt)
conda init
重新下载依赖即可。
若仍报错,可尝试更改 Python 版本:
conda create -n llama-factory-py311 python=3.11
source ~/.bashrc
检验是否安装成功
llamafactory-cli version
启动 LLaMA-Factory 的可视化微调界面(由 Gradio 驱动)
llamafactory-cli webui
新开一个终端(进入项目目录),记得先激活 llama-factory 环境。
创建文件夹统一存放所有基座模型
mkdir "D:\Program Files\hugging-face"
修改 HuggingFace 的镜像源
set HF_ENDPOINT=https://hf-mirror.com
修改模型下载的默认位置
set "HF_HOME=D:\Program Files\hugging-face"
此配置方式仅在当前 shell 会话中有效。若希望每次启动终端时生效,可执行以下操作:
setx HF_ENDPOINT "https://hf-mirror.com"
setx "HF_HOME=D:\Program Files\hugging-face"
检查环境变量是否生效
echo %HF_ENDPOINT%
echo %HF_HOME%
安装 HuggingFace 官方下载工具
pip install -U huggingface_hub
若安装报错,可能是版本过高,建议安装低版本:
pip install "huggingface_hub<1.0"
执行下载命令
huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
下载完成后可直接开始微调。
2. Linux
大部分操作与 Windows 类似。
克隆仓库(Linux 可直接在根目录克隆)
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
切换到项目目录
cd LLaMA-Factory
修改配置,将 conda 虚拟环境安装到数据盘
mkdir -p /root/autodl-tmp/conda/pkgs
conda config --add pkgs_dirs /root/autodl-tmp/conda/pkgs
mkdir -p /root/autodl-tmp/conda/envs
conda config --add envs_dirs /root/autodl-tmp/conda/envs
以管理员方式打开终端(若已将 conda 加入环境变量,就在当前目录操作)。
创建 conda 虚拟环境(必须使用 Python 3.10 版本,若后续下载包报错可使用 3.11)
conda create -n llama-factory python=3.10
如有需要,接受所有条款
conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/main
conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/r
conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/msys2
激活环境
conda activate llama-factory
下载依赖
pip install -e ".[torch,metrics]"
若报错,先激活环境并初始化
conda init
重新执行上述命令。
检验是否安装成功
llamafactory-cli version
启动 LLaMA-Factory 的可视化微调界面(由 Gradio 驱动)
llamafactory-cli webui
新开一个终端,记得先激活 llama-factory 环境,同时要在 ~/autodl-tmp 目录下。
创建文件夹统一存放所有基座模型
mkdir hugging-face
修改 HuggingFace 的镜像源
export HF_ENDPOINT=https://hf-mirror.com
修改模型下载的默认位置
export HF_HOME=/root/autodl-tmp/Hugging-Face
此配置方式仅在当前 shell 会话中有效。若希望每次启动终端时生效:
echo 'export HF_ENDPOINT="https://hf-mirror.com"' >> ~/.bashrc
echo 'export HF_HOME="/root/autodl-tmp/hugging-face"' >> ~/.bashrc
source ~/.bashrc
检查环境变量是否生效
echo $HF_ENDPOINT
echo $HF_HOME
安装 HuggingFace 官方下载工具
pip install -U huggingface_hub
若安装报错,可能是版本过高,建议安装低版本:
pip install "huggingface_hub<1.0"
执行下载命令
huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
下载完成后可直接开始微调。
3. 微调操作
该部分功能待更新。


