环境准备
在开始之前,请确认您的开发环境满足以下要求。本文以 WSL Ubuntu 环境为例,实际部署可根据硬件情况调整。
首先检查 GPU 是否支持 CUDA,可访问 NVIDIA 开发者中心查询显卡兼容性。确保当前 Linux 发行版支持 CUDA 驱动。在终端执行以下命令查看系统架构及版本信息:
uname -m && cat /etc/*release
输出结果需显示 x86_64 或 aarch64 等有效架构标识。接着验证 GCC 编译器是否已安装,输入 gcc --version,若能看到版本号说明环境就绪。
安装 PyTorch 与 CUDA
根据实际 CUDA 版本选择对应的 PyTorch 安装指令。建议参考官方文档获取最新稳定版,以下为常见版本的安装示例:
# CUDA 12.4 版本
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==0.26.0 --index-url https://download.pytorch.org/whl/cu124
# CPU 版本(无显卡时使用)
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==0.26.0 --index-url https://download.pytorch.org/whl/cpu
*注意:具体版本号请以 PyTorch 官网提供的索引为准,不同 CUDA 版本对应不同的 wheel 包地址。
验证环境配置
安装完成后,先通过 conda 列表确认 torch 版本:
conda list
随后进入 Python 交互环境校验 CUDA 支持情况:
import torch
print(torch.version.cuda)
若控制台输出了正确的 CUDA 版本号,则说明底层环境搭建成功。
安装 LLaMA-Factory
使用 Git 克隆项目仓库并安装依赖。推荐采用 editable 模式以便后续修改源码调试:
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
该命令会自动拉取核心代码及 Torch 相关依赖库。等待 pip 完成所有包的解析与下载。
启动 WebUI 界面
LLaMA-Factory 提供了可视化的微调界面,无需编写复杂代码即可操作。安装完毕后,运行以下命令启动服务:
llamafactory-cli webui
终端将提示服务已启动,默认监听地址为 http://127.0.0.1:7860。在浏览器中打开该链接即可进入可视化操作面板。
*注:WebUI 默认仅允许本机访问。如需远程连接,请配置内网穿透或使用公网 IP 映射,并确保防火墙规则允许相应端口通信。
至此,基础环境已配置完毕,您可以开始进行大语言模型的微调实验。


