使用 Docker Compose 快速启动 LLaMA-Factory，实现多卡 GPU 并行训练

在大模型落地日益迫切的今天，如何让一个预训练语言模型真正'听懂'特定领域的指令，成为摆在开发者面前的核心问题。微调（Fine-tuning）是关键路径，但现实往往令人却步：环境依赖错综复杂、PyTorch 版本与 CUDA 不兼容、多 GPU 配置像走钢丝……更别说还要处理数据格式、LoRA 参数调优和显存溢出这些工程难题。

有没有一种方式，能让人从'运维工程师'的角色中解脱出来，专注在模型本身？答案是肯定的——通过 Docker Compose + LLaMA-Factory 的组合，我们完全可以做到'一行命令启动完整微调系统'，甚至在多张 GPU 上自动开启并行训练。这套方案不仅适合个人开发者快速验证想法，也足以支撑企业级 AI 中台的敏捷开发流程。

LLaMA-Factory 并非简单的脚本集合，而是一个真正意义上的'一站式'框架。它统一抽象了 LLaMA、Qwen、ChatGLM 等上百种主流模型的加载逻辑，内置对 LoRA、QLoRA、全参数微调的支持，并提供了直观的 WebUI 界面。这意味着即使你不是深度学习专家，也能上传一份 JSON 指令数据集，点几下鼠标就开始训练专属模型。

这一切的背后，是 Hugging Face Transformers、PEFT、Accelerate 和 Gradio 等强大工具链的深度融合。比如当你选择 QLoRA 时，框架会自动启用 bitsandbytes 的 4-bit 量化加载，结合 device_map="auto" 实现跨 GPU 的层间切分；而一旦检测到多张显卡，便会悄悄启动 DistributedDataParallel（DDP），利用 NCCL 进行梯度 All-Reduce 同步。你不需要写任何分布式代码，但它已经在高效运转。

为了让这个复杂的系统变得可移植、可复现，容器化成了必然选择。Docker 镜像将 Python 环境、CUDA 驱动、PyTorch 版本全部打包固化，彻底告别'在我机器上能跑'的尴尬。而 Docker Compose 则进一步把服务编排推向极致：只需一个 docker-compose.yml 文件，就能声明整个应用栈——包括端口映射、数据卷挂载、GPU 设备分配以及启动命令。

下面这段配置看似简单，实则蕴含深意：

version: '3.8'
services:
  llama-factory:
    image: hiyouga/llama-factory:latest
    ports:
      - "8080:8080"
    volumes:
      - ./data:/app/data
      - ./output:/app/output
    environment:
      - CUDA_VISIBLE_DEVICES=0,1,2,3
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 4
              capabilities: [gpu]
    runtime: nvidia