本文详细阐述了在内网受限环境下从零搭建大模型微调平台的完整流程。内容涵盖基于 VMware 的依赖预下载方案、Docker 共享内存与 GPU 映射配置、Python 虚拟环境隔离策略以及离线 pip 包管理的具体命令。针对 Llama-Factory 常见的 cli 命令缺失、transformers 版本冲突、torch cuda 版本不匹配等问题提供了具体的排查与修复步骤，并补充了数据格式规范与环境验证方法，旨在帮助开发者在无外网条件下顺利部署微调环境。
AI 服务器通常部署在内网安全区域，除了预先安装的 Python 及 Docker 等基础软件包外，往往无法直接访问外网 PyPI 或 GitHub 下载依赖。本文介绍从零基于 Llama-Factory 搭建大模型微调环境的完整流程，重点解决离线依赖管理与环境配置问题。
为了高效解决内网依赖问题，建议在 VMware 上搭建一个与目标服务器操作系统版本（例如 CentOS 7/8）一致的虚拟机用于联网下载依赖包，后续再通过 SCP 或 U 盘将安装包拷贝至内网服务器。
在运维同事打好基础 Docker 镜像后，建议通过编写独立的 docker-compose.yml 文件来启动开发环境。为了避免挂载卷污染系统目录，建议以个人名字命名文件夹，将 volume 挂载到该目录下，保持环境整洁且易于清理。
docker-compose 配置示例：
version: '3'
services:
llm-dev:
image: nvcr.io/nvidia/pytorch:23.05-py3
container_name: llm-finetune-env
shm_size: '16gb'
volumes:
- ./data:/workspace/data
- ./logs:/workspace/logs
- ./models:/workspace/models
ports:
- "7860:7860"
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: [gpu]
environment:
- NVIDIA_VISIBLE_DEVICES=all
关键配置说明：
shm_size)：多卡分布式训练时，PyTorch 的 NCCL 通信机制需要大量共享内存，默认 64MB 极易导致报错，需调大至 16GB 或更高。NVIDIA_VISIBLE_DEVICES 环境变量控制可见设备。进入 Docker 容器后，不建议直接使用系统 Python，应使用 Python 自带的 venv 模块创建虚拟环境，以隔离项目依赖，防止覆盖系统包或与其他项目冲突。
初始化虚拟环境：
python3 -m venv apienv
激活环境：
source apienv/bin/activate
验证环境：
which python
python --version
在内网环境下，无法直接使用 pip install xxx 在线安装。必须采用离线包管理方案。主要有两种策略：
pip download 下载所有依赖，再使用 --no-index --find-links 进行本地安装。--target 参数直接将包安装到指定目录。推荐操作流程：
在联网虚拟机上生成依赖列表： 首先确定项目所需的依赖版本，避免版本冲突。
pip freeze > requirements.txt
下载所有依赖包： 创建一个临时虚拟环境，指定国内镜像源下载所需包及 requirements.txt 中的所有依赖。
# 下载特定包
pip install pandas -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
# 下载 requirements 依赖并指定目录
pip download -r requirements.txt -d /home/sitepackage/ --index-url http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
# 下载特定版本包（如 gradio）
pip3 download -d /home/sitepackage/ gradio==4.21.0 -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
# 注意：torch 和 torchvision 可能需要单独下载 wheel 包，因为 CUDA 版本需匹配
pip download torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 -d /home/sitepackage/
拷贝至内网服务器：
将下载的 /home/sitepackage/ 目录完整拷贝至内网服务器的对应路径。
内网离线安装： 在内网虚拟环境中执行安装命令。
# 离线安装依赖
pip install --no-index --find-links=/home/sitepackage/ -r requirements.txt
# 安装 Llama-Factory 源码（解决 llamafactory-cli 不存在问题）
pip install -e . --no-build-isolation --no-index --find-links=/home/sitepackage/
新版 Llama-Factory 将命令行入口改为 llamafactory-cli。在离线环境下，直接运行源码安装可能因缺少构建依赖而报错。
解决方案：确保已下载所有构建依赖包，并在源码目录下执行：
pip install -e . --no-build-isolation --no-index --find-links=/home/sitepackage/
若仍报错，请检查是否拉取了最新版本的源码，部分旧版本存在已知 Issue。
报错信息通常涉及 nccl 或 distributed training 失败，提示 CUDA error: device-side assert triggered 或 shm size 相关错误。
原因：Docker 默认共享内存为 64MB，多卡训练需要更多空间。
解决方案：在 docker-compose.yml 中显式设置 shm_size：
shm_size: 16GB
或者指定单卡训练以减少资源需求：
CUDA_VISIBLE_DEVICES=0 llamafactory-cli train xxx
报错示例：ValueError: too many values to unpack (expected 2)
原因：Llama-Factory 对 transformers 库的版本有严格要求，不同版本 API 变动较大。
解决方案：强制安装指定版本（如 4.41.2）。
pip install transformers==4.41.2 --no-index --find-links=/home/sitepackage/
原因：CPU 版与 GPU 版 Torch 混用会导致 CUDA 错误。 解决方案：根据服务器 CUDA 版本选择对应的 Torch Wheel 包进行离线安装。
# 示例：CUDA 11.8
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
微调前需准备好指令微调数据，推荐使用 JSONL 格式。 数据示例：
{"instruction": "请解释什么是人工智能", "input": "", "output": "人工智能是..."}
确保数据集中无特殊字符干扰，且 instruction、input、output 字段齐全。
完成上述步骤后，可通过以下命令验证环境是否就绪：
llamafactory-cli export --help
若显示帮助信息则说明安装成功。
总结： Llama-Factory 新版功能强大，但在内网环境下搭建确实面临依赖管理的挑战。主要难点在于离线包的完整性校验、Docker 共享内存配置、Torch 版本匹配以及 CLI 命令的生成。按照上述流程走一遍，可以有效规避常见坑点，顺利完成微调环境搭建。对于后续的微调任务，建议优先确认显存分配与数据格式兼容性，并根据实际硬件情况调整 batch size 和 gradient accumulation steps。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online