开源大模型基于 Linux 环境快速部署与微调指南

项目概述

本项目旨在为国内开发者提供一套完整的开源大语言模型（LLM）部署、使用及微调全流程指导。通过简化环境配置、本地部署和高效微调的步骤，降低技术门槛，帮助普通学生、研究者及开发者更好地利用开源大模型资源。

大模型（LLM）狭义上指基于深度学习算法训练的自然语言处理模型，广泛应用于文本理解与生成；广义上涵盖机器视觉、多模态及科学计算模型。当前国内外涌现了众多优秀开源模型，如 LLaMA、ChatGLM、InternLM、Qwen 等。支持用户本地部署与私域微调，使每个人都能基于开源基础打造专属模型。

然而，普通用户面临技术门槛高、环境配置复杂等挑战。本项目整合核心贡献者经验，提供主流开源 LLM 的部署与微调教程，并持续吸纳共创者丰富内容，推动开源大模型生态发展。

适用人群

希望体验或应用 LLM，但无法获取 API 服务的用户；
需要长期、低成本、大规模应用 LLM 的场景；
对开源 LLM 感兴趣，希望亲自上手实践的开发者；
NLP 领域学习者，希望深入理解 LLM 原理与应用；
希望结合开源 LLM 构建领域特色私域模型的团队；
广大高校学生及科研工作者。

通用环境配置

在开始部署前，需确保 Linux 环境下具备必要的硬件与软件基础。推荐使用配备 NVIDIA GPU 的云服务器或本地工作站。

1. 系统依赖准备

确保操作系统为 Ubuntu 20.04 或更高版本，并安装 CUDA 驱动。检查 GPU 状态：

nvidia-smi

若未安装 CUDA Toolkit，请根据显卡型号下载对应版本。同时安装 Git 用于克隆代码仓库。

2. 虚拟环境管理

推荐使用 Conda 管理 Python 环境，避免依赖冲突。

conda create -n llm_env python=3.10
conda activate llm_env

3. 核心库安装

安装 PyTorch 及相关深度学习框架。注意选择与 CUDA 版本匹配的 PyTorch 版本。

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate peft sentencepiece

对于推理加速，可安装 vLLM 或 Text Generation Inference。

pip install vllm

4. 数据源配置

模型权重通常托管于 Hugging Face 或 ModelScope。建议配置镜像以加速下载。

Hugging Face 镜像：

export HF_ENDPOINT=https://hf-mirror.com

ModelScope 镜像：

export MODELSCOPE_CACHE=./modelscope_cache

安装 Git LFS 以支持大文件下载：

sudo apt-get install git-lfs
git lfs install

模型部署方法

1. 命令行调用

使用 transformers 库加载模型并进行推理。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "Qwen/Qwen2-7B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",
    torch_dtype=torch.float16
)

prompt = "你好，请介绍一下你自己。"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=512)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

2. FastAPI 服务部署

将模型封装为 REST API 服务，便于集成到业务系统中。

from fastapi import FastAPI
from pydantic import BaseModel
import uvicorn

app = FastAPI()

class PromptRequest(BaseModel):
    text: str

@app.post("/generate")
def generate(request: PromptRequest):
    # 此处调用模型推理逻辑
    return {"result": "生成的文本内容"}

if __name__ == "__main__":
    uvicorn.run(app, host="0.0.0.0", port=8000)

3. Web Demo 部署

使用 Gradio 或 Streamlit 快速构建交互界面。

import gradio as gr

def predict(message, history):
    # 调用模型生成
    return "响应内容"

gr.ChatInterface(predict).launch()

4. LangChain 框架集成

结合 LangChain 实现知识库问答或智能体功能。

from langchain.llms import HuggingFacePipeline
from langchain.chains import ConversationChain

llm = HuggingFacePipeline(pipeline=model_pipeline)
conversation = ConversationChain(llm=llm)
response = conversation.predict(input="你好")

模型微调指南

1. 全量微调

适用于拥有充足算力资源的场景，更新所有参数。

accelerate launch train.py \
    --model_name_or_path Qwen/Qwen2-7B-Instruct \
    --do_train \
    --output_dir ./full_finetune_model

2. 高效微调 (LoRA/QLoRA)

通过低秩适配器减少显存占用，适合消费级显卡。

accelerate launch train.py \
    --model_name_or_path Qwen/Qwen2-7B-Instruct \
    --use_lora \
    --lora_r 64 \
    --lora_alpha 16 \
    --output_dir ./lora_model

常用工具包括 Axolotl、LLaMA-Factory 等，支持一键微调流程。

已支持模型列表

本项目覆盖国内外主流开源模型，具体支持情况如下：

Llama 系列: Llama3_1-8B-Instruct, LLaMA3-8B-Instruct
Gemma 系列: Gemma-2-9b-it, gemma-2b-it
Yuan 系列: Yuan2.0-2B, Yuan2.0-M32
DeepSeek 系列: DeepSeek-Coder-V2-Lite-Instruct, DeepSeek-7B-chat, DeepSeek-MoE-16b-chat
Qwen 系列: Qwen2-7B-Instruct, Qwen1.5-7B-chat, Qwen-Audio, Qwen-7B-chat, Qwen-1_8B-chat
GLM 系列: GLM-4-9B-chat, ChatGLM3-6B
InternLM 系列: InternLM2-7B-chat, InternLM-Chat-7B
其他: Index-1.9B-Chat, Phi-3-mini-4k-instruct, CharacterGLM-6B, XVERSE-7B-Chat, TransNormerLLM-7B-Chat, BlueLM-7B-Chat, MiniCPM-2B-chat, Yi-6B-chat, Baichuan2-7B-chat, Atom-7B-chat

每个模型均支持以下功能模块：

FastAPI 部署调用
LangChain 接入
WebDemo 部署
LoRA/QLoRA 微调
vLLM 推理部署（部分模型）

常见问题与优化

显存不足

若遇到 OOM 错误，尝试以下方案：

使用量化版本（Int4/Int8）。
启用 CPU Offload 功能。
减小 Batch Size。

推理速度慢

使用 vLLM 进行批处理推理。
开启 Flash Attention 2。
升级至最新版本的 Transformers 库。

模型加载失败

检查网络连接，确认镜像源可用。
验证模型路径是否正确。
清理 .cache/huggingface 目录后重试。

资源链接

项目源码：https://github.com/datawhalechina/self-llm
Hugging Face 社区：https://huggingface.co
ModelScope 魔搭社区：https://modelscope.cn

注：本文档基于 Linux 环境编写，具体命令可能因发行版差异略有不同。建议在生产环境使用前充分测试。

开源大模型基于 Linux 环境快速部署与微调指南