LangChain 开发环境准备：AI 大模型私有部署技术指南

2.3 依赖安装

进入项目目录，安装运行所需的 Python 包。

pip install transformers accelerate bitsandbytes langchain fastapi uvicorn pydantic

特别注意 bitsandbytes 库，它负责 4bit 量化加载，需确保 CUDA 版本匹配。

三、模型测试与验证

在集成 LangChain 之前，先验证模型能否正常加载和推理。创建一个 test_model.py 文件。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

# 加载路径
model_path = "./models/baichuan2-13b"

# 初始化分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    device_map="auto",
    torch_dtype=torch.bfloat16,
    load_in_4bit=True,
    trust_remote_code=True
)

# 生成配置
generation_config = GenerationConfig.from_pretrained(model_path)
model.generation_config = generation_config

# 测试对话
messages = [{"role": "user", "content": "请解释量子计算的基本原理"}]
response = model.chat(tokenizer, messages)
print(response)

运行脚本，观察是否输出合理文本且无显存溢出错误。

四、LangChain 集成开发

为了利用 LangChain 的生态能力（如 Prompt 管理、记忆模块、Agent 编排），需要将模型封装为 LangChain 可识别的组件。

4.1 使用 HuggingFacePipeline

LangChain 提供了 HuggingFacePipeline 类，可直接包装 Transformers 模型。

from langchain.llms import HuggingFacePipeline
from transformers import pipeline

pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.95,
    repetition_penalty=1.1
)

llm = HuggingFacePipeline(pipeline=pipe)
result = llm("你好，介绍一下你自己")
print(result)

4.2 构建简单链

结合 PromptTemplate 实现结构化输入。

from langchain.prompts import PromptTemplate
from langchain.chains import LLMChain

template = """{question}
请基于你的知识库回答，保持简洁。"""
prompt = PromptTemplate(template=template, input_variables=["question"])
chain = LLMChain(llm=llm, prompt=prompt)
output = chain.run(question="LangChain 是什么？")

五、构建 FastAPI 服务接口

将上述逻辑封装为 Web 服务，供外部系统调用。创建 main.py。

from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
from typing import Optional
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
from langchain.llms import HuggingFacePipeline
from transformers import pipeline

app = FastAPI(title="Private LLM API")

# 全局加载模型（启动时加载一次）
MODEL_PATH = "./models/baichuan2-13b"
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
pipe = pipeline(
    "text-generation",
    model=MODEL_PATH,
    tokenizer=tokenizer,
    device_map="auto",
    torch_dtype=torch.bfloat16,
    load_in_4bit=True,
    trust_remote_code=True,
    max_new_tokens=512
)
llm = HuggingFacePipeline(pipeline=pipe)

class ChatRequest(BaseModel):
    message: str
    history: Optional[list] = None

@app.post("/chat")
async def chat(request: ChatRequest):
    try:
        # 简单的上下文处理
        if request.history:
            context = "\n".join([f"{k}: {v}" for k, v in request.history])
            full_prompt = f"{context}\nUser: {request.message}"
        else:
            full_prompt = request.message
        
        response = llm(full_prompt)
        return {"status": "success", "reply": response}
    except Exception as e:
        raise HTTPException(status_code=500, detail=str(e))

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=8000)

六、常见问题与优化

6.1 显存不足 (OOM)

如果报错 CUDA out of memory，尝试以下方法：

1. 减小 batch_size 或 max_new_tokens。
2. 使用更激进的量化（如 2bit，需特定支持）。
3. 启用 cpu_offload 选项。
4. 关闭其他占用显存的应用。

6.2 推理速度慢

1. 考虑使用 vLLM 或 TGI (Text Generation Inference) 替代原生 Transformers 推理引擎。
2. 使用 FP16 或 BF16 精度而非 FP32。
3. 增加 GPU 数量并使用多卡并行。

6.3 安全与风控

1. 实施输入过滤，防止提示词注入攻击。
2. 设置请求频率限制（Rate Limiting）。
3. 敏感词过滤层。

七、Docker 容器化部署

为了简化环境依赖管理，推荐使用 Docker 进行部署。

1. 编写 Dockerfile：

   FROM nvidia/cuda:11.8.0-cudnn8-runtime-ubuntu22.04
   RUN apt-get update && apt-get install -y python3-pip git
   COPY requirements.txt .
   RUN pip install -r requirements.txt
   COPY . /app
   WORKDIR /app
   CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8000"]
   

2. 构建镜像：docker build -t llm-api .
3. 运行容器：docker run -p 8000:8000 --gpus all llm-api

八、监控与日志

生产环境需要完善的监控体系。

1. 日志记录：使用 logging 模块记录请求和错误信息。
2. 性能监控：集成 Prometheus 监控 GPU 利用率、显存占用及 QPS。
3. 健康检查：提供 /health 接口返回服务状态。

九、总结

本文详细介绍了在 Linux 环境下部署 Baichuan2-13B 大模型并结合 LangChain 进行私有化开发的完整流程。通过本地部署，开发者可以完全掌控数据流向，降低长期运营成本，并为定制化业务场景提供灵活的基础。后续可进一步探索 RAG（检索增强生成）、Agent 自主规划等高级应用场景。在实际操作中，请根据具体硬件条件调整量化策略和并发配置，以达到最佳性能平衡。