基于 vLLM 与 LangChain 的大模型部署与调用实践

性能监控

部署后可使用 nvidia-smi 查看显存占用情况：

nvidia-smi

典型的小模型部署可能占用约 19GB 显存，具体取决于模型参数量及量化方式。

LangChain 集成

安装依赖

pip install langchain-openai

基础调用

使用 LangChain 连接本地 vLLM 服务：

from langchain_openai import ChatOpenAI

# 连接信息配置
base_url = "http://localhost:8000/v1"
api_key = "EMPTY"  # 本地部署通常无需真实 Key
model_id = "Qwen2-0.5B-Instruct"

# 初始化 LLM 实例
llm = ChatOpenAI(
    base_url=base_url,
    api_key=api_key,
    model=model_id
)

# 发起调用
response = llm.invoke(input="你是谁？")
print(response.content)

流式响应

在实际应用中，推荐使用流式输出以提升用户体验：

for chunk in llm.stream("请介绍一下 Python 的列表推导式"):
    print(chunk.content, end="", flush=True)

返回信息解析

调用结果包含丰富的元数据，可用于分析 Token 使用情况：

• content: 生成的文本内容。
• response_metadata.token_usage: 包含 completion_tokens (生成 token)、prompt_tokens (输入 token) 和 total_tokens (总 token)。
• finish_reason: 结束原因，如 stop 表示正常结束。

模型类型与调用差异

模型常规情况下分为两种类型：Base 类型 和 Chat 类型。

• Base 类型 (Qwen2-0.5B)：适合继续预训练或作为基座，直接预测下一个 token。
• Chat 类型 (Qwen2-0.5B-Instruct)：经过指令微调，适合对话场景。

在 LangChain 中，调用方式需与模型类型匹配：

1. Chat 方式：使用 ChatOpenAI 类，适用于 Chat 类型模型。
2. Base 方式：使用 OpenAI 类，适用于 Base 类型模型。

若模型类型与调用方式不匹配，可能导致回复格式异常或逻辑错误。例如，使用 Base 方式调用 Chat 模型时，可能无法正确遵循指令格式。

常见问题排查

1. 显存溢出 (OOM)

现象：服务启动失败，报错 CUDA out of memory。 解决：

• 减小 tensor-parallel-size。
• 启用量化加载 (load_format=auto 或指定 fp16/int8)。
• 减少最大序列长度 (max_model_len)。

2. 连接拒绝 (Connection Refused)

现象：客户端无法连接到 localhost:8000。 解决：

• 检查 vLLM 服务是否正常运行。
• 确认防火墙未拦截 8000 端口。
• 尝试使用 curl http://localhost:8000/v1/models 测试连通性。

3. Token 限制

现象：生成长文本时被截断。 解决：

• 调整 max_tokens 参数。
• 增加 max_model_len 配置。

总结

本文详细介绍了基于 vLLM 和 LangChain 的大模型部署与调用流程。通过 vLLM 的高吞吐推理引擎，结合 LangChain 的灵活编排能力，开发者可以快速构建稳定、高效的 AI 应用。关键点在于理解模型类型与调用方式的匹配，以及合理配置推理参数以平衡性能与资源消耗。