InternLM2 书生·浦语大模型本地化部署指南

执行脚本后，需确保服务器防火墙开放对应端口（如 8888），以便外部访问。

Streamlit 部署

官方提供了基于 Streamlit 的示例代码，适合轻量级展示。

部署脚本示例：

cd ~
# 安装环境
pip install streamlit==1.24.0
pip install transformers==4.37.0

# 克隆代码
git clone https://github.com/InternLM/InternLM.git

# 运行
streamlit run ./InternLM/chat/web_demo.py

默认启动端口为 8501，同样需要配置网络访问权限。

代码方式调用

Transformers

适用于直接加载模型进行推理。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

if __name__ == '__main__':
    # 本地路径请根据实际情况调整
    model_path = "./internlm2-chat-7b"
    tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
    model = AutoModelForCausalLM.from_pretrained(
        model_path, 
        device_map="auto",
        trust_remote_code=True, 
        torch_dtype=torch.float16
    )
    model = model.eval()
    response, history = model.chat(tokenizer, "你好 我是 Cleaner", history=[])
    print(response)

ModelScope

适用于从魔搭社区下载模型。

import torch
from modelscope import snapshot_download, AutoTokenizer, AutoModelForCausalLM

if __name__ == '__main__':
    # 下载模型到本地目录
    model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm2-chat-7b')
    tokenizer = AutoTokenizer.from_pretrained(model_dir, device_map="auto", trust_remote_code=True)
    model = AutoModelForCausalLM.from_pretrained(
        model_dir, 
        device_map="auto", 
        trust_remote_code=True,
        torch_dtype=torch.float16
    )
    model = model.eval()
    response, history = model.chat(tokenizer, "你好 我是 Cleaner", history=[])
    print(response)

LMDeploy

适用于高性能推理场景，支持 TensorRT-LLM 后端。

from lmdeploy import pipeline, TurbomindEngineConfig

if __name__ == '__main__':
    backend_config = TurbomindEngineConfig(
        tp=1,
        max_batch_size=64,
        cache_max_entry_count=0.1
    )
    # 替换为实际模型路径
    pipe = pipeline("./internlm2-chat-7b", backend_config=backend_config)
    response = pipe(["你好 我是 Cleaner"])
    print(response)

常见问题与优化

显存溢出 (OOM)

如果部署过程中出现 OOM 错误，可尝试以下方案：

1. 减小 max_batch_size。
2. 开启模型量化（如 INT8 或 FP16）。
3. 减少 cache_max_entry_count 的值。

推理速度优化

1. 多卡并行：增加 tp 参数，利用多 GPU 加速计算。
2. 批量处理：适当调高 max_batch_size，提高吞吐量。
3. 使用专用引擎：优先使用 LMDeploy 的 Turbomind 引擎，相比原生 Transformers 有显著性能提升。

总结

InternLM2 具备开源免费、可商用、超长上下文支持及工具调用能力强等特点。通过上述步骤，开发者可以快速在本地搭建私有化大模型服务，结合业务需求进行微调或应用开发，打造专属的智能助手。

• 开源免费：支持商业使用。
• 超长上下文：支持 200K token 输入，适合长文本分析与多轮对话记忆。
• 工具调用：支持 Agent 模式，可完成复杂任务编排。
• 灵活部署：支持多种推理框架，适应不同硬件环境。