大语言模型 InternLM2（书生·浦语）一键部署

Streamlit

官方提供了基于 Streamlit 的部署代码示例。Streamlit 适合快速构建数据应用，默认加载远程 Hugging Face 仓库中的模型。如果已将模型下载到本地，可修改源码从本地加载以加速启动。

脚本文件如下，可直接执行，一键部署：

cd ~

# 安装环境
pip install streamlit==1.24.0
pip install transformers==4.37.0

# 克隆代码
git clone https://github.com/InternLM/InternLM.git

# 运行
streamlit run ./InternLM/chat/web_demo.py

默认启动端口为 8501，同样记得在防火墙或安全组中开放该端口。交互页面简洁直观，适合轻量级测试。

代码方式

注意：代码中 ./internlm2-chat-7b 为模型本地存储路径，请根据实际情况自行调整。若未下载模型，可替换为远程仓库地址。

Transformers

使用 Hugging Face Transformers 库直接加载模型进行推理。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

if __name__ == '__main__':
    # 没有本地模型，替换为 internlm/internlm2-chat-7b
    tokenizer = AutoTokenizer.from_pretrained("./internlm2-chat-7b", trust_remote_code=True)
    model = AutoModelForCausalLM.from_pretrained("./internlm2-chat-7b", device_map="auto",
                                                 trust_remote_code=True, torch_dtype=torch.float16)
    model = model.eval()
    response, history = model.chat(tokenizer, "你好 我是 Cleaner", history=[])
    print(response)

ModelScope

使用 ModelScope（魔搭社区）SDK 下载并加载模型，国内网络环境下下载速度通常更快。

import torch
from modelscope import snapshot_download, AutoTokenizer, AutoModelForCausalLM

if __name__ == '__main__':
    # 没有本地模型，替换为 Shanghai_AI_Laboratory/internlm2-chat-7b
    model_dir = snapshot_download('./internlm2-chat-7b')
    tokenizer = AutoTokenizer.from_pretrained(model_dir, device_map="auto", trust_remote_code=True)
    model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True,
                                                 torch_dtype=torch.float16)
    model = model.eval()
    response, history = model.chat(tokenizer, "你好 我是 Cleaner", history=[])
    print(response)

LMDeploy

LMDeploy 是专为大模型推理优化的引擎，性能通常优于原生 Transformers。它支持多种后端配置，包括 vLLM 和 Turbomind。

from lmdeploy import pipeline, TurbomindEngineConfig

if __name__ == '__main__':
    backend_config = TurbomindEngineConfig(tp=1,
                                           max_batch_size=64,
                                           cache_max_entry_count=0.1)
    # 没有本地模型，替换为 internlm/internlm2-chat-7b
    pipe = pipeline("./internlm2-chat-7b", backend_config=backend_config)
    response = pipe(["你好 我是 Cleaner"])
    print(response)

常见问题与优化

1. 显存不足（OOM）： 如果遇到 Out Of Memory 错误，尝试减小 max_batch_size 或 cache_max_entry_count 的值。对于 7B 模型，建议单卡显存至少预留 24GB 以确保稳定运行。

2. 依赖冲突： 安装 lmdeploy 等库时，可能遇到 CUDA 版本不匹配问题。建议先检查 nvidia-smi 输出的驱动版本，再安装对应的 PyTorch 和 LMDeploy 版本。

3. 安全性配置： 将服务暴露在公网前，建议增加身份验证机制（如 HTTP Basic Auth）或使用 Nginx 反向代理限制访问 IP，防止模型被滥用。

4. 量化部署： 若显存受限，可考虑使用 LMDeploy 的 INT4 量化功能，这能在保持较高精度的同时显著降低显存占用。

总结

梳理 InternLM2 的特点，帮助想要使用大语言模型的个人开发者或者企业，在面对众多大语言模型时，能够了解大语言模型提供的能力，并结合自身的需求与成本，做出清晰明确的选择。

• 开源免费、可商用：InternLM2 采用宽松协议，允许商业场景使用。
• 超长上下文支持：支持 200K token 的输入与理解。适用于书籍等大文本数据做摘要总结、若干轮对话后回忆之前的内容（大海捞针）。
• 支持工具调用能力：能够在一次交互中多次调用工具，完成相对复杂的任务（Agent）。
• 支持微调和训练：提供专有数据集，打造个人/企业私有化大模型。

InternLM2 展现了国产大模型在技术上的进步，为开发者提供了灵活高效的部署方案。无论是通过 Web 界面快速体验，还是集成到业务系统中，都能满足多样化的需求。随着生态的完善，其应用前景将更加广阔。