本地笔记本运行 BioMedGPT 大模型入门教程

方式二：直接下载文件

访问模型页面，手动下载以下关键文件至本地目录：

• config.json
• tokenizer.json, tokenizer.model, tokenizer_config.json
• pytorch_model.bin.index.json
• pytorch_model-00001-of-00003.bin 等分片文件

方式三：使用 snapshot_download 工具

在 Python 脚本中调用 Hugging Face Hub 工具下载：

from huggingface_hub import snapshot_download
snapshot_download(repo_id="PharMolix/BioMedGPT-LM-7B")

支持断点续传 (resume_download=True) 和按需下载 (allow_patterns 参数)。

3. 模型加载与 Tokenizer

加载模型前，请确保当前目录下包含上述下载的模型文件。

加载模型

使用 transformers 库的 AutoModelForCausalLM 类加载本地模型：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "./PharMolix/BioMedGPT-LM-7B"

# 加载模型
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    device_map="auto",  # 自动分配设备，CPU 模式下有效
    low_cpu_mem_usage=True
)

# 打印模型信息
print(model)

加载 Tokenizer

Tokenizer 负责将文本转换为模型可理解的向量。代码示例如下：

tokenizer = AutoTokenizer.from_pretrained(model_path)

# 测试输入
input_text = "How to design a drug?"
inputs = tokenizer(input_text, return_tensors="pt")

# 获取输出
outputs = model.generate(**inputs, max_new_tokens=128)
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

注意：在纯 CPU 环境下运行 7B 模型推理速度较慢，可能需要数分钟甚至更久，请耐心等待。

第二部分：Windows 笔记本环境搭建与运行

1. 环境搭建

Windows 用户同样建议使用 Conda 进行环境隔离。

安装 Miniconda

访问官网下载 Windows 版本安装包，安装时勾选'Add to PATH'。

创建与激活环境

conda create -n BioMedGPT-env python=3.10
conda activate BioMedGPT-env

安装依赖包

安装 PyTorch、Transformers 及相关加速库：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch transformers xformers accelerate

2. 模型加载与推理

Windows 下可使用 Pipeline 简化流程。

from transformers import pipeline, AutoTokenizer, LlamaForCausalLM
import torch

model_path = "./PharMolix/BioMedGPT-LM-7B"

# 初始化 Pipeline
pipe = pipeline(
    task="text-generation",
    model=LlamaForCausalLM.from_pretrained(model_path, low_cpu_mem_usage=True),
    tokenizer=AutoTokenizer.from_pretrained(model_path)
)

# 执行推理
response = pipe("How to design a drug?", max_new_tokens=128)
print(response[0]['generated_text'])

3. 常见问题排查

1. 内存不足 (OOM)：
   • 关闭其他占用内存的程序。
   • 尝试使用量化版本模型（如 INT4 量化）。
   • 减少 max_new_tokens 参数。
2. 下载中断：
   • 使用 snapshot_download 的 resume_download=True 参数。
   • 检查网络连接，必要时切换 DNS。
3. CUDA 不可用：
   • 本教程默认 CPU 模式，无需 CUDA。若使用 GPU，需安装对应版本的 PyTorch CUDA 版。

总结与后续

本教程详细演示了在 Mac 和 Windows 笔记本上从零部署 BioMedGPT-LM-7B 的全过程。通过本地运行大模型，开发者可以低成本地探索 AI 能力，为后续的微调、应用开发打下基础。

下一步建议：

1. 性能优化：学习模型量化技术（Quantization），将显存/内存占用降低 50% 以上。
2. GPU 加速：若拥有 NVIDIA 显卡，配置 CUDA 环境以获得秒级推理响应。
3. 垂直应用：结合 LangChain 框架，构建医药咨询助手或知识库问答系统。

掌握大模型本地部署能力，是迈向全栈 AI 工程师的重要一步。