本文提供了在 MacBook 和 Windows 笔记本上本地运行 BioMedGPT-LM-7B 大模型的完整教程。内容涵盖 Conda 环境配置、PyTorch 与 Transformers 库安装、模型下载（Git/直接下载/HF 工具）、模型加载、Tokenizer 处理及文本生成推理。教程特别针对 CPU 环境下的内存限制提供了优化建议，并包含常见问题的排查方法，适合希望低成本入门大模型技术的工程师参考。
以大语言模型 (LLM) 为核心的 AI 技术正在快速发展。对于工程师而言，掌握与 AI 交流的能力（如 Prompt Engineering）以及理解模型运行机制变得尤为重要。然而，从零入门大模型技术存在一定门槛，例如对硬件资源（内存、GPU）的要求较高。
本文旨在提供一份详细的本地部署指南，帮助开发者在普通家用笔记本（MacBook 或 Windows）上运行开源的生物医药领域大模型 BioMedGPT-LM-7B。该模型基于 Llama-2-7B 架构，针对生物医药语料进行了增量训练。通过本教程，你将学会如何配置环境、下载模型、加载模型并执行文本生成推理。
虽然本教程针对 CPU 环境优化，但为了获得较好的体验，建议：
推荐使用 Miniconda 管理 Python 环境，避免系统自带 Python 冲突。
访问 Miniconda 官网下载 macOS ARM64 版本安装包并安装。安装完成后，打开终端验证：
conda --version
创建名为 biomedgpt 的环境，指定 Python 版本为 3.10：
conda create -n biomedgpt python=3.10
conda activate biomedgpt
安装 PyTorch 和 Transformers 库。Mac M1/M2 芯片需使用 Apple Silicon 版本的 PyTorch。
安装 PyTorch：
pip install torch torchvision torchaudio
注：若 pip 安装缓慢，可指定国内镜像源，如清华源：
pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple
安装 Transformers：
pip install transformers
BioMedGPT-LM-7B 托管于 Hugging Face Hub。由于模型文件较大（约 14GB），推荐使用以下三种方式之一下载。
确保已安装 Git 和 Git LFS（Large File Storage）：
brew install git
brew install git-lfs
git lfs install
然后克隆仓库：
git clone https://huggingface.co/PharMolix/BioMedGPT-LM-7B
cd PharMolix/BioMedGPT-LM-7B
访问模型页面，手动下载以下关键文件至本地目录：
config.jsontokenizer.json, tokenizer.model, tokenizer_config.jsonpytorch_model.bin.index.jsonpytorch_model-00001-of-00003.bin 等分片文件在 Python 脚本中调用 Hugging Face Hub 工具下载：
from huggingface_hub import snapshot_download
snapshot_download(repo_id="PharMolix/BioMedGPT-LM-7B")
支持断点续传 (resume_download=True) 和按需下载 (allow_patterns 参数)。
加载模型前，请确保当前目录下包含上述下载的模型文件。
使用 transformers 库的 AutoModelForCausalLM 类加载本地模型：
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_path = "./PharMolix/BioMedGPT-LM-7B"
# 加载模型
model = AutoModelForCausalLM.from_pretrained(
model_path,
device_map="auto", # 自动分配设备，CPU 模式下有效
low_cpu_mem_usage=True
)
# 打印模型信息
print(model)
Tokenizer 负责将文本转换为模型可理解的向量。代码示例如下：
tokenizer = AutoTokenizer.from_pretrained(model_path)
# 测试输入
input_text = "How to design a drug?"
inputs = tokenizer(input_text, return_tensors="pt")
# 获取输出
outputs = model.generate(**inputs, max_new_tokens=128)
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)
注意：在纯 CPU 环境下运行 7B 模型推理速度较慢，可能需要数分钟甚至更久，请耐心等待。
Windows 用户同样建议使用 Conda 进行环境隔离。
访问官网下载 Windows 版本安装包，安装时勾选'Add to PATH'。
conda create -n BioMedGPT-env python=3.10
conda activate BioMedGPT-env
安装 PyTorch、Transformers 及相关加速库：
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch transformers xformers accelerate
Windows 下可使用 Pipeline 简化流程。
from transformers import pipeline, AutoTokenizer, LlamaForCausalLM
import torch
model_path = "./PharMolix/BioMedGPT-LM-7B"
# 初始化 Pipeline
pipe = pipeline(
task="text-generation",
model=LlamaForCausalLM.from_pretrained(model_path, low_cpu_mem_usage=True),
tokenizer=AutoTokenizer.from_pretrained(model_path)
)
# 执行推理
response = pipe("How to design a drug?", max_new_tokens=128)
print(response[0]['generated_text'])
max_new_tokens 参数。snapshot_download 的 resume_download=True 参数。本教程详细演示了在 Mac 和 Windows 笔记本上从零部署 BioMedGPT-LM-7B 的全过程。通过本地运行大模型，开发者可以低成本地探索 AI 能力，为后续的微调、应用开发打下基础。
下一步建议：
掌握大模型本地部署能力，是迈向全栈 AI 工程师的重要一步。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online