Llama3 医疗大模型 OpenBioLLM 安装与应用指南
重要提示：虽然这些模型可以提供初步的医学知识了解，但对于个人具体的医疗需求，请务必咨询合格的医疗保健提供者。本工具仅用于研究、开发和探索性应用，绝不应被视为合格医生的专业判断和专业知识的替代品。
1. 医疗大模型介绍
OpenBioLLM-Llama3 是专为生物医学领域优化的开源大语言模型（LLM）。在多项基准测试中，其表现优于 GPT-4、Gemini、Meditron-70B、Med-PaLM-1 和 Med-PaLM-2。
该系列提供两个主要版本：
- OpenBioLLM-70B：提供 SOTA（State-of-the-Art）性能，为同等规模模型设立了新的最先进水平。
- OpenBioLLM-8B：在保持轻量级的同时，性能甚至超越了 GPT-3.5、Gemini 和 Meditron-70B。
模型资源
- 排行榜：https://huggingface.co/spaces/openlifescienceai/open_medical_llm_leaderboard
- 70B 模型：https://huggingface.co/aaditya/Llama3-OpenBioLLM-70B
- 8B 模型：https://huggingface.co/aaditya/Llama3-OpenBioLLM-8B
2. 本地部署与安装指南
为了在本地高效运行模型，我们推荐使用 llama-cpp-python 库配合 GGUF 量化格式的模型文件。
2.1 环境依赖安装
首先确保 Python 环境已配置好，并安装核心依赖库。
pip install llama-cpp-python
如果在使用 NVIDIA GPU 加速，建议指定 CUDA 版本进行编译安装，以获得最佳推理速度：
CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python
2.2 下载模型文件
从 Hugging Face 下载 GGUF 量化版本的模型文件。推荐使用 Q5_K_M 或 Q4_K_M 格式，以平衡显存占用与生成质量。
from huggingface_hub import hf_hub_download
from llama_cpp import Llama
model_name = "aaditya/OpenBioLLM-Llama3-8B-GGUF"
model_file = "openbiollm-llama3-8b.Q5_K_M.gguf"
# 下载到本地目录
model_path = hf_hub_download(
model_name,
filename=model_file,
local_dir='./models'
)
print(f"Model loaded at: ")
llm = Llama(
model_path=model_path,
n_gpu_layers=-,
n_ctx=
)
