Apollo 是一款开源的多语言医疗大型语言模型，覆盖英、中、法、西、阿、印六国语言，服务全球 61 亿人口。该模型采用轻量级架构，包含 0.5B 至 7B 多种规模，支持本地化部署以保护隐私。核心优势在于代理模型调优技术，无需接触敏感数据即可提升大模型医疗能力。基于 ApolloCorpora 数据集训练，并在 XMedBench 评测中表现优异，Apollo-7B 性能接近 GPT-3.5。项目提供了详细的安装与推理指南，适用于学术研究及医疗场景应用，未来将拓展视觉理解能力。
医疗知识的整合与人工智能一直是研究界的焦点。尽管医疗大型语言模型（LLM）前景广阔，但现有工作主要集中在中文和英文上，对于其他语言的多语言适配还有待进一步探索。为了将最先进的 LLM 的好处普及到更广泛的用户群体，研究团队开发了 Apollo 系列多语言医疗 LLM。这一举措旨在将 LLM 视为现代版的医疗基础创新，类似于历史上电力和疫苗的普及。
Apollo 作为一个轻量级的多语言医疗 LLM，具有以下显著优势：
构建高质量的多语言医疗 LLM 需要庞大的语料支持。研究团队构建了 ApolloCorpora 数据集，覆盖了英语、中文、印地语、西班牙语、法语和阿拉伯语六种最广泛使用的语言，涵盖了全球约 61 亿人口。
数据来源包括书籍、临床指南、百科全书、论文、在线论坛和考试等，共 2.5 万亿 tokens。在数据处理过程中，研究团队针对不同语言的医学特点进行了本地化特征保留，确保数据的准确性和文化适应性。
基于 ApolloCorpora，研究团队开发了 Apollo 系列多语言医疗 LLM，其中包括 0.5B、1.8B、2B、6B 和 7B 等不同规模的模型。相较于传统的继续预训练和指令微调方法，Apollo 采用了一种新的域适应方法：使用 ChatGPT 将预训练语料重写为问答对，并采用自适应采样策略，实现了更平滑的过渡。
这种相对较小规模的模型设计，使 Apollo 可以作为大模型的代理模型 (Proxy Tuning) 使用，在不需要直接训练大模型的情况下，即可显著提升其多语言医疗能力，从而保护医疗训练数据的隐私。
为了实现高效的域适应，Apollo 采用了以下关键技术步骤：
为了全面评估多语言医疗 LLM 的性能，研究团队构建了 XMedBench 评测集。该评测集包括：
评测结果显示，虽然 GPT-4 和 Qwen-72B 在闭源和开源模型中排名第一，但 Apollo 系列模型在同等规模下取得了最佳性能。其中 Apollo-7B 的表现与 GPT-3.5 持平，Apollo-1.8B 与 Mistral-7B 持平，Apollo-0.5B 与 Llama2-7B 持平。
虽然阿拉伯语和印地语的支持仍有待进一步提高，但 Apollo 系列模型在英语、中文、法语和西班牙语等主流语言的医疗知识理解方面已经达到了领先水平。
为了帮助开发者快速上手 Apollo 模型，以下是基于 Hugging Face Transformers 库的使用示例。
首先，确保安装了必要的依赖库：
pip install transformers torch accelerate
以下代码展示了如何加载 Apollo-7B 模型并进行简单的医疗问答推理：
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
model_name = "apollo-medical-7b" # 替换为实际模型路径
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")
prompt = "患者出现持续高烧和咳嗽，可能的原因是什么？"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=100)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)
由于 Apollo 模型体积较小，适合边缘设备部署。建议使用量化技术（如 INT8 或 FP16）来进一步降低显存占用，提高推理速度。
总的来说，Apollo 系列模型的开源发布，为多语种医疗人工智能的发展注入了新动力，有望让全球 61 亿人受益于先进的医疗 AI 技术。未来，研究团队还计划进一步优化 Apollo 在视觉理解和生成等方面的能力，以及与大型语言模型的深度融合。通过持续的技术迭代，Apollo 有望成为医疗垂直领域的重要基础设施。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online