扁鹊 -2.0 中文医疗大模型介绍与部署

安装依赖：安装项目所需的依赖库：

pip install cpm_kernels
pip install torch1.13.1+cu116 torchvision0.14.1+cu116 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu116
pip install -r requirements.txt
pip install rouge_chinese nltk jieba datasets

以下安装为了运行 demo

pip install streamlit
pip install streamlit_chat

配置说明

Windows 用户的特别说明：在 Windows 操作系统下，安装和配置可能需要额外的步骤：

cd BianQue
conda create -n proactivehealthgpt_py38 python=3.8
conda activate proactivehealthgpt_py38
pip install torch1.13.1+cu116 torchvision0.14.1+cu116 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu116
pip install -r requirements.txt
pip install rouge_chinese nltk jieba datasets

配置 CUDA-11.6：

下载并安装 CUDA-11.6。

下载 cudnn-8.4.0，解压并复制其中的文件到 CUDA-11.6 对应的路径。

参考通用安装指南调整 CUDA 配置。

使用示例

启动服务：通过以下命令启动 BianQue-2.0 模型的示例应用，然后访问指定的 URL：

streamlit run bianque_v2_app.py --server.port 9005

在 bianque_v2_app.py 中，您可以更改以下代码来指定使用的 GPU：

os.environ['CUDA_VISIBLE_DEVICES'] = '1' # 对于单显卡 Windows 用户，请设为'0'

调用模型：在 Python 环境中，您可以这样调用 BianQue-2.0 模型进行单轮或多轮对话：

import torch
from transformers import AutoModel, AutoTokenizer

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model_name_or_path = 'scutcyr/BianQue-2'
model = AutoModel.from_pretrained(model_name_or_path, trust_remote_code=True).half()
model.to(device)
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)

示例：单轮对话

user_input = "我的宝宝发烧了，怎么办？"
input_text = "病人：" + user_input + "\n医生："
response, history = model.chat(tokenizer, query=input_text, history=None, max_length=2048, num_beams=1, do_sample=True, top_p=0.75, temperature=0.95, logits_processor=None)

通过这些详细的步骤，用户可以轻松地设置和使用 BianQue-2.0 模型，从而在各种医疗健康咨询场景中应用先进的人工智能技术。

配置说明

具体配置详情请参见项目 README 文件，特别是对于 Windows 用户的 CUDA 配置说明。

使用指南

基本使用

通过以下 Python 代码快速调用模型进行单轮或多轮对话：

from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained("scutcyr/BianQue-2")
tokenizer = AutoTokenizer.from_pretrained("scutcyr/BianQue-2")

示例代码

单轮对话示例：

response, history = model.chat(tokenizer, query="我的宝宝发烧了，怎么办？", history=None)

文档与资源

API 文档

查看 API 文档：https://github.com/scutcyr/BianQue/wiki/API

参考资源

医疗问询数据集 MedDialog-CN： https://github.com/MedDialog

深度学习库 PyTorch 官网：https://pytorch.org