医疗 NLP 实战：电子病历分析与疾病诊断辅助

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.feature_extraction.text import TfidfVectorizer

def disease_diagnosis_assistance(data):
    # 数据预处理
    data = data.dropna()
    data['symptoms'] = data['symptoms'].astype(str)
    
    # 特征工程
    X = data['symptoms']
    y = data['disease']
    
    # 数据划分
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
    
    # 文本向量化
    tfidf_vectorizer = TfidfVectorizer(stop_words='english')
    X_train_tfidf = tfidf_vectorizer.fit_transform(X_train)
    X_test_tfidf = tfidf_vectorizer.transform(X_test)
    
    # 模型训练
    model = LogisticRegression()
    model.fit(X_train_tfidf, y_train)
    
    # 模型评估
    y_pred = model.predict(X_test_tfidf)
    accuracy = accuracy_score(y_test, y_pred)
    print(f"模型准确率：{accuracy}")
    return model

1.3 药物相互作用检测

1.3.1 基本概念

识别联合用药风险是临床安全的重要环节。系统需判断药物间是否存在协同、拮抗作用，并评估潜在风险等级。

1.3.2 代码实现

使用随机森林分类器处理双药组合数据：

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score
from sklearn.feature_extraction.text import TfidfVectorizer

def drug_interaction_detection(data):
    # 数据预处理
    data = data.dropna()
    data['drug1'] = data['drug1'].astype(str)
    data['drug2'] = data['drug2'].astype(str)
    
    # 特征工程
    X = data[['drug1', 'drug2']]
    y = data['interaction']
    
    # 数据划分
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
    
    # 文本向量化
    tfidf_vectorizer = TfidfVectorizer(stop_words='english')
    X_train_tfidf = tfidf_vectorizer.fit_transform(X_train['drug1'] + ' ' + X_train['drug2'])
    X_test_tfidf = tfidf_vectorizer.transform(X_test['drug1'] + ' ' + X_test['drug2'])
    
    # 模型训练
    model = RandomForestClassifier(n_estimators=100)
    model.fit(X_train_tfidf, y_train)
    
    # 模型评估
    y_pred = model.predict(X_test_tfidf)
    accuracy = accuracy_score(y_test, y_pred)
    print(f"模型准确率：{accuracy}")
    return model

二、核心技术

2.1 医疗领域的文本预处理

医疗文本包含大量专业术语、缩写及特殊符号，通用分词往往效果不佳。预处理需重点关注：

1. 分词策略：针对医学词汇进行子词切分。
2. 停用词过滤：去除无意义虚词，保留实体关键词。
3. 术语标准化：统一同义词与缩写形式。
4. 数字处理：区分数值型指标与文本描述。

2.1.1 代码实现

结合 NLTK 与 spaCy 进行基础清洗：

import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
import spacy

def preprocess_medical_text(text):
    # 加载 spaCy 模型
    nlp = spacy.load("en_core_web_sm")
    
    # 分词和去停用词
    tokens = word_tokenize(text)
    stop_words = set(stopwords.words('english'))
    tokens = [token for token in tokens if token.lower() not in stop_words and token.isalpha()]
    
    # 专业术语识别
    doc = nlp(text)
    entities = [ent.text for ent in doc.ents if ent.label_ in ['DISEASE', 'SYMPTOM', 'DRUG', 'PROCEDURE', 'ANATOMY']]
    
    # 缩写解析逻辑需根据具体业务补充
    return tokens, entities

2.2 模型训练与优化

在医疗场景下，模型调优需格外谨慎：

• 数据质量：确保标注数据的准确性，噪声会直接影响诊断可靠性。
• 模型选择：优先选用经过生物医学语料预训练的模型（如 BioBERT）。
• 超参数优化：关注学习率与 Batch Size 对收敛的影响。
• 评估指标：除准确率外，务必引入 F1-score 以平衡类别不平衡问题。

三、前沿模型在医疗领域的使用

3.1 BioBERT 模型

BioBERT 在 PubMed 等生物医学语料上进行了深度预训练，对专业术语的理解远超通用 BERT。

3.1.1 使用示例

from transformers import BertTokenizer, BertForSequenceClassification
import torch

def analyze_medical_text(text, model_name='dmis-lab/biobert-v1.1', num_labels=3):
    tokenizer = BertTokenizer.from_pretrained(model_name)
    model = BertForSequenceClassification.from_pretrained(model_name, num_labels=num_labels)
    
    inputs = tokenizer(text, return_tensors='pt', max_length=512, truncation=True, padding=True)
    outputs = model(**inputs)
    
    probs = torch.nn.functional.softmax(outputs.logits, dim=-1)
    label = torch.argmax(probs, dim=-1).item()
    return label

3.2 ClinicalBERT 模型

ClinicalBERT 专注于临床笔记与电子病历，在处理非结构化临床文本时表现优异。

3.2.1 使用示例

from transformers import BertTokenizer, BertForSequenceClassification
import torch

def analyze_clinical_text(text, model_name='emilyalsentzer/Bio_ClinicalBERT', num_labels=3):
    tokenizer = BertTokenizer.from_pretrained(model_name)
    model = BertForSequenceClassification.from_pretrained(model_name, num_labels=num_labels)
    
    inputs = tokenizer(text, return_tensors='pt', max_length=512, truncation=True, padding=True)
    outputs = model(**inputs)
    
    probs = torch.nn.functional.softmax(outputs.logits, dim=-1)
    label = torch.argmax(probs, dim=-1).item()
    return label

四、医疗领域的特殊挑战

4.1 数据隐私问题

医疗数据涉及患者隐私，必须严格遵守 HIPAA 等法规。在实际部署中，建议采用数据脱敏、加密存储及访问控制机制。

4.2 专业术语处理

同一术语在不同科室可能含义不同（如'高血压'在心血管科与肾内科的关注点差异）。需要建立领域知识图谱辅助消歧。

4.3 法规要求

AI 辅助诊断工具属于医疗器械监管范畴，上线前需通过 FDA 或相关机构的审批，确保算法的可解释性与安全性。

五、实战项目：电子病历文本分类应用开发

5.1 项目需求分析

目标是构建一个轻量级桌面应用，支持用户输入病历文本并返回分类结果（入院/出院/手术），提供友好的交互界面。

5.2 系统架构设计

采用分层架构：

• UI 层：Tkinter 实现的图形界面。
• 逻辑层：处理业务请求与状态管理。
• 处理层：调用 NLP 模型进行推理。
• 存储层：本地文件存储历史记录。

5.3 系统实现

5.3.1 开发环境搭建

pip install transformers torch tkinter

5.3.2 电子病历输入模块

import tkinter as tk
from tkinter import scrolledtext

class TextInputFrame(tk.Frame):
    def __init__(self, parent, on_process):
        tk.Frame.__init__(self, parent)
        self.parent = parent
        self.on_process = on_process
        self.create_widgets()

    def create_widgets(self):
        self.text_input = scrolledtext.ScrolledText(self, width=60, height=10)
        self.text_input.pack(pady=10, padx=10, fill="both", expand=True)
        tk.Button(self, text="文本分类", command=self.process_text).pack(pady=10, padx=10)

    def process_text(self):
        text = self.text_input.get("1.0", tk.END)
        if text.strip():
            self.on_process(text.strip())
        else:
            tk.messagebox.showwarning("警告", "请输入电子病历文本")

5.3.3 文本分类核心逻辑

复用前述 analyze_ehr 函数，将输出映射为业务标签：

# 假设 classification 返回 0, 1, 2
if classification == 0:
    result = "入院记录"
elif classification == 1:
    result = "出院记录"
else:
    result = "手术记录"

5.3.4 结果可视化

import tkinter as tk
from tkinter import scrolledtext

class ResultFrame(tk.Frame):
    def __init__(self, parent):
        tk.Frame.__init__(self, parent)
        self.parent = parent
        self.create_widgets()

    def create_widgets(self):
        self.result_text = scrolledtext.ScrolledText(self, width=60, height=5)
        self.result_text.pack(pady=10, padx=10, fill="both", expand=True)

    def display_result(self, result):
        self.result_text.delete("1.0", tk.END)
        self.result_text.insert(tk.END, result)

5.3.5 主程序入口

import tkinter as tk
from tkinter import ttk, messagebox
from text_input_frame import TextInputFrame
from result_frame import ResultFrame
from ehr_analysis_functions import analyze_ehr

class EhrAnalysisApp:
    def __init__(self, root):
        self.root = root
        self.root.title("电子病历文本分类应用")
        self.create_widgets()

    def create_widgets(self):
        self.text_input_frame = TextInputFrame(self.root, self.process_text)
        self.text_input_frame.pack(pady=10, padx=10, fill="both", expand=True)
        self.result_frame = ResultFrame(self.root)
        self.result_frame.pack(pady=10, padx=10, fill="both", expand=True)

    def process_text(self, text):
        try:
            classification = analyze_ehr(text)
            if classification == 0:
                result = "入院记录"
            elif classification == 1:
                result = "出院记录"
            else:
                result = "手术记录"
            self.result_frame.display_result(result)
        except Exception as e:
            messagebox.showerror("错误", f"处理失败：{str(e)}")

if __name__ == "__main__":
    root = tk.Tk()
    app = EhrAnalysisApp(root)
    root.mainloop()

5.4 系统运行与测试

5.4.1 运行步骤

1. 安装依赖库。
2. 运行主脚本 ehr_analysis_app.py。
3. 在输入框粘贴病历文本。
4. 点击按钮查看分类结果。

5.4.2 测试用例

输入示例：

'患者男性，65 岁，因咳嗽、咳痰 1 周入院。诊断为慢性支气管炎急性发作。给予抗感染治疗，今日出院。' 预期输出应归类为'出院记录'。

六、总结

本文梳理了 NLP 技术在医疗场景下的核心应用路径，从电子病历分析到药物检测，再到具体的模型选型与工程落地。虽然面临数据隐私与合规性挑战，但随着 BioBERT 等专用模型的成熟，自动化处理效率已显著提升。希望这套实战方案能为开发者提供有价值的参考，助力医疗 AI 产品的快速迭代。