医疗 AI 场景下的朴素贝叶斯算法应用

拉普拉斯平滑

在估计条件概率时，如果某个特征在训练集中未出现，其概率会为零，导致整个乘积为零。为避免这一问题，通常引入拉普拉斯平滑（加一平滑）： [ P(x_i | C_k) = \frac{\text{计数}(x_i, C_k) + \alpha}{\text{总计数}(C_k) + \alpha \cdot n} ] 其中 (\alpha \geq 0) 是平滑参数，通常取 1。

对数概率与数值稳定性

由于多个概率相乘可能导致数值下溢，实际计算中通常取对数，将乘法转化为加法： [ \log P(C_k | x) \propto \log P(C_k) + \sum_{i=1}^{p} \log P(x_i | C_k) ] 由于对数函数单调递增，分类时只需比较不同类别的对数后验概率大小即可。

算法流程

朴素贝叶斯的训练和预测流程如下：

训练阶段：

• 计算每个类别的先验概率 (P(C_k))（如用频率估计）。
• 对于每个类别，估计每个特征的条件概率分布 (P(x_i | C_k))（根据分布假设计算参数）。

预测阶段：

• 对于新样本，计算每个类别的对数后验概率： [ \text{score}(C_k) = \log P(C_k) + \sum_{i=1}^{p} \log P(x_i | C_k) ]
• 选择得分最高的类别作为预测结果。

医疗应用场景

朴素贝叶斯在医疗领域的应用主要集中在文本分类任务，同时也适用于部分非文本分类场景。

电子病历文本分类

电子病历中包含大量自由文本，如病程记录、出院小结、影像报告等。朴素贝叶斯可用于：

• 疾病自动编码：根据文本描述自动分配 ICD（国际疾病分类）编码，提高编码效率和一致性。
• 病历结构化：从非结构化文本中抽取关键信息，如症状、诊断、药物、手术名称，并将其归类到预定义类别。
• 病历质量检查：识别病历中缺失的关键信息或不规范表述。

临床文献与指南分类

医学文献数据库（如 PubMed）包含海量文献，朴素贝叶斯可用于：

• 文献自动分类：根据摘要将文献分类到不同学科领域（如心脏病学、肿瘤学、儿科学）。
• 证据等级识别：从文献中识别研究类型（随机对照试验、队列研究、病例报告等）。
• 指南要素抽取：从临床指南中抽取推荐意见、证据级别、适用人群等。

医学问答与聊天机器人

在医学问答系统中，朴素贝叶斯可用于：

• 意图识别：判断用户提问的意图，如咨询症状、询问药物、预约挂号等。
• 问题分类：将问题分类到预设的常见问题类别，便于检索答案。
• 情感分析：分析患者留言的情感倾向（积极、消极、中性），用于患者满意度监测。

药物警戒与不良反应监测

从社交媒体、药物评论、电子病历中自动识别药物不良反应：

• 文本分类：将文本分为'提及不良反应'和'未提及不良反应'。
• 不良反应类型分类：进一步将提及不良反应的文本分类到具体类型（如皮疹、恶心、肝损伤）。

流行病学监测与症状监测

从急诊记录、网络搜索记录中早期识别传染病暴发：

• 症状监测：将主诉文本分类到症状类别（如发热、咳嗽、腹泻），用于症候群监测。
• 疾病暴发预警：根据症状组合和时间空间信息，识别异常聚集。

医学教育与学生评估

在医学教育中，朴素贝叶斯可用于：

• 试题分类：将试题按学科、难度自动分类。
• 答案评分：对开放式问题答案进行初步分类评分。

非文本医疗应用

尽管朴素贝叶斯在文本分类中表现突出，它也可用于其他医疗任务：

• 疾病诊断：基于离散症状或检验结果进行分类，如根据症状组合诊断疾病。
• 基因表达分类：将基因表达谱离散化后，用朴素贝叶斯分类肿瘤亚型。
• 患者风险分层：基于离散特征（如风险因素存在与否）进行风险分层。

案例实战：基于朴素贝叶斯的病理报告自动分类

病理报告是癌症诊断的金标准，其中包含对肿瘤类型、分级、分期等的详细描述。自动对病理报告进行分类，可辅助肿瘤登记、科研数据提取和临床决策支持。本节将使用一个模拟的病理报告数据集，演示如何利用朴素贝叶斯进行多类别文本分类。

数据集介绍

我们模拟一个包含 2000 份病理报告的数据集，每份报告为一段英文文本，涉及三种主要癌症类型：

• 乳腺癌（Breast Cancer）
• 肺癌（Lung Cancer）
• 结直肠癌（Colorectal Cancer）

文本中包含了肿瘤部位、组织学类型、分级、免疫组化等信息。目标是构建一个分类器，能够根据报告文本自动判断癌症类型。

数据加载与探索

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB, BernoulliNB
from sklearn.metrics import classification_report, confusion_matrix, accuracy_score
from sklearn.pipeline import Pipeline
import re
import nltk
from nltk.corpus import stopwords
nltk.download('stopwords')
stop_words = stopwords.words('english')

# 加载数据（假设已有 csv 文件）
df = pd.read_csv('pathology_reports.csv')
print(df.head())
print(df['cancer_type'].value_counts())

输出示例：

 report_id text cancer_type
0 1 "Invasive ductal carcinoma, grade 2, ER+..." Breast
1 2 "Adenocarcinoma of the lung, T2N1M0, EGFR..." Lung
2 3 "Moderately differentiated adenocarcinoma..." Colorectal
3 4 "Lobular carcinoma, grade 1, ER+/PR+..." Breast
4 5 "Squamous cell carcinoma of the lung, pT3..." Lung
cancer_type
Breast 800
Lung 700
Colorectal 500

文本预处理

文本分类的关键步骤是将原始文本转换为数值特征向量。常用方法包括：

• 清洗：去除标点、数字、特殊字符，转换为小写。
• 分词：将文本分割为单词（token）。
• 去除停用词：移除常见但对分类贡献不大的词（如'the'、'is'等）。
• 词干提取/词形还原：将单词还原为词根形式（如'running' -> 'run'）。
• 向量化：将文本表示为词频或 TF-IDF 矩阵。

我们使用 scikit-learn 的 CountVectorizer 或 TfidfVectorizer，它们内置了清洗、分词、去除停用词等功能。

# 定义预处理函数（可选，可集成到向量器中）
def preprocess_text(text):
    # 转为小写
    text = text.lower()
    # 去除标点和数字
    text = re.sub(r'[^a-zA-Z\s]', '', text)
    return text

df['clean_text'] = df['text'].apply(preprocess_text)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(
    df['clean_text'], df['cancer_type'], test_size=0.2, random_state=42, stratify=df['cancer_type'])

构建朴素贝叶斯分类器

我们使用管道将向量化器和分类器组合，便于调参和交叉验证。

from sklearn.pipeline import Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer

# 使用 TF-IDF 向量化 + 多项式朴素贝叶斯
pipeline = Pipeline([
    ('tfidf', TfidfVectorizer(stop_words='english', max_features=5000)),
    ('clf', MultinomialNB())
])