医疗AI场景下算法编程的深度解析（2026新生培训讲稿）（五）
第9章 朴素贝叶斯算法：医学文本分类利器
在医疗信息化进程中，非结构化的文本数据占据了医疗信息的很大比重——从电子病历的病程记录、出院小结，到医学文献、临床指南，乃至患者的在线咨询记录。如何从这些海量文本中高效、准确地提取关键信息，是医疗AI面临的重要挑战。朴素贝叶斯（Naïve Bayes）算法以其简单、高效、对高维稀疏数据适应性强的特点，成为医学文本分类任务中的经典利器。本章将从算法原理出发，深入解析朴素贝叶斯在医疗场景中的应用，并通过实战案例展示从文本预处理、特征提取到模型训练与评估的完整流程。
9.1 算法原理
朴素贝叶斯是一系列基于贝叶斯定理的分类算法，其核心是“朴素”的条件独立性假设——在给定类别的情况下，各个特征之间相互独立。尽管这一假设在现实中很少完全成立，但朴素贝叶斯在众多实际任务中仍表现出色，尤其是在文本分类领域。
9.1.1 贝叶斯定理
贝叶斯定理描述了在已知某些条件下，事件发生的概率如何更新。对于分类问题，我们希望计算给定样本 (x) 的条件下，其属于类别 (C_k) 的概率，即后验概率 (P(C_k | x))。根据贝叶斯定理：
[
P(C_k | x) = \frac{P(x | C_k) P(C_k)}{P(x)} = \frac{P(x | C_k) P(C_k)}{\sum_j P(x | C_j) P(C_j)}
]
其中：
- (P(C_k)) 是类别 (C_k) 的先验概率，可从训练数据中估计。
- (P(x | C_k)) 是给定类别 (C_k) 的条件下，样本 (x) 出现的似然。
- (P(x)) 是证据因子，对于给定样本是常数，因此分类决策可简化为比较分子的大小。
9.1.2 朴素贝叶斯的“朴素”假设
设样本 (x = (x_1, x_2, …, x_p)) 包含 (p) 个特征。朴素贝叶斯假设在给定类别 (C_k) 的条件下，各个特征之间相互独立，即：
[
P(x | C_k) = \prod_{i=1}^{p} P(x_i | C_k)
]
这一假设极大地简化了计算，因为原本需要估计联合概率分布，现在只需要估计每个特征的条件概率。尽管独立性假设通常不成立，但研究表明，在许多分类任务中，朴素贝叶斯依然能取得良好的性能，尤其是在特征之间相关性不强或数据集足够大的情况下。
9.1.3 三种常见的朴素贝叶斯模型
根据特征的不同分布假设，朴素贝叶斯有以下三种常见变体：
1. 高斯朴素贝叶斯（Gaussian Naïve Bayes）
适用于连续数值型特征，假设特征在给定类别下服从正态分布：
[
P(x_i | C_k) = \frac{1}{\sqrt{2\pi\sigma_{ik}^2}} \exp\left(-\frac{(x_i - \mu_{ik})2}{2\sigma_{ik}2}\right)
]
其中 (\mu_{ik}) 和 (\sigma_{ik}^2) 是类别 (C_k) 中第 (i) 个特征的均值和方差，从训练数据中估计。
2. 多项式朴素贝叶斯（Multinomial Naïve Bayes）
适用于离散特征，特别是文本分类中的词频或 TF-IDF 值。假设特征向量 (x) 由计数组成（如单词出现次数），则条件概率为：
[
P(x | C_k) = \frac{(\sum_i x_i)!}{\prod_i x_i!} \prod_i \theta_{ki}^{x_i}
]
其中 (\theta_{ki}) 是类别 (C_k) 中特征 (i) 出现的概率，可用平滑技术（如拉普拉斯平滑）估计：
[
\hat{\theta}{ki} = \frac{N{ki} + \alpha}{N_k + \alpha n}
]
这里 (N_{ki}) 是类别 (C_k) 中特征 (i) 的总计数，(N_k) 是类别 (C_k) 中所有特征的总计数，(n) 是特征总数，(\alpha) 是平滑参数（通常取 1）。
3. 伯努利朴素贝叶斯（Bernoulli Naïve Bayes）
适用于二元特征（如单词是否出现）。假设特征 (x_i) 取值为 0 或 1，则条件概率为：
[
P(x | C_k) = \prod_{i=1}^{p} \theta_{ki}^{x_i} (1 - \theta_{ki})^{1-x_i}
]
其中 (\theta_{ki} = P(x_i = 1 | C_k))，可用平滑估计。
在医学文本分类中，多项式朴素贝叶斯和伯努利朴素贝叶斯最为常用，因为文本数据通常表示为词频或词出现与否。
9.1.4 拉普拉斯平滑
在估计条件概率时，如果某个特征在训练集中未出现，其概率会为零，导致整个乘积为零。为避免这一问题，通常引入拉普拉斯平滑（加一平滑）：
[
P(x_i | C_k) = \frac{\text{计数}(x_i, C_k) + \alpha}{\text{总计数}(C_k) + \alpha \cdot n}
]
其中 (\alpha \geq 0) 是平滑参数，通常取 1。
9.1.5 对数概率与数值稳定性
由于多个概率相乘可能导致数值下溢，实际计算中通常取对数，将乘法转化为加法：
[
\log P(C_k | x) \propto \log P(C_k) + \sum_{i=1}^{p} \log P(x_i | C_k)
]
由于对数函数单调递增，分类时只需比较不同类别的对数后验概率大小即可。
9.1.6 算法流程
朴素贝叶斯的训练和预测流程如下：
训练阶段：
- 计算每个类别的先验概率 (P(C_k))（如用频率估计）。
- 对于每个类别，估计每个特征的条件概率分布 (P(x_i | C_k))（根据分布假设计算参数）。
预测阶段：
- 对于新样本，计算每个类别的对数后验概率：
[
\text{score}(C_k) = \log P(C_k) + \sum_{i=1}^{p} \log P(x_i | C_k)
] - 选择得分最高的类别作为预测结果。
9.2 医疗应用场景
朴素贝叶斯在医疗领域的应用主要集中在文本分类任务，同时也适用于部分非文本分类场景。
9.2.1 电子病历文本分类
电子病历中包含大量自由文本，如病程记录、出院小结、影像报告等。朴素贝叶斯可用于：
- 疾病自动编码：根据文本描述自动分配 ICD（国际疾病分类）编码，提高编码效率和一致性。
- 病历结构化：从非结构化文本中抽取关键信息，如症状、诊断、药物、手术名称，并将其归类到预定义类别。
- 病历质量检查：识别病历中缺失的关键信息或不规范表述。
9.2.2 临床文献与指南分类
医学文献数据库（如 PubMed）包含海量文献，朴素贝叶斯可用于：
- 文献自动分类：根据摘要将文献分类到不同学科领域（如心脏病学、肿瘤学、儿科学）。
- 证据等级识别：从文献中识别研究类型（随机对照试验、队列研究、病例报告等）。
- 指南要素抽取：从临床指南中抽取推荐意见、证据级别、适用人群等。
9.2.3 医学问答与聊天机器人
在医学问答系统中，朴素贝叶斯可用于：
- 意图识别：判断用户提问的意图，如咨询症状、询问药物、预约挂号等。
- 问题分类：将问题分类到预设的常见问题类别，便于检索答案。
- 情感分析：分析患者留言的情感倾向（积极、消极、中性），用于患者满意度监测。
9.2.4 药物警戒与不良反应监测
从社交媒体、药物评论、电子病历中自动识别药物不良反应：
- 文本分类：将文本分为“提及不良反应”和“未提及不良反应”。
- 不良反应类型分类：进一步将提及不良反应的文本分类到具体类型（如皮疹、恶心、肝损伤）。
9.2.5 流行病学监测与症状监测
从急诊记录、网络搜索记录中早期识别传染病暴发：
- 症状监测：将主诉文本分类到症状类别（如发热、咳嗽、腹泻），用于症候群监测。
- 疾病暴发预警：根据症状组合和时间空间信息，识别异常聚集。
9.2.6 医学教育与学生评估
在医学教育中，朴素贝叶斯可用于：
- 试题分类：将试题按学科、难度自动分类。
- 答案评分：对开放式问题答案进行初步分类评分。
9.2.7 非文本医疗应用
尽管朴素贝叶斯在文本分类中表现突出，它也可用于其他医疗任务：
- 疾病诊断：基于离散症状或检验结果进行分类，如根据症状组合诊断疾病。
- 基因表达分类：将基因表达谱离散化后，用朴素贝叶斯分类肿瘤亚型。
- 患者风险分层：基于离散特征（如风险因素存在与否）进行风险分层。
9.3 案例实战：基于朴素贝叶斯的病理报告自动分类
病理报告是癌症诊断的金标准，其中包含对肿瘤类型、分级、分期等的详细描述。自动对病理报告进行分类，可辅助肿瘤登记、科研数据提取和临床决策支持。本节将使用一个模拟的病理报告数据集，演示如何利用朴素贝叶斯进行多类别文本分类。
9.3.1 数据集介绍
我们模拟一个包含 2000 份病理报告的数据集，每份报告为一段英文文本，涉及三种主要癌症类型：
- 乳腺癌（Breast Cancer）
- 肺癌（Lung Cancer）
- 结直肠癌（Colorectal Cancer）
文本中包含了肿瘤部位、组织学类型、分级、免疫组化等信息。目标是构建一个分类器，能够根据报告文本自动判断癌症类型。
9.3.2 数据加载与探索
import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from sklearn.model_selection import train_test_split from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer from sklearn.naive_bayes import MultinomialNB, BernoulliNB from sklearn.metrics import classification_report, confusion_matrix, accuracy_score from sklearn.pipeline import Pipeline import re import nltk from nltk.corpus import stopwords nltk.download('stopwords') stop_words = stopwords.words('english')# 加载数据（假设已有csv文件） df = pd.read_csv('pathology_reports.csv')print(df.head())print(df['cancer_type'].value_counts())输出示例：
report_id text cancer_type 0 1 "Invasive ductal carcinoma, grade 2, ER+..." Breast 1 2 "Adenocarcinoma of the lung, T2N1M0, EGFR..." Lung 2 3 "Moderately differentiated adenocarcinoma..." Colorectal 3 4 "Lobular carcinoma, grade 1, ER+/PR+..." Breast 4 5 "Squamous cell carcinoma of the lung, pT3..." Lung cancer_type Breast 800 Lung 700 Colorectal 500 9.3.3 文本预处理
文本分类的关键步骤是将原始文本转换为数值特征向量。常用方法包括：
- 清洗：去除标点、数字、特殊字符，转换为小写。
- 分词：将文本分割为单词（token）。
- 去除停用词：移除常见但对分类贡献不大的词（如“the”、“is”等）。
- 词干提取/词形还原：将单词还原为词根形式（如“running” -> “run”）。
- 向量化：将文本表示为词频或 TF-IDF 矩阵。
我们使用 scikit-learn 的 CountVectorizer 或 TfidfVectorizer，它们内置了清洗、分词、去除停用词等功能。
# 定义预处理函数（可选，可集成到向量器中）defpreprocess_text(text):# 转为小写 text = text.lower()# 去除标点和数字 text = re.sub(r'[^a-zA-Z\s]','', text)return text df['clean_text']= df['text'].apply(preprocess_text)# 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split( df['clean_text'], df['cancer_type'], test_size=0.2, random_state=42, stratify=df['cancer_type'])9.3.4 构建朴素贝叶斯分类器
我们使用管道将向量化器和分类器组合，便于调参和交叉验证。
from sklearn.pipeline import Pipeline from sklearn.feature_extraction.text import TfidfVectorizer # 使用 TF-IDF 向量化 + 多项式朴素贝叶斯 pipeline = Pipeline([('tfidf', TfidfVectorizer(stop_words='english', max_features=5000)),('clf', MultinomialNB()
