基于深度迁移学习的医疗信息分类：层次化编码器方案

解决方案二：层次化编码器

对于性能要求更高的场景，可以采用层次化编码器架构，通过两级编码捕捉不同粒度的语义信息：

1. 第一层：句子/窗口级编码器（通常使用 BERT）
2. 第二层：文档级编码器（使用 Transformer、RNN 或 Attention 机制聚合句子向量）

以下是基于 PyTorch 的层次化编码器实现示例：

import torch.nn as nn

class HierarchicalEncoder(nn.Module):
    def __init__(self, sentence_encoder, document_encoder):
        super(HierarchicalEncoder, self).__init__()
        self.sentence_encoder = sentence_encoder
        self.document_encoder = document_encoder

    def forward(self, inputs):
        # 句子级编码
        sentence_embeddings = self.sentence_encoder(inputs)
        # 文档级编码
        doc_embedding = self.document_encoder(sentence_embeddings)
        return doc_embedding

该结构能够有效处理长文本医疗记录，在保留局部细节的同时增强全局上下文理解能力。