无需训练即可扩展大语言模型超长输入的四种主流技术方案。首先分析了基于知识库外挂的显式搜索方法，详细阐述了文本切分、向量化检索及生成的全流程及其优缺点。其次探讨了 Unlimiformer 的隐式搜索机制，通过 Token 粒度检索解决长文本注意力计算问题。接着讲解了 PCW 并行输入方案，重点说明了位置编码重置与注意力矩阵拼接的实现细节。最后深入解析了 NBCE 并行解码方法，利用朴素贝叶斯假设在输出层融合概率矩阵，并通过 Beta 参数调节上下文依赖度。文章末尾提供了各方案的对比表与选型指南，帮助开发者根据具体场景选择最优解。
随着大语言模型（LLM）的快速发展，上下文窗口（Context Window）的长度成为了限制其处理长文档、复杂任务的关键瓶颈。虽然部分厂商推出了原生支持超长上下文的模型，但大多数场景下，我们仍需要在现有模型基础上扩展输入长度。本文总结了四种无需重新训练即可实现超长输入的主流技术方案，涵盖显式搜索、隐式搜索、并行输入及并行解码。
这是目前最成熟且应用最广泛的方法，核心思想是将长文本切分后存入向量数据库，通过检索相关片段来补充上下文。
Unlimiformer 提出了一种针对 Encoder-Decoder 架构的无限长度输入方法，本质是在解码阶段对 Token 粒度的输出层 Embedding 进行检索。
# 超长文本编码示例
for context_start_ind, context_end_ind in window_indices:
chunk = input_ids[:, context_start_ind:context_end_ind]
hidden_states = self.model(chunk, attention_mask=chunk_attention_mask)
last_hidden = hidden_states.encoder_last_hidden_state
# 提取后半部分 Embedding 存入索引
适用于单文档 QA、长文本摘要等 Encoder-Decoder 场景。相比 RAG，它保留了更多 Token 级细节，但存储成本更高，不适合批量文档存储。
PCW 专为 Decoder 模型设计，通过对超长文本切块并独立编码，在解码时对全部上文进行 Attention 计算。
max_window_size + 1，后续顺序递增。这丢弃了多段文本间的绝对位置关系，但大幅降低了位置编码外推需求。由于不同上文片段复用相同位置编码，可能导致解码注意力分散，熵值变高，增加幻觉风险。在无关新闻等多片段场景下，表现可能不如预期。
由苏剑林提出的 NBCE 方法，在输出层对预测概率矩阵进行融合，避免了注意力分散问题。
| 方案 | 架构要求 | 上下文连续性 | 存储成本 | 适用场景 |
|---|---|---|---|---|
| 显式搜索 (RAG) | 任意 | 差 (离散检索) | 低 | 大规模知识库、多文档 QA |
| 隐式搜索 (Unlimiformer) | Encoder-Decoder | 中 (Token 粒度) | 高 | 单文档深度理解、长摘要 |
| 并行输入 (PCW) | Decoder | 中 (位置编码重置) | 中 | 小规模内容理解、指令遵循 |
| 并行解码 (NBCE) | Encoder-Decoder | 优 (概率融合) | 中 | 长文本摘要、实体抽取、QA |
扩展 LLM 上下文长度无需盲目追求重训。根据业务场景选择合适的方案至关重要：
未来，随着硬件算力的提升和算法的演进，原生支持更长上下文将成为趋势，但在过渡期，上述无训练扩展方案具有极高的实用价值。开发者应根据显存预算、推理延迟要求及文本类型灵活组合这些技术。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online