大语言模型在线连续知识学习（OCKL）框架及其评估方法。研究提出了知识获取速率（KAR）和知识差距（KG）两个新指标，以衡量模型学习速度及知识动态变化。实验对比了正则化、演绎和参数扩展等多种方法，重点分析了 LoRA、Mix-Review 等技术在冗余数据流、时间限制及不同模型规模下的表现。研究发现 LoRA 在计算效率和性能上具有优势，而核心集选择策略需根据数据冗余情况调整。文章总结了在线场景下方法选择的实际指导建议，旨在解决知识遗忘和计算效率问题，适应动态变化的数据流环境。
本文提出了一种在线连续知识学习（Online Continual Knowledge Learning, OCKL）框架，旨在管理语言模型中世界知识的动态性，并满足实时约束条件。针对现有连续学习方法在应对 OCKL 独特挑战时的不足，本研究进行了实验验证，揭示了影响知识获取和保留之间权衡的关键因素，推进了对在不断变化的环境中训练语言模型的理解。
为了全面评估 OCKL 框架下语言模型的性能，提出了两个新指标：
(FWT + BWT) × 总标记数 / 训练时间。其中 FWT 代表新知识的整合程度，BWT 代表知识的保留程度。两者之和表示每次学习迭代的净知识增益。实验中对比了多种在线继续学习方法，主要包括以下三类：
用于减少知识遗忘现象。例如 RecAdam 方法，通过对模型参数之间的依赖关系进行严格的独立性假设，与传统的 EWC 等方法有所区别。
用于加速模型推理。例如知识蒸馏方法，通过减小两个模型之间的表示差距来加速推理过程。Mix-Review 方法在此类中表现突出。
引入新的可训练层来扩展模型参数。包括 K-Adapter（冻结原始 LM 参数并添加适配器层）和 LoRA（在每一层引入可训练的秩分解矩阵）。LoRA 在持续预训练中表现出独特的优势。
知识流基于 Wikidata 构建，包含时不变和时变事实，经 SLING 解析结构化。QA 流包含查询、回答和日期等信息。数据分析显示了两者的分布特征及文本长度统计。
在相同时间限制下，研究了核心集选择策略：
在具有时间限制的实际情况中（设置相同计算时间，丢弃超时数据）：
对 T5-large 模型的实验发现：
当前语言模型在在线继续学习中面临知识遗忘和计算效率等局限性。针对这些问题，建议如下：
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online