联邦学习和 RAG 集成:一种可扩展的医疗大型语言模型方法
摘要
本研究通过在联邦学习(FL)框架内集成检索增强生成(RAG)系统,分析了特定领域大型语言模型(LLM)在医学领域的性能。利用 FL 的固有优势,如保护数据隐私和实现分布式计算,本研究探索了 RAG 系统与在不同客户端配置下训练的模型的集成,以优化性能。实验结果表明,与 RAG 系统集成的基于 FL 的模型在所有评估指标上始终优于非集成模型。本研究强调了结合 FL 和 RAG 系统在医学领域开发特定领域 LLM 的潜力,为增强文本生成能力提供了一种可扩展和隐私保护的解决方案。
1 引言
2 相关工作
3 RAG 系统集成:方法与工作流程
4 实验设置
5 实验结果
6 结论
本研究对将 FL 与 RAG 系统集成以开发医学领域特定领域 LLM 的潜力进行了实证分析。所提出的框架展示了其在保持数据隐私的同时提供稳健和可扩展性能的能力

