2024 年主流大模型开源工具与框架精选
随着大模型成本逐渐降低及可靠性提升，越来越多的业务应用开始与大语言模型（LLM）结合。为了支撑 LLM 应用的快速开发，需要与现有基础设施兼容的工具和框架。本文整理了 2024 年大模型领域的核心开源项目，涵盖应用开发平台、文档解析、数据库交互、本地部署及推理框架等关键方向。
一、应用开发平台 MaaS
1.1 阿里 PAI-灵积
提供应用构建工具（插件中心、流程编排、Prompt 工程、RAG、Agent）及模型开发工具（训练数据管理、模型调优、评测、部署），支持企业级大模型服务落地。
1.2 百度智能云千帆
- 数据管理：支持数据集、标注、处理及回流。
- 应用工具：涵盖插件编排（对话类、生成类）、RAG、Prompt 模板、优化与评估。
- 模型调优：支持精调（SFT、DPO、RLHF）、评估及压缩。
- 组件编排：可视化工作流设计。
1.3 字节跳动火山引擎
提供 Bots、插件、工作流及知识库能力，支持企业级 Agent 构建。
二、应用开发平台开源
2.1 Dify
开源的 LLM 应用开发平台。其直观界面结合了 AI 工作流、RAG、Agent、模型管理及可观测性功能，支持从原型到生产的快速迭代。
- 应用工具：AI 工作流、Prompt IDE、RAG、Agent、后端即服务（API）。
- 模型工具：LLMOps、全面的模型支持。
- 特点：由原腾讯云 CODING DevOps 团队核心成员打造，社区活跃。
2.2 FastGPT
基于 LLM 大语言模型的知识库问答系统，开箱即用。
- 应用工具：RAG、应用编排。
- 模型工具：多模型支持。
2.3 bisheng(毕昇)
领先的开源大模型应用开发平台，赋能加速大模型应用落地。
- 应用工具：RAG。
- 模型工具：支持模型微调。
- 完整度对比：Dify > FastGPT > 毕昇。
2.4 其它开源方案
- QAnything：网易有道出品，支持任意格式文件或数据库的本地知识库问答，可断网安装。
- ChatDOC：高效、可定制的企业级文档聊天机器人解决方案。
- LangChain-RAG：基于 ChatGLM 等大模型与 Langchain 框架实现，开源可离线部署的 RAG 项目。
- FastRAG：构建完全可控的知识库问答平台，支持 Docker 部署，定义知识库并上传文档即可问答。
- Flowise：拖放式界面构建定制化 LLM 流程。
- Mem0：通过实现缓存提高基于 LLM 的应用程序的效率和速度。
- OneAPI：API 管理和分发系统，支持几乎所有主流 API 服务，通过简单配置允许使用一个 API 密钥调用不同服务。
三、智能文档解析
3.1 RAGFlow
基于深度文档理解构建的开源 RAG 引擎。
- 特色：多样化文档智能处理，重新研发智能文档理解系统，确保数据质量（Quality In Quality Out）。
