2024 年主流大模型开源工具与框架精选

随着大模型成本逐渐降低及可靠性提升，越来越多的业务应用开始与大语言模型（LLM）结合。为了支撑 LLM 应用的快速开发，需要与现有基础设施兼容的工具和框架。本文整理了 2024 年大模型领域的核心开源项目，涵盖应用开发平台、文档解析、数据库交互、本地部署及推理框架等关键方向。

一、应用开发平台 MaaS

1.1 阿里 PAI-灵积

提供应用构建工具（插件中心、流程编排、Prompt 工程、RAG、Agent）及模型开发工具（训练数据管理、模型调优、评测、部署），支持企业级大模型服务落地。

1.2 百度智能云千帆

数据管理：支持数据集、标注、处理及回流。
应用工具：涵盖插件编排（对话类、生成类）、RAG、Prompt 模板、优化与评估。
模型调优：支持精调（SFT、DPO、RLHF）、评估及压缩。
组件编排：可视化工作流设计。

1.3 字节跳动火山引擎

提供 Bots、插件、工作流及知识库能力，支持企业级 Agent 构建。

二、应用开发平台开源

2.1 Dify

开源的 LLM 应用开发平台。其直观界面结合了 AI 工作流、RAG、Agent、模型管理及可观测性功能，支持从原型到生产的快速迭代。

应用工具：AI 工作流、Prompt IDE、RAG、Agent、后端即服务（API）。
模型工具：LLMOps、全面的模型支持。
特点：由原腾讯云 CODING DevOps 团队核心成员打造，社区活跃。

2.2 FastGPT

基于 LLM 大语言模型的知识库问答系统，开箱即用。

应用工具：RAG、应用编排。
模型工具：多模型支持。

2.3 bisheng(毕昇)

领先的开源大模型应用开发平台，赋能加速大模型应用落地。

应用工具：RAG。
模型工具：支持模型微调。
完整度对比：Dify > FastGPT > 毕昇。

2.4 其它开源方案

QAnything：网易有道出品，支持任意格式文件或数据库的本地知识库问答，可断网安装。
ChatDOC：高效、可定制的企业级文档聊天机器人解决方案。
LangChain-RAG：基于 ChatGLM 等大模型与 Langchain 框架实现，开源可离线部署的 RAG 项目。
FastRAG：构建完全可控的知识库问答平台，支持 Docker 部署，定义知识库并上传文档即可问答。
Flowise：拖放式界面构建定制化 LLM 流程。
Mem0：通过实现缓存提高基于 LLM 的应用程序的效率和速度。
OneAPI：API 管理和分发系统，支持几乎所有主流 API 服务，通过简单配置允许使用一个 API 密钥调用不同服务。

三、智能文档解析

3.1 RAGFlow

基于深度文档理解构建的开源 RAG 引擎。

特色：多样化文档智能处理，重新研发智能文档理解系统，确保数据质量（Quality In Quality Out）。
功能：自动识别文档布局（标题、段落、换行、图片、表格）。
DeepDoc 模块：提供对多种不同格式文档的深度解析。

3.2 Unstructured

灵活的 Python 库，专门用于处理非结构化数据。

支持格式：PDF、CSV、PPT 等。
应用：被多个项目用于非结构化数据提取，如 QAnything、Dify 等。

3.3 PaddleOCR

百度推出的 OCR 开源项目，提供全面且高效的文字识别和信息提取功能。

功能：版面分析、表格识别、文字识别。
场景：金融、教育、法律等行业，业界领先的 OCR 解决方案之一。

3.4 EasyOCR

使用友好的 OCR 服务，支持 80+ 种语言，轻量级且易于集成。

四、BI 与 DB

4.1 DB-GPT

开源的数据库领域大模型框架。旨在构建大模型领域的基础设施。

技术能力：多模型管理、Text2SQL 效果优化、RAG 框架、Multi-Agents 协作。
背景：由蚂蚁集团、阿里巴巴、京东、美团等公司研究人员共同开发。

4.2 Chat2DB

阿里开源的智能通用数据库 SQL 客户端和报表工具，支持自然语言查询。

4.3 DefogAI SQLCoder

Defog 团队推出的前沿大语言模型，专门用于将自然语言问题转化为 SQL 查询，拥有 150 亿参数。

4.4 BIRD-SQL

由多位作者联合创作，港大与阿里达摩院合作成果，专注于复杂 SQL 生成任务。

4.5 闭源项目参考

九章云极：数据分析、机器学习智能体。
Kyligence：一站式指标平台的 AI 数智助理，支持对话式指标搜索。
PingCap：Text2SQL 支持更自然的文本指令及复杂数据分析类 SQL 生成。
网易数帆：ChatBI 对话数据分析平台。

4.6 其它

DataBricks：通用的 AI 开发和部署框架，直接与您现有的数据库相连而设计。
Navie：使用人工智能的工具，让您可以更轻松地与数据库进行交互，支持 SQL Server 和 PostgreSQL。

五、本地部署工具

5.1 Ollama

专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的开源框架。

功能齐全：将模型权重、配置和数据捆绑到一个包中（Modelfile），优化 GPU 使用情况。
轻量级：代码简洁，运行时占用资源少，支持热加载模型文件。
易用性：支持 Mac 和 Linux，提供 Docker 镜像，无需专业背景即可安装。

5.2 OpenLLM

2023 年 6 月开源，用于部署大语言模型的框架。

简化部署：自动生成 LLM 服务器 Docker 镜像或通过 BentoCloud 部署为无服务器端节点。
自由构建：对 LangChain、BentoML 和 Hugging Face 具有一级支持，轻松创建自己的 AI 应用程序。

5.3 LM Studio

提供简单的可视化 LLM 安装程序，用户只需几个步骤即可安装和运行。

广泛支持：支持所有公开发布的大型语言模型，无需额外编译或微调。

5.4 Xinference

Xorbits Inference，性能强大且功能全面的分布式推理框架。

模型推理：大语言模型、语音识别模型、多模态模型的部署流程被大大简化，一键命令完成。
开放生态：与 LangChain、LlamaIndex、Dify、Chatbox 无缝对接。

六、推理服务框架

LLM 推理框架各有特点，以下是常见框架的关键点：

6.1 vLLM

适用于大批量 Prompt 输入，并对推理速度要求高的场景，采用 PagedAttention 技术。

6.2 HuggingFace TGI

依赖 HuggingFace 模型，并且不需要为核心模型增加多个 adapter 的场景。

6.3 llama.cpp

可在 CPU 上进行推理，支持 GGUF 量化格式，适合边缘设备。

6.4 Text Generation Inference (TGI)

为核心模型添加 adapter 并使用 HuggingFace Agents，尤其是不完全依赖 PyTorch。

6.5 Ray Serve

稳定的 Pipeline 和灵活的部署，最适合更成熟的项目。

6.6 MLX

可在客户端（边缘计算）（例如，在 Android 或 iPhone 平台上）本地部署 LLM，针对 Apple Silicon 优化。

6.7 DeepSpeed

使用 DeepSpeed 库来部署 LLM，支持大规模模型训练与推理优化。

6.8 GGUF/llama.cpp

纯 C/C++ 实现的模型量化推理工具，具有极高的性能，可以同时在 GPU 和 CPU 环境下运行。

七、大模型微调

7.1 LlamaFactory

北航发布 LlamaFactory，零代码大模型微调平台，一键快速实现大模型训练/微调/评估。

Github：https://github.com/hiyouga/LlamaFactory
论文地址：相关技术论文已公开。

八、大模型聚合平台

8.1 Hugging Face

开源的机器学习平台，托管了超过 320,000 个模型和 50,000 个数据集。

地址：https://huggingface.co
开源精神：与社区一起构建机器学习工具的基础。

九、开发库与工具

LangChain：对于 LLM 应用开发入门者来说，这是必选的工具，连接模型与数据。
LlamaIndex：数据框架，轻松将大型语言模型连接到自定义数据源，方便存储、查询和索引。
Semantic Kernel：微软开源的一套开发工具，简化基于 LLM 的应用开发周期，使提示工程更容易。
AutoGen：无代码编排工具，帮助将不同的模块拼接起来协同工作。
OpenWebUI：一键免费部署你的私人 ChatGPT 网页应用。

十、向量数据库

参考 Vector DB Comparison，常见选择包括 Milvus、Chroma、Weaviate、Pinecone 等。

Milvus：高性能、可扩展的开源向量数据库。
Chroma：轻量级，适合本地开发和原型验证。
Weaviate：支持混合搜索，具备强大的 GraphQL 接口。

注：以上项目均基于开源协议，具体使用前请查阅各项目的 License 条款。