LLM 技术全景图谱深度解析
大型语言模型（Large Language Model, LLM）技术的快速发展正在重塑软件开发的范式。为了帮助技术人员快速构建知识体系，LLM 技术图谱（LLM Tech Map）将相关技术进行了系统化和图形化的呈现。本图谱专注于技术人视角，旨在梳理当前 LLM 领域中最为热门和硬核的技术领域、相关的软件产品以及开源项目，帮助开发者跨越从基础设施到 AI 应用的鸿沟。
1. 基础设施层
基础设施是支撑大模型运行与优化的基石。这一层级涵盖了数据存储、检索、训练框架及平台工具，决定了模型的性能上限与开发效率。
1.1 向量数据库
向量数据库是专门用于存储和检索高维向量数据的数据库系统，它是实现 RAG（检索增强生成）等应用的核心组件。相比传统数据库，向量数据库能够高效处理相似度搜索任务，为 LLM 提供外部知识库支持。
主要代表项目包括：
- Milvus：专为大规模向量数据设计的开源数据库，支持多种索引类型和高并发查询。
- Pinecone：托管式向量数据库服务，强调易用性和可扩展性。
- Weaviate：结合了向量搜索与对象存储的 GraphQL API。
- Chroma：轻量级嵌入式向量数据库，适合本地开发和原型验证。
- Qdrant：高性能向量搜索引擎，支持过滤和实时索引更新。
- Faiss：Facebook 开发的向量相似性搜索库，底层性能优异。
- Elastic/OpenSearch：传统搜索引擎通过插件扩展支持向量检索能力。
- MongoDB：通用文档数据库，通过 Atlas Vector Search 模块支持向量功能。
1.2 数据库向量支持
许多传统数据库通过引入向量插件或原生支持，降低了向量存储的门槛。这使得企业无需迁移数据即可利用现有架构进行语义检索。
常见支持方案包括：
- pgvector：PostgreSQL 的扩展插件，允许在 SQL 中直接进行向量操作。
- Redis Vector：Redis 内存数据库新增的向量搜索功能，适合低延迟场景。
- ClickHouse：列式数据库，通过向量索引优化分析型查询。
- Neo4j：图数据库，结合图结构与向量嵌入进行混合检索。
- Supabase：基于 PostgreSQL 的开源 Firebase 替代品，内置 pgvector 支持。
1.3 大模型框架与微调
针对大模型的二次开发与优化，微调（Fine Tuning）是关键环节。通过特定领域数据训练，可以显著提升模型在垂直场景的表现。
核心框架与工具：
- PEFT (Parameter-Efficient Fine-Tuning)：高效参数微调方法，如 LoRA，大幅降低显存需求。
- OneFlow / PyTorch / TensorFlow：主流深度学习框架，提供分布式训练能力。
- DeepSpeed：微软推出的优化库，支持 ZeRO 优化以加速大模型训练。
- ChatGLM-Efficient-Tuning：针对 GLM 系列模型的高效微调方案。
- OpenLLM：Hugging Face 推出的工具集，简化 LLM 的部署与管理。
- xTuring：专注于大模型训练的灵活框架。
