LLM 技术全景图谱深度解析
大型语言模型（Large Language Model, LLM）技术的快速发展正在重塑软件开发的范式。为了帮助技术人员快速构建知识体系，LLM 技术图谱（LLM Tech Map）将相关技术进行了系统化和图形化的呈现。本图谱专注于技术人视角，旨在梳理当前 LLM 领域中最为热门和硬核的技术领域、相关的软件产品以及开源项目，帮助开发者跨越从基础设施到 AI 应用的鸿沟。
1. 基础设施层
基础设施是支撑大模型运行与优化的基石。这一层级涵盖了数据存储、检索、训练框架及平台工具，决定了模型的性能上限与开发效率。
1.1 向量数据库
向量数据库是专门用于存储和检索高维向量数据的数据库系统，它是实现 RAG（检索增强生成）等应用的核心组件。相比传统数据库，向量数据库能够高效处理相似度搜索任务，为 LLM 提供外部知识库支持。
主要代表项目包括：
- Milvus：专为大规模向量数据设计的开源数据库，支持多种索引类型和高并发查询。
- Pinecone：托管式向量数据库服务，强调易用性和可扩展性。
- Weaviate：结合了向量搜索与对象存储的 GraphQL API。
- Chroma：轻量级嵌入式向量数据库，适合本地开发和原型验证。
- Qdrant：高性能向量搜索引擎，支持过滤和实时索引更新。
- Faiss：Facebook 开发的向量相似性搜索库，底层性能优异。
- Elastic/OpenSearch：传统搜索引擎通过插件扩展支持向量检索能力。
- MongoDB：通用文档数据库，通过 Atlas Vector Search 模块支持向量功能。
1.2 数据库向量支持
许多传统数据库通过引入向量插件或原生支持，降低了向量存储的门槛。这使得企业无需迁移数据即可利用现有架构进行语义检索。
常见支持方案包括：
- pgvector：PostgreSQL 的扩展插件，允许在 SQL 中直接进行向量操作。
- Redis Vector：Redis 内存数据库新增的向量搜索功能，适合低延迟场景。
- ClickHouse：列式数据库，通过向量索引优化分析型查询。
- Neo4j：图数据库，结合图结构与向量嵌入进行混合检索。
- Supabase：基于 PostgreSQL 的开源 Firebase 替代品，内置 pgvector 支持。
1.3 大模型框架与微调
针对大模型的二次开发与优化，微调（Fine Tuning）是关键环节。通过特定领域数据训练，可以显著提升模型在垂直场景的表现。
核心框架与工具：
- PEFT (Parameter-Efficient Fine-Tuning)：高效参数微调方法，如 LoRA，大幅降低显存需求。
- OneFlow / PyTorch / TensorFlow：主流深度学习框架，提供分布式训练能力。
- DeepSpeed：微软推出的优化库，支持 ZeRO 优化以加速大模型训练。
- ChatGLM-Efficient-Tuning：针对 GLM 系列模型的高效微调方案。
- OpenLLM：Hugging Face 推出的工具集，简化 LLM 的部署与管理。
- xTuring：专注于大模型训练的灵活框架。
1.4 大模型训练平台与工具
完整的训练流程需要强大的算力调度与工程化工具支持。
- ColossalAI：面向大模型的高性能并行计算框架。
- Ray：分布式计算框架，广泛用于强化学习与超参搜索。
- Transformers：Hugging Face 提供的预训练模型库，涵盖 NLP 多模态任务。
- BMtrain / PaddlePaddle / MindSpore：国内厂商提供的国产深度学习框架，适配国产硬件。
2. 大模型生态
大模型部分涵盖了备案上线的中国模型、全球知名模型及其应用场景。理解不同模型的特性有助于选择合适的基座。
2.1 中国大模型
国内大模型发展迅速，多家厂商推出了具备商业落地能力的模型，通常拥有相应的牌照提供服务。
- 文心一言：百度出品，生态整合能力强。
- 通义千问：阿里出品，在代码与长文本处理上表现突出。
- 智谱 GLM：智谱 AI 推出，开源社区活跃。
- 混元大模型：腾讯出品，社交与广告场景优势明显。
- 百川智能：主打高性价比与开源策略。
- 盘古大模型：华为云出品，侧重行业与企业应用。
2.2 知名国际大模型
全球范围内，开源与闭源模型并存，推动了技术的快速迭代。
- Llama 2 / OpenLLaMA：Meta 发布的开源模型，奠定了开源大模型的基础。
- GPT-4：OpenAI 的旗舰闭源模型，代表了当前 SOTA 水平。
- PaLM 2：Google 的多模态基础模型。
- Falcon LLM：由 TII 发布的高性能开源模型。
- Stable Diffusion / DALL·E 3：图像生成领域的代表性模型。
2.3 知名大模型应用
模型能力已渗透至多种应用场景，包括文本生成、机器翻译、问答推理等。
- ChatGPT：现象级对话机器人，定义了用户交互新标准。
- Claude：Anthropic 出品，注重安全与长上下文处理。
- Cursor：集成 AI 能力的代码编辑器，提升开发效率。
- Midjourney：艺术创作领域的标杆工具。
3. AI Agent（智能体）
AI Agent 是指基于 LLM 技术构建的智能代理，它能够感知环境、规划行动并执行任务。Agent 是大模型从被动响应走向主动服务的关键演进。
3.1 核心特点
- 自主性：能够在没有人类直接指导的情况下独立完成任务。
- 交互性：能够与环境或其他 Agent 协作，适用于游戏、推荐系统等复杂场景。
- 目的性：设计有明确的目标，行为始终围绕目标展开。
- 适应性：根据环境变化动态调整策略。
3.2 技术架构
AI Agent 的核心驱动力是大模型，并在此基础上增加了三个关键组件：
- 规划（Planning）：拆解复杂任务为可执行的子步骤。
- 记忆（Memory）：存储历史交互信息，保持上下文连贯。
- 工具使用（Tool Use）：调用外部 API、代码解释器或数据库来执行具体操作。
3.3 类型划分
- 单 Agent：侧重于执行单一任务，如自动回复邮件。
- 多 Agent：多个智能体协作完成复杂工作流，如 MetaGPT 模拟软件开发团队。
- 混合 Agent：结合人类反馈与自动化，实现人机协同。
3.4 代表性项目
- AutoGPT：早期探索自主任务的经典项目。
- BabyAGI：基于任务队列的自动化代理框架。
- LangChain Agents：基于 LangChain 框架的 Agent 实现。
- Jarvis：个人助理类智能体概念。
- Generative Agents：模拟人类行为的生成式智能体研究。
4. AI 编程
AI 编程是指利用人工智能技术辅助代码编写、测试与维护的过程。它已成为提升软件工程效率的重要生产力工具。
- GitHub Copilot：业界领先的 AI 结对编程助手，支持多种 IDE。
- Cursor：专为 AI 重构的代码编辑器，支持自然语言修改代码。
- Codeium：免费且高效的代码补全工具。
- TabbyML：开源自托管的代码补全服务器。
- CodeLlama：Meta 发布的代码专用大模型。
- Comate：字节跳动推出的编程助手。
- CodeArts Snap：华为云提供的代码生成服务。
5. 工具和平台
LLMOps 与大模型聚合平台构成了连接模型与应用的桥梁，解决了部署、监控与调用的标准化问题。
5.1 LLMOps
LLMOps 关注从大模型到应用落地的全流程管理，包括版本控制、评估、监控与回滚。
- LangChain：构建 LLM 应用的流行框架，提供链式编排能力。
- Dify.ai：开源的大模型应用开发平台，支持可视化编排。
- BentoML：机器学习模型部署与服务的工具。
- Semantic Kernel：微软推出的 SDK，集成 AI 功能到应用程序。
- Flowise：拖拽式构建 LangChain 应用的可视化工具。
5.2 大模型聚合平台
汇聚多方模型能力，提供统一 API 接口，降低接入成本。
- Hugging Face：全球最大的模型分享社区与平台。
- 魔搭 ModelScope：阿里云推出的模型开放平台。
- Gitee AI：码云提供的 AI 模型服务。
5.3 开发工具
- v0：基于 AI 的 UI 生成工具。
- Jina-AI：专注于搜索与嵌入的 AI 基础设施。
- Project IDX：Google 推出的云端开发环境。
6. 算力层
算力是 LLM 发展的物理基础，训练与部署均依赖高性能计算资源。
- 英伟达（NVIDIA）：GPU 市场的领导者，CUDA 生态壁垒深厚。
- 昇腾（Ascend）：华为推出的国产 AI 处理器，适配国产软件栈。
- AMD：提供 GPU 与 CPU 解决方案，试图打破垄断。
- 海光（Hygon）：国产 x86 架构处理器，兼容性好。
- 昆仑芯：百度自研的 AI 芯片。
- 天数智芯：专注于通用 GPU 计算的初创公司。
7. 总结与展望
LLM 技术图谱展示了从底层硬件到上层应用的完整生态。随着基础设施的完善，模型能力的边界不断拓展，Agent 技术使得 AI 具备了更强的自主性。对于开发者而言，掌握 Python 编程、熟悉主流框架（如 LangChain、PyTorch）、理解向量检索原理以及关注国产算力适配，将是进入该领域的关键技能。未来，随着多模态能力的融合与端侧算力的提升，LLM 将更加深入地融入各类软件系统中，成为基础设施的一部分。
