大模型开发还是应用：从业者选择指南

以一个 NL2SQL 的例子来说明：

第一次交互

question = ''
prompt = f'{question}'
plain_query = llm.invoke(prompt)
try:
    df = pd.read_sql(plain_query)
    print(df)
except Exception as e:
    print(e)

拿到了错误后，我们可以通过反思错误，来改进我们的问题，直到我们得到我们想要的答案。

Reflection

reflection = f"Question: {question}. Query: {plain_query}. Error:{e}, so it cannot answer the question. Write a corrected sqlite query."

第二次交互

reflection_prompt = f'{reflection}'
reflection_query = llm.invoke(reflection_prompt)
try:
    df = pd.read_sql(reflection_query)
    print(df)
except Exception as e:
    print(e)

这种机制允许模型自我纠错，显著提高了复杂任务的成功率。

5. RAG

检索增强生成（Retrieval-Augmented Generation，简称 RAG）通过结合大型语言模型（LLM）和信息检索系统来提高生成文本的准确性和相关性。这种方法允许模型在生成回答之前，先从权威知识库中检索相关信息，从而确保输出内容的时效性和专业性，无需对模型本身进行重新训练。

RAG 技术之所以重要，是因为它解决了 LLM 面临的一些关键挑战，例如虚假信息的提供、过时信息的生成、非权威来源的依赖以及由于术语混淆导致的不准确响应。通过引入 RAG，可以从权威且预先确定的知识来源中检索信息，增强了对生成文本的控制，同时提高了用户对 AI 解决方案的信任度。

典型的 RAG 流程包括：

1. 索引构建：将文档切片并向量化，存入向量数据库。
2. 检索：根据用户查询检索最相关的片段。
3. 生成：将检索到的片段作为上下文输入给 LLM 生成最终答案。

6. Agent

Agent 指的是一个能够感知其环境并根据感知到的信息做出决策以实现特定目标的系统，通过大模型的加持，Agent 比以往任何时候都要更加引人注目。

Langchain

以 Langchain 为代表的 Agent 框架，是目前在国内最被广泛使用的开源框架。LangChain 刚开始的设计理念是将工作流设计为 DAG（有向无环图），这就是 Chain 的由来；

随着 Multi-Agent 理念的兴起和 Agent 范式的逐渐确立，Agent 工作流会越来越复杂，其中包含了循环等条件，需要用 Graph 图的方式，由此又开发了 LangGraph。

Agent 的核心能力在于工具调用（Tool Use）和记忆管理（Memory）。它们可以自主决定何时使用计算器、搜索互联网或调用 API，并记住之前的交互历史以维持多轮对话的连贯性。

7. Fine-tuning

相较于基础大模型动辄万卡的代价，微调可能是普通个人或者企业少数能够接受的后训练大模型 (post-training) 的方式。

微调是指在一个预训练模型 (pre-training) 的基础上，通过少量的数据和计算资源，对模型进行进一步训练，以适应特定的任务或者数据集。

微调分为两种类型：全参微调（full fine-tuning）和参数高效微调（parameter efficient fine-tuning）。

• 全参微调：在全参微调中，整个模型的参数都会被更新，这种方法通常需要大量的数据和计算资源，以及较长的训练时间。

PEFT

参数高效微调（Parameter-Efficient Fine-Tuning，简称 PEFT）是一种针对大型预训练模型（如大语言模型）的微调技术，它旨在减少训练参数的数量，从而降低计算和存储成本，同时保持或提升模型性能。

PEFT 通过仅微调模型中的一小部分参数，而不是整个模型，来适应特定的下游任务。这种方法特别适用于硬件资源受限的情况，以及需要快速适配多种任务的大型模型。

PEFT 有以下几种常见的方法：

• 选择参数子集：选择模型中的一小部分参数进行微调，通常是最后几层的参数；
• 重新参数化：使用低秩表示重新参数化模型权重，代表是 LoRA 方法；
• 添加参数：向模型添加可训练层或参数，代表为 Prompt-tuning 方法。

LoRA（Low-Rank Adaptation）是目前最流行的 PEFT 技术之一，它通过在原有权重矩阵上叠加低秩分解矩阵来实现高效微调，极大地降低了显存占用。

总结

大模型已经进入到应用落地阶段，此时的大模型从业者，更多的应该是在使用大模型，而不是在开发基座大模型。

对于大多数企业和开发者而言，优先探索 RAG 和 Agent 方案能以最低成本获得最大收益。只有在垂直领域数据极其丰富且通用模型无法满足特定风格或逻辑时，才考虑进行 Fine-tuning。预训练基座模型则应留给拥有顶级算力和数据资源的巨头机构。