大模型开发框架 LangChain 技术实战入门

前言

近年来，人工智能应用迅速普及。诸如 ChatPDF、CustomGPT AI 等工具的出现，极大地简化了文档检索与信息获取的流程。这些应用的背后，往往依托于一个强大的开源框架——LangChain。

LangChain 简介

LangChain 是专为大语言模型（LLM）应用开发设计的框架，旨在降低 LLM 应用的开发门槛。它将 LLM 的各个组件进行封装和链接，提供了一个统一的开发环境，让开发者能够便捷地构建功能强大的 LLM 应用。从架构设计上看，LangChain 类似于 Java 生态中的 Spring 或 SpringBoot，为开发者提供了丰富的工具和库。

核心特性

模块化设计：将 LLM 应用的各个组件拆分成独立的模块，方便开发者进行模块化的开发和维护。
易用性强：提供丰富的 API 和文档，包含详细的教程和示例代码，帮助新手快速入门。
高性能：底层经过优化，保证 LLM 应用的高性能，使开发者能专注于业务逻辑实现。

LangChain 工作原理

简单来说，LangChain 通过组合大量数据，让 LLM 在消耗较少计算力的情况下高效引用信息。其核心工作流程如下：

数据分块与向量化：将大文档（如 PDF）分割成小块，并嵌入到向量存储（Vector Store）中。
检索增强生成（RAG）：当用户输入提示时，LangChain 在向量存储中查询相关信息，将其与提示结合喂给 LLM，生成答案。
智能代理（Agent）：支持创建可执行动作的应用程序，如上网搜索、发送邮件或调用其他 API。

这种架构使得开发者可以构建个人 AI 邮件助手、AI 学习伙伴、定制公司客服聊天机器人等多种应用场景。

LangChain 框架详解

LangChain 由前 Robust Intelligence 的机器学习工程师 Chase Harrison 于 2022 年 10 月推出。它是一个封装了大量 LLM 应用开发逻辑和工具集成的开源 Python 库，集成了不同的大语言模型并将其连接到各种外部数据源和 API。

核心组件

1. Model（模型）

Model 模块主要包含大语言模型（LLM）。借助 LangChain，与 LLM 的交互变得更加便捷。它支持异步调用，满足并发场景，并允许编写自定义的 LLM 包装器。

2. Prompt（提示）

Prompt 是向 LLM 提供的输入。LangChain 提供了完备的管理和优化 Prompt 的功能，最基础的是 Prompt Template（提示模板），用于定义输入的格式或蓝图。输出解析器可以将 LLM 的输出解析为所需格式。

3. Chain（链）

Chain 提供了将各种组件合并成一个统一应用程序的方式。通过链式结构可以实现多个模型的序列调用，也能集成提示模板对用户输入进行格式化。LangChain 提供了多种基础链式结构，如 SimpleSequentialChain、API Chain、GraphQAChain 等。

4. Agent（代理）

Agent 是 LangChain 最强大的功能模块之一。它将 LLM 作为推理引擎，利用背景知识或新信息来回答问题、推理内容或决定下一步操作。Agent 可以访问搜索引擎、数据库等工具，根据用户输入决定是否调用工具，直到完成任务。

5. Memory（记忆）

在与 LLM 交互过程中，模型通常无法记住历史消息。LangChain 提供了多种记忆形式，包括存储完整记忆、保留最后几轮对话记忆、限制 Token 数等。开发者还可以选择将对话历史存储在向量数据库中。

LangChain 应用实战

1. 环境搭建

首先，开发者需要安装 LangChain 框架所需的环境，包括 Python 及相关依赖库。推荐使用 pip 安装必要的包。

pip install langchain openai python-dotenv pinecone-client

确保将 OpenAI 和 Pinecone 的 API 密钥存储在环境变量配置文件中。

from dotenv import load_dotenv, find_dotenv
load_dotenv(find_dotenv())

2. 模型调用（LLM 包装器）

实例化一个 OpenAI 的 GPT 模型包装器。以下代码演示如何使用 GPT-3.5-turbo 进行对话。

from langchain.schema import AIMessage, HumanMessage, SystemMessage
from langchain.chat_models import ChatOpenAI

chat = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0.3)
messages = [
    SystemMessage(content="你是一个专业的数据科学家"),
    HumanMessage(content="写一个 Python 脚本，用模拟数据训练一个神经网络")
]
response = chat(messages)
print(response.content)

3. 提示模板（Prompt Templates）

使用 PromptTemplates 可以根据用户输入动态更改提示。

from langchain import PromptTemplate

template = """
您是一位专业的数据科学家，擅长构建深度学习模型。
用几行话解释{concept}的概念
"""

prompt = PromptTemplate(
    input_variables=["concept"],
    template=template,
)

llm_output = chat(prompt.format(concept="autoencoder"))
print(llm_output.content)

4. 链（Chains）

链可以将提示模板和 LLM 结合起来，甚至将多个链串联起来。

from langchain.chains import LLMChain, SimpleSequentialChain

chain = LLMChain(llm=chat, prompt=prompt)

second_prompt = PromptTemplate(
    input_variables=["ml_concept"],
    template="把{ml_concept}的概念描述转换成用 500 字向我解释，就像我是一个五岁的孩子一样",
)
chain_two = LLMChain(llm=chat, prompt=second_prompt)

overall_chain = SimpleSequentialChain(chains=[chain, chain_two], verbose=True)
explanation = overall_chain.run("autoencoder")
print(explanation)

5. 嵌入和向量存储

结合 LangChain 进行自定义数据存储。将文本分割成块，转换为嵌入向量，并存储到向量数据库（如 Pinecone）中。

from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings import OpenAIEmbeddings
import os
import pinecone
from langchain.vectorstores import Pinecone

# 文本分割
text_splitter = RecursiveCharacterTextSplitter(chunk_size=100, chunk_overlap=0)
texts = text_splitter.create_documents([explanation])

# 生成嵌入
embeddings = OpenAIEmbeddings(model_name="ada")
query_result = embeddings.embed_query(texts[0].page_content)

# 初始化 Pinecone 并上传
pinecone.init(api_key=os.getenv('PINECONE_API_KEY'), environment=os.getenv('PINECONE_ENV'))
index_name = "langchain-quickstart"
search = Pinecone.from_documents(texts, embeddings, index_name=index_name)

# 相似度搜索
result = search.similarity_search("What is magical about an autoencoder?")
print(result)

6. 代理（Agents）

智能代理能够自主行动，依次完成一系列任务。以下示例演示如何用 Python 代理解决数学问题。

from langchain.agents.agent_toolkits import create_python_agent
from langchain.tools.python.tool import PythonREPLTool
from langchain.python import PythonREPL
from langchain.llms.openai import OpenAI

agent_executor = create_python_agent(
    llm=OpenAI(temperature=0, max_tokens=1000),
    tool=PythonREPLTool(),
    verbose=True
)

agent_executor.run("找到二次函数 3 * x ** 2 + 2 * x - 1 的根（零点）。")

与其他框架对比

以下是四种主流框架的详细对比，帮助您选择合适的生成式 AI 应用框架：

框架	优势	劣势	理想用例
LangChain	灵活性和扩展性高，开源，社区活跃	学习曲线较陡，配置相对复杂	研究项目，高性能应用，复杂业务逻辑
LlamaIndex	搜索和检索效率高，易用性好	功能相对有限，黑箱性质	信息检索，个性化内容生成
Haystack	全面的 NLP 流水线，灵活定制	设置复杂，资源密集型	信息提取，问题回答，情感分析
Hugging Face	丰富的模型库，用户友好平台	部分功能成本较高	模型训练和微调，模型评估

部署与最佳实践

在实际生产环境中部署基于 LangChain 的应用时，需注意以下几点：

成本控制：大模型 API 调用按 Token 计费，需合理控制上下文长度和请求频率。
延迟优化：对于实时性要求高的场景，考虑使用本地部署的小模型或缓存机制。
数据安全：敏感数据不应直接发送给公有云大模型，建议采用私有化部署或脱敏处理。
错误处理：LLM 输出具有随机性，需设计完善的异常捕获和重试机制。

总结

LangChain 通过模块化设计封装了 LLM 交互逻辑，提供了 Model、Prompt、Chain、Agent 和 Memory 等核心组件。本文详细阐述了 LangChain 的工作原理，结合向量存储实现 RAG 架构，并通过 Python 代码演示了环境配置、模型调用、提示模板构建、链式组合及智能代理的实现方法。同时对比了 LangChain 与 LlamaIndex、Haystack 等框架的差异，为开发者选择合适的大模型应用框架提供参考。随着技术的演进，LangChain 将继续完善其生态，成为连接大模型能力与实际业务需求的重要桥梁。

大模型开发框架 LangChain 技术实战入门

前言

LangChain 简介

核心特性

LangChain 工作原理

LangChain 框架详解

核心组件

1. Model（模型）

2. Prompt（提示）

3. Chain（链）

4. Agent（代理）

5. Memory（记忆）

LangChain 应用实战

1. 环境搭建

2. 模型调用（LLM 包装器）

3. 提示模板（Prompt Templates）

4. 链（Chains）

5. 嵌入和向量存储

6. 代理（Agents）

与其他框架对比

部署与最佳实践

总结

更多推荐文章

相关免费在线工具

大模型开发框架 LangChain 技术实战入门

前言

LangChain 简介

核心特性

LangChain 工作原理

LangChain 框架详解

核心组件

1. Model（模型）

2. Prompt（提示）

3. Chain（链）

4. Agent（代理）

5. Memory（记忆）

LangChain 应用实战

1. 环境搭建

2. 模型调用（LLM 包装器）

3. 提示模板（Prompt Templates）

4. 链（Chains）

5. 嵌入和向量存储

6. 代理（Agents）

与其他框架对比

部署与最佳实践

总结

微信扫一扫，关注极客日志

更多推荐文章

相关免费在线工具