LangChain 开发入门教程：构建 LLM 驱动应用指南

矢量数据库 (可选)： 如果要使用特定的矢量数据库，例如 Pinecone、Weaviate 或 Milvus，则需要向他们注册以获取 API 密钥并确认其定价。在本教程中，我们使用的是 Faiss，它不需要注册。

工具 (可选)： 根据您希望 LLM 与之交互的工具（例如 OpenWeatherMap 或 SerpAPI），您可能需要向它们注册以获取 API 密钥并检查其定价。在本教程中，我们仅使用不需要 API 密钥的工具。

我们可以用 LangChain 做什么？

该软件包为许多基础模型提供了通用接口，可以进行提示管理，并通过代理充当其他组件（如提示模板、其他 LLM、外部数据和其他工具）的中央接口。在撰写本文时，LangChain（版本 0.0.147）涵盖了六个模块：

• 模型：从不同的 LLMs 和嵌入模型中进行选择
• 提示：管理 LLM
• 输入链：将 LLMs 与其他组件相结合
• 索引：访问外部数据
• 存储器：记住以前的对话
• 代理：访问其他工具

以下各节中的代码示例是从 LangChain 文档中复制和修改的。

模型：从不同的 LLM 中选择和嵌入模型

目前，许多不同的 LLM 正在出现。LangChain 为各种模型提供了集成，并为所有模型提供了简化的界面。LangChain 区分了三种类型的模型，它们的输入和输出不同：

• LLMs 将字符串作为输入（提示），并输出字符串（完成）。

# Proprietary LLM from e.g. OpenAI
# pip install openai
from langchain.llms import OpenAI
llm = OpenAI(model_name="text-davinci-003")

# Alternatively, open-source LLM hosted on Hugging Face
# pip install huggingface_hub
from langchain import HuggingFaceHub
llm = HuggingFaceHub(repo_id="google/flan-t5-xl")

# The LLM takes a prompt as an input and outputs a completion
prompt = "Alice has a parrot. What animal is Alice's pet?"
completion = llm(prompt)

• 聊天模型类似于 LLM。他们将聊天消息列表作为输入，并返回聊天消息。这更适合多轮对话场景。
• 文本嵌入模型采用文本输入并返回浮点数（嵌入）列表，浮点数是输入文本的数字表示形式。嵌入有助于从文本中提取信息。随后可以使用该信息，例如，用于计算文本之间的相似性（例如，电影摘要）。这在检索增强生成（RAG）系统中至关重要。

提示：管理 LLM 输入

LLM 有怪异的 API。尽管用自然语言向 LLM 输入提示应该感觉很直观，但在从 LLM 获得所需的输出之前，需要对提示进行大量调整。这个过程称为提示工程。一旦有了好的提示，您可能希望将其用作其他目的的模板。因此，LangChain 为您提供了所谓的提示模板，可帮助您从多个组件构建提示。

from langchain import PromptTemplate

template = "What is a good name for a company that makes {product}?"

prompt = PromptTemplate(
    input_variables=["product"],
    template=template,
)

prompt.format(product="colorful socks")

上面的提示可以看作是 Zero-shot Learning（零样本学习是一种设置，模型可以学习识别以前在训练中没有明确看到的事物），您希望 LLM 在足够的相关数据上进行了训练，以提供令人满意的结果。改善 LLM 输出的另一个技巧是在提示中添加一些示例，并使其成为一些问题设置，即 Few-Shot Prompting。

from langchain import PromptTemplate, FewShotPromptTemplate

examples = [
    {"word": "happy", "antonym": "sad"},
    {"word": "tall", "antonym": "short"},
]

example_template = """
Word: {word}
Antonym: {antonym}\n
"""

example_prompt = PromptTemplate(
    input_variables=["word", "antonym"],
    template=example_template,
)

few_shot_prompt = FewShotPromptTemplate(
    examples=examples,
    example_prompt=example_prompt,
    prefix="Give the antonym of every input",
    suffix="Word: {input}\nAntonym:",
    input_variables=["input"],
    example_separator="\n",
)

few_shot_prompt.format(input="big")

上面的代码将生成一个提示模板，并根据提供的示例和输入组成以下提示：

Give the antonym of every input

Word: happy
Antonym: sad


Word: tall
Antonym: short


Word: big
Antonym:

Chain：将 LLMs 与其他组件组合

在 LangChain 中 Chain 简单地描述了将 LLMs 与其他组件组合以创建应用程序的过程。一些示例是：将 LLM 与提示模板组合，通过将第一个 LLM 的输出作为第二个 LLM 的输入来顺序组合多个 LLM，将 LLM 与外部数据组合（例如，对于问题回答），将 LLM 与长期记忆相结合（例如，对于上一节中的聊天记录）。

我们创建了一个提示模板。当我们想将其与我们的 LLM 一起使用时，我们可以使用 LLMChain，如下所示：

from langchain.chains import LLMChain

chain = LLMChain(llm=llm, 
                  prompt=prompt)

# Run the chain only specifying the input variable.
chain.run("colorful socks")

如果我们想使用这个第一个 LLM 的输出作为第二个 LLM 的输入，我们可以使用一个 SimpleSequentialChain：

from langchain.chains import LLMChain, SimpleSequentialChain

# Define the first chain as in the previous code example
# ...

# Create a second chain with a prompt template and an LLM
second_prompt = PromptTemplate(
    input_variables=["company_name"],
    template="Write a catchphrase for the following company: {company_name}",
)

chain_two = LLMChain(llm=llm, prompt=second_prompt)

# Combine the first and the second chain 
overall_chain = SimpleSequentialChain(chains=[chain, chain_two], verbose=True)

# Run the chain specifying only the input variable for the first chain.
catchphrase = overall_chain.run("colorful socks")

索引：访问外部数据

LLM 的一个限制是它们缺乏上下文信息（例如，访问某些特定文档或电子邮件）。您可以通过允许 LLMs 访问特定的外部数据来解决此问题。为此，您首先需要使用文档加载器加载外部数据。LangChain 为不同类型的文档提供了各种加载程序，从 pdf 和电子邮件到网站和 YouTube 视频。

让我们从 YouTube 视频中加载一些外部数据。如果你想加载一个大的文本文档并用文本拆分器拆分它，你可以参考官方文档。

# pip install youtube-transcript-api
# pip install pytube

from langchain.document_loaders import YoutubeLoader

loader = YoutubeLoader.from_youtube_url("https://www.youtube.com/watch?v=dQw4w9WgXcQ")

documents = loader.load()

现在，您已经准备好外部数据作为文档，您可以使用矢量数据库（VectorStore）中的文本嵌入模型对其进行索引。流行的矢量数据库包括 Pinecone、Weaviate 和 Milvus。在本文中，我们使用的是 Faiss，因为它不需要 API 密钥。

# pip install faiss-cpu
from langchain.vectorstores import FAISS

# create the vectorestore to use as the index
db = FAISS.from_documents(documents, embeddings)

您的文档（在本例中为视频）现在作为嵌入存储在矢量存储中。现在你可以用这个外部数据做各种各样的事情。让我们将其用于带有信息寻回器的问答任务：

from langchain.chains import RetrievalQA

retriever = db.as_retriever()

qa = RetrievalQA.from_chain_type(
    llm=llm, 
    chain_type="stuff", 
    retriever=retriever, 
    return_source_documents=True)

query = "What am I never going to do?"
result = qa({"query": query})

print(result['result'])

存储器：记住先前的对话

对于像聊天机器人这样的应用程序来说，他们能够记住以前的对话是至关重要的。但是默认情况下，LLMs 没有任何长期记忆，除非您输入聊天记录。

LangChain 通过提供处理聊天记录的几种不同选项来解决此问题：

• 保留所有对话
• 保留最新的 k 对话
• 总结对话

在这个例子中，我们将使用 ConversationChain 作为这个应用程序会话内存。

from langchain import ConversationChain

conversation = ConversationChain(llm=llm, verbose=True)

conversation.predict(input="Alice has a parrot.")

conversation.predict(input="Bob has two cats.")

conversation.predict(input="How many pets do Alice and Bob have?")

这将生成上图中的右手对话。如果没有 ConversationChain 来保持对话记忆，对话将看起来像上图中左侧的对话，因为模型会忘记之前的上下文。

代理：访问其他工具

尽管 LLMs 非常强大，但仍有一些局限性：它们缺乏上下文信息（例如，访问训练数据中未包含的特定知识），它们可能很快就会过时（例如，GPT-4 在 2021 年 9 月之前就接受了数据培训），并且他们不擅长数学。

因为 LLM 可能会对自己无法完成的任务产生幻觉，所以我们需要让他们访问补充工具，例如搜索（例如 Google 搜索）、计算器（例如 Python REPL 或 Wolfram Alpha）和查找（例如，维基百科）。此外，我们需要代理根据 LLM 的输出来决定使用哪些工具来完成任务。

请注意，某些 LLM（例如 google/flan-t5-xl）不适用于以下示例，因为它们不遵循会话 - 反应 - 描述模板。对我来说，这是我在 OpenAI 上设置付费帐户并切换到 OpenAI API 的原因。

下面是一个例子，代理人首先用维基百科查找奥巴马的出生日期，然后用计算器计算他 2022 年的年龄。

# pip install wikipedia
from langchain.agents import load_tools
from langchain.agents import initialize_agent
from langchain.agents import AgentType

tools = load_tools(["wikipedia", "llm-math"], llm=llm)
agent = initialize_agent(tools, 
                         llm, 
                         agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, 
                         verbose=True)


agent.run("When was Barack Obama born? How old was he in 2022?")

总结

就在几个月前，我们所有人（或至少我们大多数人）都对 ChatGPT 的功能印象深刻。现在，像 LangChain 这样的新开发人员工具使我们能够在几个小时内在笔记本电脑上构建同样令人印象深刻的原型——这是一些真正令人兴奋的时刻！

LangChain 是一个开源的 Python 库，它使任何可以编写代码的人都可以构建以 LLM 为动力的应用程序。该软件包为许多基础模型提供了通用接口，可以进行提示管理，并通过代理充当其他组件（如提示模板、其他 LLM、外部数据和其他工具）的中央接口。该库提供了比本文中提到的更多的功能。以目前的发展速度，这篇文章也可能在一个月内过时。

在撰写本文时，我注意到库和文档围绕 OpenAI 的 API 展开。尽管许多示例与开源基础模型 google/flan-t5-xl 一起使用，但我在两者之间选择了 OpenAI API。尽管不是免费的，但在本文中尝试 OpenAI API 只花了我大约 1 美元。随着生态系统的成熟，未来可能会有更多免费且强大的替代方案出现。开发者应关注 LangChain 的官方更新，以便及时适应框架的变化和新功能的加入。