自从 ChatGPT 发布以来，大型语言模型（LLMs）已经获得了极大的普及。尽管你可能没有足够的资金和计算资源在你的地下室从头开始训练一个 LLM，但你仍然可以使用预先训练的 LLMs 来构建一些很酷的应用，例如：
- 可以根据为您的目的而定制的数据聊天机器人
- 与外界进行交互的个人助理分析
- 对您的文档或代码进行汇总
凭借其独特的 API 和快速的工程设计，LLMs 正在改变我们构建人工智能产品的方式。这就是为什么新的开发工具在'LLMOps'一词下随处可见，其中一个新工具是 LangChain。
什么是 LangChain？
LangChain 是一个框架，旨在通过为您提供以下内容来帮助您更轻松地构建 LLM 支持的应用程序：
- 各种不同基础模型的通用接口；
- 帮助您管理提示的框架；
- 以及用于 LLM 无法处理（例如计算或搜索）的长期内存、外部数据、其他 LLM 和其他代理的中央接口。
这是哈里森·蔡斯创建的一个开源项目。由于 LangChain 功能众多，我们将在本文中介绍 LangChain 目前的六个关键模块，以使您更好地了解其功能。
安装环境
在本教程中，您将需要安装 langchain Python 软件包，并准备好使用所有相关的 API 密钥。安装 LangChain 之前，请确保您的 Python 版本 ≥ 3.8.1 且 < 4.0。
要安装 langchain Python 包，您可以使用 pip 安装它。建议先在虚拟环境中操作以避免依赖冲突。
pip install langchain
在本教程中，我们使用的是 0.0.147 版。GitHub 库提交非常活跃；因此，请确保您拥有当前版本。全部设置完毕后，导入 langchain Python 包。
import langchain
API Keys
使用 LLMs 构建应用程序需要您要使用的某些服务的 API 密钥，并且某些 API 是付费的。
LLM 供应商 (必填)： 您首先需要使用 LLM 提供程序的 API 密钥。我们目前正在经历'AI 的 Linux 时刻'，开发人员必须基于主要在性能和成本之间的权衡，在专有或开源基础模型之间进行选择。
LLM 提供者： 专有和开源基础模型。
专有模型是拥有大型专家团队和大型 AI 预算的公司拥有的封闭式基础模型。它们通常比开源模型更大，因此具有更好的性能，但它们也具有昂贵的 API。专有模型提供商的示例是 OpenAI、co:here、AI21 Labs 或 Anthropic。大多数可用的 LangChain 教程使用 OpenAI，但请注意，OpenAI API（对于实验来说并不昂贵，但它）不是免费的。要获取 OpenAI API 密钥，您需要一个 OpenAI 帐户，然后在 API 密钥下'创建新的密钥'。
import os
os.environ["OPENAI_API_KEY"] = "... # insert your API_TOKEN here"
开源模型通常是较小的模型，其功能比专有模型低，但比专有模型更具成本效益。开源模型的示例包括：
- BLOOM by BigScience
- LLaMA by Meta AI
- Flan-T5 by Google
- GPT-J by Eleuther AI
作为社区中心，许多开源模型都是在 Hugging Face 组织和托管的。要获得 Hugging Face API 密钥，您需要一个 Hugging Face 帐户，并在访问令牌下创建一个'新令牌'。
import os
os.environ["HUGGINGFACEHUB_API_TOKEN"] = "... # insert your API_TOKEN here"
对于开源 LLM，您可以免费使用 Hugging Face，但是您将被限制在性能较低的较小 LLM 中。
矢量数据库 (可选)： 如果要使用特定的矢量数据库，例如 Pinecone、Weaviate 或 Milvus，则需要向他们注册以获取 API 密钥并确认其定价。在本教程中，我们使用的是 Faiss，它不需要注册。
工具 (可选)： 根据您希望 LLM 与之交互的工具（例如 OpenWeatherMap 或 SerpAPI），您可能需要向它们注册以获取 API 密钥并检查其定价。在本教程中，我们仅使用不需要 API 密钥的工具。
我们可以用 LangChain 做什么？
该软件包为许多基础模型提供了通用接口，可以进行提示管理，并通过代理充当其他组件（如提示模板、其他 LLM、外部数据和其他工具）的中央接口。在撰写本文时，LangChain（版本 0.0.147）涵盖了六个模块：
- 模型：从不同的 LLMs 和嵌入模型中进行选择
- 提示：管理 LLM
- 输入链：将 LLMs 与其他组件相结合
- 索引：访问外部数据
- 存储器：记住以前的对话
- 代理：访问其他工具
以下各节中的代码示例是从 LangChain 文档中复制和修改的。
模型：从不同的 LLM 中选择和嵌入模型
目前，许多不同的 LLM 正在出现。LangChain 为各种模型提供了集成，并为所有模型提供了简化的界面。LangChain 区分了三种类型的模型，它们的输入和输出不同：
- LLMs 将字符串作为输入（提示），并输出字符串（完成）。
# Proprietary LLM from e.g. OpenAI
# pip install openai
from langchain.llms import OpenAI
llm = OpenAI(model_name="text-davinci-003")
# Alternatively, open-source LLM hosted on Hugging Face
# pip install huggingface_hub
from langchain import HuggingFaceHub
llm = HuggingFaceHub(repo_id="google/flan-t5-xl")
# The LLM takes a prompt as an input and outputs a completion
prompt = "Alice has a parrot. What animal is Alice's pet?"
completion = llm(prompt)
- 聊天模型类似于 LLM。他们将聊天消息列表作为输入，并返回聊天消息。这更适合多轮对话场景。
- 文本嵌入模型采用文本输入并返回浮点数（嵌入）列表，浮点数是输入文本的数字表示形式。嵌入有助于从文本中提取信息。随后可以使用该信息，例如，用于计算文本之间的相似性（例如，电影摘要）。这在检索增强生成（RAG）系统中至关重要。
提示：管理 LLM 输入
LLM 有怪异的 API。尽管用自然语言向 LLM 输入提示应该感觉很直观，但在从 LLM 获得所需的输出之前，需要对提示进行大量调整。这个过程称为提示工程。一旦有了好的提示，您可能希望将其用作其他目的的模板。因此，LangChain 为您提供了所谓的提示模板，可帮助您从多个组件构建提示。
from langchain import PromptTemplate
template = "What is a good name for a company that makes {product}?"
prompt = PromptTemplate(
input_variables=["product"],
template=template,
)
prompt.format(product="colorful socks")
上面的提示可以看作是 Zero-shot Learning（零样本学习是一种设置，模型可以学习识别以前在训练中没有明确看到的事物），您希望 LLM 在足够的相关数据上进行了训练，以提供令人满意的结果。改善 LLM 输出的另一个技巧是在提示中添加一些示例，并使其成为一些问题设置，即 Few-Shot Prompting。
from langchain import PromptTemplate, FewShotPromptTemplate
examples = [
{"word": "happy", "antonym": "sad"},
{"word": "tall", "antonym": "short"},
]
example_template = """
Word: {word}
Antonym: {antonym}\n
"""
example_prompt = PromptTemplate(
input_variables=["word", "antonym"],
template=example_template,
)
few_shot_prompt = FewShotPromptTemplate(
examples=examples,
example_prompt=example_prompt,
prefix="Give the antonym of every input",
suffix="Word: {input}\nAntonym:",
input_variables=["input"],
example_separator="\n",
)
few_shot_prompt.format(input="big")
上面的代码将生成一个提示模板，并根据提供的示例和输入组成以下提示：
Give the antonym of every input
Word: happy
Antonym: sad
Word: tall
Antonym: short
Word: big
Antonym:
Chain：将 LLMs 与其他组件组合
在 LangChain 中 Chain 简单地描述了将 LLMs 与其他组件组合以创建应用程序的过程。一些示例是：将 LLM 与提示模板组合，通过将第一个 LLM 的输出作为第二个 LLM 的输入来顺序组合多个 LLM，将 LLM 与外部数据组合（例如，对于问题回答），将 LLM 与长期记忆相结合（例如，对于上一节中的聊天记录）。
我们创建了一个提示模板。当我们想将其与我们的 LLM 一起使用时，我们可以使用 LLMChain，如下所示：
from langchain.chains import LLMChain
chain = LLMChain(llm=llm,
prompt=prompt)
# Run the chain only specifying the input variable.
chain.run("colorful socks")
如果我们想使用这个第一个 LLM 的输出作为第二个 LLM 的输入，我们可以使用一个 SimpleSequentialChain：
from langchain.chains import LLMChain, SimpleSequentialChain
# Define the first chain as in the previous code example
# ...
# Create a second chain with a prompt template and an LLM
second_prompt = PromptTemplate(
input_variables=["company_name"],
template="Write a catchphrase for the following company: {company_name}",
)
chain_two = LLMChain(llm=llm, prompt=second_prompt)
# Combine the first and the second chain
overall_chain = SimpleSequentialChain(chains=[chain, chain_two], verbose=True)
# Run the chain specifying only the input variable for the first chain.
catchphrase = overall_chain.run("colorful socks")
索引：访问外部数据
LLM 的一个限制是它们缺乏上下文信息（例如，访问某些特定文档或电子邮件）。您可以通过允许 LLMs 访问特定的外部数据来解决此问题。为此，您首先需要使用文档加载器加载外部数据。LangChain 为不同类型的文档提供了各种加载程序，从 pdf 和电子邮件到网站和 YouTube 视频。
让我们从 YouTube 视频中加载一些外部数据。如果你想加载一个大的文本文档并用文本拆分器拆分它，你可以参考官方文档。
# pip install youtube-transcript-api
# pip install pytube
from langchain.document_loaders import YoutubeLoader
loader = YoutubeLoader.from_youtube_url("https://www.youtube.com/watch?v=dQw4w9WgXcQ")
documents = loader.load()
现在，您已经准备好外部数据作为文档，您可以使用矢量数据库（VectorStore）中的文本嵌入模型对其进行索引。流行的矢量数据库包括 Pinecone、Weaviate 和 Milvus。在本文中，我们使用的是 Faiss，因为它不需要 API 密钥。
# pip install faiss-cpu
from langchain.vectorstores import FAISS
# create the vectorestore to use as the index
db = FAISS.from_documents(documents, embeddings)
您的文档（在本例中为视频）现在作为嵌入存储在矢量存储中。现在你可以用这个外部数据做各种各样的事情。让我们将其用于带有信息寻回器的问答任务：
from langchain.chains import RetrievalQA
retriever = db.as_retriever()
qa = RetrievalQA.from_chain_type(
llm=llm,
chain_type="stuff",
retriever=retriever,
return_source_documents=True)
query = "What am I never going to do?"
result = qa({"query": query})
print(result['result'])
存储器：记住先前的对话
对于像聊天机器人这样的应用程序来说，他们能够记住以前的对话是至关重要的。但是默认情况下，LLMs 没有任何长期记忆，除非您输入聊天记录。
LangChain 通过提供处理聊天记录的几种不同选项来解决此问题：
- 保留所有对话
- 保留最新的 k 对话
- 总结对话
在这个例子中，我们将使用 ConversationChain 作为这个应用程序会话内存。
from langchain import ConversationChain
conversation = ConversationChain(llm=llm, verbose=True)
conversation.predict(input="Alice has a parrot.")
conversation.predict(input="Bob has two cats.")
conversation.predict(input="How many pets do Alice and Bob have?")
这将生成上图中的右手对话。如果没有 ConversationChain 来保持对话记忆，对话将看起来像上图中左侧的对话，因为模型会忘记之前的上下文。
代理：访问其他工具
尽管 LLMs 非常强大，但仍有一些局限性：它们缺乏上下文信息（例如，访问训练数据中未包含的特定知识），它们可能很快就会过时（例如，GPT-4 在 2021 年 9 月之前就接受了数据培训），并且他们不擅长数学。
因为 LLM 可能会对自己无法完成的任务产生幻觉，所以我们需要让他们访问补充工具，例如搜索（例如 Google 搜索）、计算器（例如 Python REPL 或 Wolfram Alpha）和查找（例如，维基百科）。此外，我们需要代理根据 LLM 的输出来决定使用哪些工具来完成任务。
请注意，某些 LLM（例如 google/flan-t5-xl）不适用于以下示例，因为它们不遵循会话 - 反应 - 描述模板。对我来说，这是我在 OpenAI 上设置付费帐户并切换到 OpenAI API 的原因。
下面是一个例子，代理人首先用维基百科查找奥巴马的出生日期，然后用计算器计算他 2022 年的年龄。
# pip install wikipedia
from langchain.agents import load_tools
from langchain.agents import initialize_agent
from langchain.agents import AgentType
tools = load_tools(["wikipedia", "llm-math"], llm=llm)
agent = initialize_agent(tools,
llm,
agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION,
verbose=True)
agent.run("When was Barack Obama born? How old was he in 2022?")
总结
就在几个月前，我们所有人（或至少我们大多数人）都对 ChatGPT 的功能印象深刻。现在，像 LangChain 这样的新开发人员工具使我们能够在几个小时内在笔记本电脑上构建同样令人印象深刻的原型——这是一些真正令人兴奋的时刻！
LangChain 是一个开源的 Python 库，它使任何可以编写代码的人都可以构建以 LLM 为动力的应用程序。该软件包为许多基础模型提供了通用接口，可以进行提示管理，并通过代理充当其他组件（如提示模板、其他 LLM、外部数据和其他工具）的中央接口。该库提供了比本文中提到的更多的功能。以目前的发展速度，这篇文章也可能在一个月内过时。
在撰写本文时，我注意到库和文档围绕 OpenAI 的 API 展开。尽管许多示例与开源基础模型 google/flan-t5-xl 一起使用，但我在两者之间选择了 OpenAI API。尽管不是免费的，但在本文中尝试 OpenAI API 只花了我大约 1 美元。随着生态系统的成熟，未来可能会有更多免费且强大的替代方案出现。开发者应关注 LangChain 的官方更新，以便及时适应框架的变化和新功能的加入。