LangChain 框架详解与大语言模型应用实践

Model I/O

和大模型交互的部分，LangChain 为我们抽象了三个组件，模型输入、模型、模型输出解析器：

Model

LangChain 的一个核心价值就是它提供了标准的模型接口；然后我们可以自由的切换不同的模型，当前主要有两种类型的模型，LLMs（语言模型）和 Chat Models（聊天模型）。说到模型，大家就理解模型就是 ChatGPT 就可以。单纯的模型只能生成文本内容。

• LLMs：这类模型接受一个文本字符串作为输入，然后返回一个文本字符串作为输出。主要用于文本生成任务。
• Chat Models：将聊天消息列表作为输入，并返回一个聊天消息，通常这些消息会标明语言的角色（通常是"System"、"AI"或"Human"），这类模型是基于语言模型的，但是它们被专门调整用于进行对话。

Prompt

面向模型编程，其实就是写 Prompt。Prompt 是模型的输入，高质量的 Prompt 对于充分发挥 AI 的能力至关重要。LangChain 提供了两个工具：

• Prompt templates：参数化模板。
• Example selectors：动态的选择在 Prompt 中的例子。

Output Parsers

语言模型输出的是文本。但很多时候，我们想要获得更结构化的信息。输出解析器可以帮助我们结构化语言模型的输出。

输出解析器有两个主要方法：

• 获取格式说明 (Get format instructions)：返回一个字符串，告诉语言模型输出应该输出什么格式。
• 解析 (Parse)：接受一个字符串（假定为语言模型的响应），并将其解析为某种结构。

Data Connection

代码案例可以在仓库中看到。

Chains

Chain 是一种用于构建复杂 LLM 应用的工具，可以将多个语言模型（LLMs）或其他组件链接在一起。Chain 基本的接口包括一个内存（memory）属性，一个回调（callbacks）属性，以及一个 __call__ 方法，这个方法接受输入，返回一个字典。目前内置的几种常用 Chain：

• LLMChain：这是一个简单的链，由 PromptTemplate 和 LLM 组成，它使用提供的输入键值格式化提示模板，将格式化的字符串传递给 LLM，并返回 LLM 的输出。
• RouterChain：一种创建动态选择给定输入使用的下一个链的链的范例。路由链由两部分组成：RouterChain 本身（负责选择要调用的下一个链）和目标链（路由链可以路由到的链）。
• Sequential Chains:
  • SequentialChain：允许有多个输入/输出。顺序链允许你连接多个链并将它们组合成执行某些特定场景的管道。
  • SimpleSequentialChain：每个步骤都有一个单一的输入/输出，一个步骤的输出是下一个步骤的输入。

LangChain 也已经内置了一些专门用作特定功能的 Chain，在处理数据上定义的几种不同形式的 Chain_Type。

Memory

Chains 和 Agents 默认是无状态的，也就是每次对话都是独立的。但是在某些应用中，如聊天机器人，记住之前的交互是至关重要的，无论是短期还是长期。这就是 Memory 的作用。

LangChain 也提供一些不同类型的 Memory，方便用在不同的场景中，用在 Chain 或者 Agent 中；

Agent

Agent 的核心思想是使用语言模型（LLM）来选择要执行的一系列动作。在链（chains）中，动作序列是硬编码的（在代码中）。在 agents 中，语言模型被用作推理引擎，以确定要执行哪些动作以及执行的顺序。几个关键组件：

• Agent：这是负责决定下一步要采取什么行动的类。
• Tools：Tools 是 agent 调用的函数。
• Toolkits：用于完成特定目标所需的工具组。一个 toolkit 通常包含 3-5 个工具。
• AgentExecutor：AgentExecutor 是 agent 的运行时环境。这是实际调用 agent 并执行其选择的动作的部分。

Agent 根据 LLM 判断应该采用那个 Tool，然后调用 Tool，再向用户输出响应。

有两种类型的 Agent：

1. 动作代理（Action Agents）：这种代理一次执行一个动作，然后根据结果决定下一步的操作。
2. 计划 - 执行代理（Plan-and-Execute Agents）：这种代理首先决定一系列要执行的操作，然后根据上面判断的列表逐个执行这些操作。

在初始化 Agent 的时候，指定 Agent 的 Type，关于 agent 的 Type。主要会有 Action 的 Agent 比较多

initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)

一些 Action Agent 的类型：

Debug

LangChain 是一个方便开发大语言模型（LLM）应用和代理（Agents）的工具。然而，将 LLM 应用部署到生产环境可能会遇到许多困难。需要对你的提示（prompts）、链（chains）和其他组件进行大量的定制和迭代，才能创建出高质量的产品。

最简单的调试方式：设置 langchain.debug 和 langchain.verbose。

LangChain 官方推出了 LangSmith：用于更方便的构建生产级别的 LLM 应用。它允许您调试、测试、评估和监控基于任何 LLM 框架构建的链和智能代理，并与 LangChain 无缝集成。除了 LangSmith，还有另外一个工具 WanDB 用于方便我们调试大模型的应用。

关于 WanDB

• 1、注册账号，新建项目，记住 apiKey；
• 2、两种使用方式：在环境变量中设置 os.environ["LANGCHAIN_WANDB_TRACING"] = "true" 使用 wandb_tracing_enabled() 追踪特定块的代码。
• 3、登录 WanDB 后台查看链路。

有时候写 LLM 应用，发现返回的不符合预期，可以从这里看到输入的 Prompt，了解每个过程；或者想要学习专家们是如何写 Prompt 的都可以在这里看到。

四、LangChain 应用案例

LangChain 生成图片

实现了一个基于语言模型的文本生成图片工具，调用不同的工具函数来最终生成图片。主要提供了以下几个工具：

1. random_poem：随机返回中文的诗词。
2. prompt_generate：根据中文提示词生成对应的英文提示词。
3. generate_image：根据英文提示词生成对应的图片。

import base64
import json
import os
from io import BytesIO

import requests
from PIL import Image
from pydantic import BaseModel, Field

from langchain.agents import AgentType, initialize_agent, load_tools
from langchain.chat_models import ChatOpenAI
from langchain.llms import OpenAI
from langchain.tools import BaseTool, StructuredTool, Tool, tool
from langchain import LLMMathChain, SerpAPIWrapper

def generate_image(prompt: str) -> str:
    """
    根据提示词生成对应的图片

    Args:
        prompt (str): 英文提示词

    Returns:
        str: 图片的路径
    """
    url = "http://127.0.0.1:7860/sdapi/v1/txt2img"
    headers = {
        "accept": "application/json",
        "Content-Type": "application/json"
    }
    data = {
        "prompt": prompt,
        "negative_prompt": "(worst quality:2), (low quality:2),disfigured, ugly, old, wrong finger",
        "steps": 20,
        "sampler_index": "Euler a",
        "sd_model_checkpoint": "cheeseDaddys_35.safetensors [98084dd1db]",
        # "sd_model_checkpoint": "anything-v3-fp16-pruned.safetensors [d1facd9a2b]",
        "batch_size": 1,
        "restore_faces": True
    }

    response = requests.post(url, headers=headers, data=json.dumps(data))

    if response.status_code == 200:
        response_data = response.json()
        images = response_data['images']

        for index, image_data in enumerate(images):
            img_data = base64.b64decode(image_data)
            img = Image.open(BytesIO(img_data))
            file_name = f"image_{index}.png"
            file_path = os.path.join(os.getcwd(), file_name)
            img.save(file_path)
            print(f"Generated image saved at {file_path}")
            return file_path
    else:
        print(f"Request failed with status code {response.status_code}")

def random_poem(arg: str) -> str:
    """
    随机返回中文的诗词

    Returns:
        str: 随机的中文诗词
    """
    llm = OpenAI(temperature=0.9)
    text = """
        能否帮我从中国的诗词数据库中随机挑选一首诗给我，希望是有风景，有画面的诗：
        比如：山重水复疑无路，柳暗花明又一村。
    """
    return llm(text)

def prompt_generate(idea: str) -> str:
    """
    生成图片需要对应的英文提示词

    Args:
        idea (str): 中文提示词

    Returns:
        str: 英文提示词
    """
    llm = OpenAI(temperature=0, max_tokens=2048)
    res = llm(f"""
    Stable Diffusion is an AI art generation model similar to DALLE-2.
    Below is a list of prompts that can be used to generate images with Stable Diffusion:

    - portait of a homer simpson archer shooting arrow at forest monster, front game card, drark, marvel comics, dark, intricate, highly detailed, smooth, artstation, digital illustration by ruan jia and mandy jurgens and artgerm and wayne barlowe and greg rutkowski and zdislav beksinski
    - pirate, concept art, deep focus, fantasy, intricate, highly detailed, digital painting, artstation, matte, sharp focus, illustration, art by magali villeneuve, chippy, ryan yee, rk post, clint cearley, daniel ljunggren, zoltan boros, gabor szikszai, howard lyon, steve argyle, winona nelson
    - ghost inside a hunted room, art by lois van baarle and loish and ross tran and rossdraws and sam yang and samdoesarts and artgerm, digital art, highly detailed, intricate, sharp focus, Trending on Artstation HQ, deviantart, unreal engine 5, 4K UHD image
    - red dead redemption 2, cinematic view, epic sky, detailed, concept art, low angle, high detail, warm lighting, volumetric, godrays, vivid, beautiful, trending on artstation, by jordan grimmer, huge scene, grass, art greg rutkowski
    - a fantasy style portrait painting of rachel lane / alison brie hybrid in the style of francois boucher oil painting unreal 5 daz. rpg portrait, extremely detailed artgerm greg rutkowski alphonse mucha greg hildebrandt tim hildebrandt
    - athena, greek goddess, claudia black, art by artgerm and greg rutkowski and magali villeneuve, bronze greek armor, owl crown, d & d, fantasy, intricate, portrait, highly detailed, headshot, digital painting, trending on artstation, concept art, sharp focus, illustration
    - closeup portrait shot of a large strong female biomechanic woman in a scenic scifi environment, intricate, elegant, highly detailed, centered, digital painting, artstation, concept art, smooth, sharp focus, warframe, illustration, thomas kinkade, tomasz alen kopera, peter mohrbacher, donato giancola, leyendecker, boris vallejo
    - ultra realistic illustration of steve urkle as the hulk, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, art by artgerm and greg rutkowski and alphonse mucha

    I want you to write me a list of detailed prompts exactly about the idea written after IDEA. Follow the structure of the example prompts. This means a very short description of the scene, followed by modifiers divided by commas to alter the mood, style, lighting, and more.

    IDEA: {idea}""")
    return res

class PromptGenerateInput(BaseModel):
    """
    生成英文提示词所需的输入模型类
    """
    idea: str = Field()

class GenerateImageInput(BaseModel):
    """
    生成图片所需的输入模型类
    """
    prompt: str = Field(description="英文提示词")


tools = [
    Tool.from_function(
        func=random_poem,
        name="诗歌获取",
        description="随机返回中文的诗词"
    ),
    Tool.from_function(
        func=prompt_generate,
        name="提示词生成",
        description="生成图片需要对应的英文提示词，当前工具可以将输入转换为英文提示词，以便方便生成",
        args_schema=PromptGenerateInput
    ),
    Tool.from_function(
        func=generate_image,
        name="图片生成",
        description="根据提示词生成对应的图片，提示词需要是英文的，返回是图片的路径",
        args_schema=GenerateImageInput
    ),
]

def main():
    """
    主函数，初始化代理并执行对话
    """
    llm = OpenAI(temperature=0)
    agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
    agent.run("帮我生成一张诗词的图片？")

if __name__ == '__main__':
    main()

LangChain 做答疑

import os
from langchain.chains import RetrievalQA
from langchain.document_loaders import TextLoader
from langchain.embeddings import OpenAIEmbeddings
from langchain.indexes import VectorstoreIndexCreator
from langchain.text_splitter import CharacterTextSplitter
from langchain.vectorstores import Chroma
from langchain.llms import OpenAI

# 设置代理
os.environ['HTTP_PROXY'] = 'socks5h://127.0.0.1:13659'
os.environ['HTTPS_PROXY'] = 'socks5h://127.0.0.1:13659'

# 创建文本加载器
loader = TextLoader('/Users/aihe/Downloads/demo.txt', encoding='utf8')

# 加载文档
documents = loader.load()

# 文本分块
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_documents(documents)

# 计算嵌入向量
embeddings = OpenAIEmbeddings()

# 创建向量库
db = Chroma.from_documents(texts, embeddings)

# 将向量库转换为检索器
retriever = db.as_retriever()

# 创建检索问答系统
qa = RetrievalQA.from_chain_type(llm=OpenAI(), chain_type="stuff", retriever=retriever)

# 运行问题答案检索
query = "如何申请租户？"
print(qa.run(query))

print(qa.run("能否说明下你可以提供的功能？"))

Langchain 输出结构化 JSON 数据

import requests
from langchain.agents import AgentType, initialize_agent
from langchain.chat_models import ChatOpenAI
from langchain.tools import StructuredTool
from pydantic import BaseModel, Field

def post_message(type: str, param: dict) -> str:
    """
     当需要生成人群、分析画像、咨询问题时，使用如下的指示：url 固定为：http://localhost:3001/
     如果请求是生成人群，请求的 type 为 crowd; 如果请求是分析画像，请求的 type 为 analyze; 如果是其他或者答疑，请求的 type 为 question;
     请求 body 的 param 把用户指定的条件传进来即可
     """
    result = requests.post("http://localhost:3001/", json={"type": type, "param": param})
    return f"Status: {result.status_code} - {result.text}"

class PostInput(BaseModel):
    # body: dict = Field(description="""格式:{"type":"","param":{}}""")
    type: str = Field(description="请求的类型，人群为 crowd，画像为 analyze")
    param: dict = Field(description="请求的具体描述")


llm = ChatOpenAI(temperature=0)
tools = [
    StructuredTool.from_function(post_message)
]
agent = initialize_agent(tools, llm, agent=AgentType.STRUCTURED_CHAT_ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("我想生成一个性别为男并且在 180 天访问过淘特的人群？")

LangChain 做一款自己的聊天机器人

原本做聊天机器人，需要一些前端代码，但是已经有相应的开源工具，帮我们把 LangChian 的各种组件做了可视化，直接拖拽即可，我们直接使用 LangFlow；

pip install langflow

然后运行命令：

langflow

在界面上配置 LangChain 的三个组件：在最右下角是对应的聊天窗口，输入下 openai 的 key。

开始聊天验证下我们的配置：

全程基本上不用怎么写代码，只需要了解 LangChain 的组件是做什么的，基本上就可以搭出一款简单的聊天机器人。

其它的 LangChain 组件代理，内存，数据索引也是都可以使用的。

其它案例

可以参考本仓库的 practice 目录。

其它可以尝试的应用：

• 关键信息提取，答疑
• 信息结构化：自动填表单
• 推荐、检索和加工。

五、最佳实践与生产环境建议

在实际生产环境中使用 LangChain 时，需要注意以下几点以确保系统的稳定性和性能：

1. 异步处理：在生产环境中，建议使用异步 IO 来处理 LLM 调用，避免阻塞主线程。LangChain 支持异步 API，应充分利用 ainvoke 和 astream 等方法。
2. 缓存机制：对于重复的查询或相同的 Prompt，应启用缓存机制（如 Redis Cache），以减少 Token 消耗并降低延迟。
3. 错误处理：LLM 服务可能会出现超时或错误，需要在代码中加入重试机制（Retry Logic）和异常捕获，确保服务的鲁棒性。
4. 成本控制：监控 Token 的使用量，设置预算上限。对于长文本处理，合理使用 Refine 或 Map-Reduce 策略，避免超出上下文窗口导致额外费用。
5. 安全性：对用户输入进行过滤，防止 Prompt Injection 攻击。同时，确保 API Key 等敏感信息存储在安全的环境变量中，不要硬编码在代码里。
6. 监控与日志：集成 LangSmith 或类似的监控工具，记录每一次 Chain 的执行路径、输入输出及耗时，便于后续的问题排查和性能优化。

六、总结

本文介绍了 LangChain 框架，它能够将大型语言模型与其他计算或知识来源相结合，从而实现功能更加强大的应用。接着，对 LangChain 的关键概念进行了详细说明，并基于该框架进行了一些案例尝试，旨在帮助读者更轻松地理解 LangChain 的工作原理。

展望未来，LangChain 有望在各个领域发挥巨大作用，促进我们工作效率的变革。随着更多的工具和资源与 LangChain 进行集成，大语言模型对人的生产力将会有更大的提升。我们正处于 AI 爆发的前夜，积极拥抱新技术将会带来完全不同的感觉。