Model I/O
在 LangChain 中,被称为:,其有、、等三部分组成。
LangChain 中的 Model I/O 包含输入提示、调用模型、输出解析三部分。本文详细讲解了 PromptTemplate、ChatPromptTemplate、FewShotPromptTemplate、PipelinePromptTemplate 及 Partial 提示模板的使用方法。通过代码示例展示了如何创建、调用及复用这些模板,并介绍了基于向量数据库的示例选择器机制。此外,还总结了提示工程的最佳实践,帮助开发者高效构建和管理大模型应用。

在 LangChain 中,被称为:,其有、、等三部分组成。
Model I/O模型的输入与输出输入提示 (Format)调用模型 (Predict)输出解析 (Parse)1. 提示模板:LangChain 的模板允许动态选择输入,根据实际需求调整输入内容,适用于各种特定任务和应用。
2. 语言模型:LangChain 提供通用接口调用不同类型的语言模型,提升了灵活性和使用便利性。
3. 输出解析:利用 LangChain 的输出解析功能,精准提取模型输出中所需信息,避免处理冗余数据,同时将非结构化文本转换为可处理的结构化数据,提高信息处理效率。
在 LangChain 的 Model I/O 中,提示模板是其组成之一,这里也主要申明记录
提示模板 (Format)的使用。
语言模型的提示是用户提供的一组指令或输入,用于指导模型的响应,帮助模型理解上下文并生成相关且连贯的基于语言的输出,例如回答问题、完成句子或参与某项活动、对话。
'提示'指的是模型的输入,这个输入很少是硬编码的,而是通常从多个组件构建而成的,恰哈提示模板就是负责构建这个输入的。
LangChain 提示模板特点:
1. 清晰易懂的提示:提高提示文本的可读性,使其更易于理解,尤其是在处理复杂或涉及多个变量的情况下。
2. 增强可重用性:使用模板,可以在多个地方重复使用,简化代码,无需重复构建提示字符串。
3. 简化维护:使用模板后,如果需要更改提示内容,只需修改模板,无需逐个查找所有用到该提示的地方。
4. 智能处理变量:模板可以自动处理变量的插入,无需手动拼接字符串。
5. 参数化生成:模板可以根据不同的参数生成不同的提示,有助于个性化文本生成。
在 LangChain 中,可以看到以下类型的提示模板:
1. LLM 提示模板 PromptTemplate:常用的 String 提示模板
2. 聊天提示模板 ChatPromptTemplate:常用的 Chat 提示模板,用于组合各种角色的消息模板,传入聊天模型。
消息模板包括:ChatMessagePromptTemplate、HumanMessagePromptTemplate、AIlMessagePromptTemplate SystemMessagePromptTemplate 等
3. 样本提示模板 FewShotPromptTemplate:通过示例来教模型如何回答
4. 部分格式化提示模板:提示模板传入所需值的子集,以创建仅期望剩余值子集的新提示模板。
5. 管道提示模板 PipelinePrompt:用于把几个提示组合在一起使用。
6. 自定义模板:允许基于其他模板类来定制自己的提示模板。
模板导入方式如下:
from langchain.prompts.prompt import PromptTemplate
from langchain.prompts import FewShotPromptTemplate
from langchain.prompts.pipeline import PipelinePromptTemplate
from langchain.prompts import ChatPromptTemplate
from langchain.prompts import (
ChatMessagePromptTemplate,
SystemMessagePromptTemplate,
AIMessagePromptTemplate,
HumanMessagePromptTemplate,
)
import os
os.environ["OPENAI_BASE_URL"] = "https://xxx.com/v1"
os.environ["OPENAI_API_KEY"] = "sk-fDqouTlU62yjkBhF46284543Dc8f42438a9529Df74B4Ce65"
创建一个 PromptTemplate 提示模板,有 2 种方式来创建。
# 导入 LangChain 中的提示模板
from langchain.prompts import PromptTemplate
# 创建原始模板
template = "您是一位专业的文案写手。\n对于信息 {text} 进行简短描述"
# 根据原始模板创建 LangChain 提示模板
prompt = PromptTemplate.from_template(template)
# 打印 LangChain 提示模板的内容
print(prompt)
print(prompt.format(text="猪八戒吃人参果"))
提示模板的具体内容如下:
input_variables=['text'] template='您是一位专业的文案写手。\n对于信息 {text} 进行简短描述'
您是一位专业的文案写手。
对于信息 猪八戒吃人参果 进行简短描述
通过提示模板类的构造函数,在创建模板时手工指定 input_variables
from langchain.prompts import PromptTemplate
prompt = PromptTemplate(
input_variables=["text"],
template="您是一位专业的文案写手。\n对于信息 {text} 进行简短描述"
)
print(prompt.format(text="猪八戒吃人参果"))
调用语言模型,让模型帮写文案,并返回文案结果。
将模板实例化,将 {text}替换为 "猪八戒吃人参果",形成具体的提示:'您是一位专业的文案写手。对于信息 猪八戒吃人参果 进行简短描述'
# 导入 LangChain 中的 OpenAI 模型接口
from langchain_openai import OpenAI
# 创建模型实例
model = OpenAI(model_name='gpt-3.5-turbo-instruct')
# 输入提示
input = prompt.format(text="猪八戒吃人参果")
# 得到模型的输出
output = model(input)
# 打印输出内容
print(output)
猪八戒是一位贪吃的神仙,他最爱的美食就是人参果。每当他闻到人参果的香味,就会忍不住大快朵颐,吃得津津有味。然而,人参果却是一种珍稀的仙果,吃多了会让猪八戒变得更加贪婪和暴躁,甚至会影响他的神仙身份。因此,猪八戒每次都要克制自己的食欲,才能保持神仙的本性。尽管如此,每当有人提起人参果,他仍然会忍不住流口水,渴望再次品尝这种美味的禁果。
复用提示模板,可以同时生成多个结果。
# 导入 LangChain 中的 OpenAI 模型接口
from langchain_openai import OpenAI
# 创建模型实例
model = OpenAI(model_name='gpt-3.5-turbo-instruct')
# 多种花的列表
objList = ["猪八戒吃人参果", "孙悟空吃人参果"]
# 生成多种花的文案
for obj in zip(objList):
# 使用提示模板生成输入
input_prompt = prompt.format(text=obj)
# 得到模型的输出
output = model(input_prompt)
# 打印输出内容
print(output)
模型输出如下:
猪八戒是一位贪吃的妖怪,但他最爱吃的不是普通的食物,而是人参果。这种奇特的水果具有神奇的功效,能够增强生命力,让人变得更加健康强壮。但如果被猪八戒吃掉,可能会让他变得更加凶猛可怕。
孙悟空是一位身怀绝技的神仙,他喜欢吃人参果来增强自己的力量。
LangChain 提供了几个相关的提示模板,以便轻松构建和处理提示。在使用聊天模型时,建议使用这些与聊天相关的提示模板,而不是 PromptTemplate,以充分发挥基础聊天模型的潜力。
PromptTemplate 创建字符串提示的模板。默认情况下,使用 Python 的 str.format 语法进行模板化。而 ChatPromptTemplate 是创建聊天消息列表的提示模板。
创建一个 ChatPromptTemplate 提示模板,模板的不同之处是它们有对应的角色。
通过 from_messages 方法,传入简单的聊天列表数据,以此创建提示模板
from langchain.prompts.chat import ChatPromptTemplate
template = "你是一个翻译专家,擅长将 {input_language} 语言翻译成 {output_language}语言."
human_template = "{text}"
chat_prompt = ChatPromptTemplate.from_messages([
("system", template),
("human", human_template),
])
print(chat_prompt)
# 导入 LangChain 中的 ChatOpenAI 模型接口
from langchain_openai import ChatOpenAI
# 创建模型实例
model = ChatOpenAI(model_name='gpt-3.5-turbo')
# 输入提示
messages = chat_prompt.format_messages(input_language="英文", output_language="中文", text="I love programming.")
# 得到模型的输出
output = model.invoke(messages)
# 打印输出内容
print(output)
content='我喜欢编程。' response_metadata={'token_usage': {'completion_tokens': 8, 'prompt_tokens': 48, 'total_tokens': 56}, 'model_name': 'gpt-3.5-turbo', 'system_fingerprint': 'fp_b28b39ffa8', 'finish_reason': 'stop', 'logprobs': None} id='run-365c447e-f3d7-4d07-b5f2-7953752d4ba6-0'
LangChain 提供不同类型的 MessagePromptTemplate。最常用的是 AIMessagePromptTemplate、SystemMessagePromptTemplate 和 HumanMessagePromptTemplate,分别创建人工智能消息、系统消息和人工消息。
要创建与角色相关联的消息模板,可以使用 MessagePromptTemplate。
# 导入聊天消息类模板
from langchain.prompts import (
ChatPromptTemplate,
SystemMessagePromptTemplate,
HumanMessagePromptTemplate,
)
# 模板的构建
system_template = "你是一个翻译专家,擅长将 {input_language} 语言翻译成 {output_language}语言."
system_message_prompt = SystemMessagePromptTemplate.from_template(system_template)
human_template = "{text}"
human_message_prompt = HumanMessagePromptTemplate.from_template(human_template)
prompt_template = ChatPromptTemplate.from_messages([system_message_prompt, human_message_prompt])
# 格式化提示消息生成提示
prompt = prompt_template.format_prompt(input_language="英文", output_language="中文",
text="I love programming.").to_messages()
from langchain_openai import ChatOpenAI
# 创建模型实例
model = ChatOpenAI(model_name='gpt-3.5-turbo')
# 得到模型的输出
result = model.invoke(prompt)
# 打印输出内容
print(result)
更直接地构建 MessagePromptTemplate,可以在外部创建一个 PromptTemplate,然后将其传递进去
prompt=PromptTemplate(
template="你是一个翻译专家,擅长将 {input_language} 语言翻译成 {output_language}语言.",
input_variables=["input_language", "output_language"],
)
system_message_prompt = SystemMessagePromptTemplate(prompt=prompt)
基于 LLM 模型与聊天模型,可分别使用 FewShotPromptTemplate 或 FewShotChatMessagePromptTemplate,两者使用基本一致。
这里主要使用 FewShotPromptTemplate,它是一个复杂的提示模板,它包含多个示例和一个提示。这种模板可以使用多个示例来指导模型生成对应的输出。
使用 FewShotPromptTemplate 类来创建使用少量样本示例的提示模板,此类要么接受一组示例,要么接受一个 ExampleSelector 对象。
创建一些提示样本,每个示例都是一个字典,其中键是输入变量,值是输入变量的值。
examples = [
{"input": "2+2", "output": "4", "description": "加法运算"},
{"input": "5-2", "output": "3", "description": "减法运算"},
]
配置一个格式化程序,将 Few-shot 示例格式化为字符串。这个格式化程序应该是一个 PromptTemplate 对象。
from langchain.prompts import PromptTemplate
# 创建提示模板,配置一个提示模板,将一个示例格式化为字符串
prompt_template = "你是一个数学专家,算式:{input} 值:{output} 使用:{description} "
# 这是一个提示模板,用于设置每个示例的格式
prompt_sample = PromptTemplate(input_variables=["input", "output", "description"], template=prompt_template)
print(prompt_sample.format(**examples[0])) # 你是一个数学专家,算式:2+2 值:4 使用:加法运算
创建一个 FewShotPromptTemplate 对象。这个对象接受 Few-shot 示例和 Few-shot 示例格式化程序
# 创建一个 FewShotPromptTemplate 对象
from langchain.prompts.few_shot import FewShotPromptTemplate
prompt = FewShotPromptTemplate(
examples=examples,
example_prompt=prompt_sample,
suffix="你是一个数学专家,算式:{input} 值:{output}",
input_variables=["input", "output"]
)
print(prompt.format(input="2*5", output="10")) # 你是一个数学专家,算式:2*5 值:10
初始化大模型,然后调用
from langchain_openai import OpenAI
model = OpenAI(model_name='gpt-3.5-turbo-instruct')
result = model.invoke(prompt.format(input="2*5", output="10"))
print(result) # 使用:乘法运算
LangChain 提供示例选择器来提高效率,避免一次性发送所有示例给模型,同时减少使用的 Token 数量。
如果有大量示例,可能需要选择要包含在提示中的示例,示例选择器是负责执行此操作的类。
LangChain 有几种不同类型的示例选择器。
| 名称 | 描述 |
|---|---|
| SemanticSimilarityExampleSelector | 使用输入和示例之间的语义相似性来决定选择哪些示例。 |
| MaxMarginalRelevanceExampleSelector | 使用输入和示例之间的最大边际相关性来决定选择哪些示例。 |
| LengthBasedExampleSelector | 根据一定长度内可以容纳的数量来选择示例 |
| NGramOverlapExampleSelector | 使用输入和示例之间的 ngram 重叠来决定选择哪些示例。 |
这里使用 SemanticSimilarityExampleSelector 示例选择器,基于少量样本示例的提示模板结合示例选择器进行使用,具体使用参考如下
示例选择器使用向量相似度比较,需要安装向量数据库。这里使用了开源的 Chroma。
安装 Chroma
pip install chromadb
# 定义包含的示例
examples = [
{"input": "2+2", "output": "4", "description": "加法运算"},
{"input": "5-2", "output": "3", "description": "减法运算"},
]
from langchain.prompts import PromptTemplate
# 创建创建提示模板
prompt_template = "你是一个数学专家,算式:{input} 值:{output} 使用:{description} "
# 这是一个提示模板,用于设置每个示例的格式。
prompt_sample = PromptTemplate(input_variables=["input", "output", "description"], template=prompt_template)
print(prompt_sample.format(**examples[0])) # 你是一个数学专家,算式:2+2 值:4 使用:加法运算
不直接将示例馈送到 FewShotPromptTemplate 对象中,而是将其馈送到 ExampleSelector 对象中
# 导入 FewShotPromptTemplate 对象
from langchain.prompts.few_shot import FewShotPromptTemplate
# 导入选择器
from langchain.prompts.example_selector import SemanticSimilarityExampleSelector
# 导入向量数据库 Chroma
from langchain_community.vectorstores import Chroma
# 导入嵌入模型
from langchain_openai import OpenAIEmbeddings
# 初始化示例选择器
example_selector = SemanticSimilarityExampleSelector.from_examples(
examples,
OpenAIEmbeddings(),
Chroma,
k=1
)
创建一个 FewShotPromptTemplate 对象。该对象接受示例选择器和 few shot 示例的格式化程序。
# 创建一个使用示例选择器的 FewShotPromptTemplate 对象
prompt = FewShotPromptTemplate(
example_selector=example_selector,
example_prompt=prompt_sample,
suffix="你是一个数学专家,算式:{input} 值:{output}",
input_variables=["input", "output"]
)
# 调用大模型
from langchain_openai import OpenAI
model = OpenAI(model_name='gpt-3.5-turbo-instruct')
print(model.invoke(prompt.format(input="2*5", output="10"))) # 使用:乘法运算
LangChain 包含一个抽象 PipelinePromptTemplate,当想要重用部分提示时,它会很有用。
PipelinePrompt 由两个主要部分组成:
最终提示:返回的最终提示
管道提示:元组列表,由字符串名称和提示模板组成。每个提示模板将被格式化,然后作为具有相同名称的变量传递到未来的提示模板。
创建要给最终提示模板,它由多个提示模板构成最终模板。
from langchain_core.prompts.prompt import PromptTemplate
# 创建一个完整的模板 最终提示
full_template = """{introduction}
{example}
{start}"""
full_prompt = PromptTemplate.from_template(full_template)
创建多个提示模板,由这些模板构成最终完整的提示模板,这些单个提示模板可以实现复用的效果。
# 创建一个介绍模板
introduction_template = """你在冒充 {person}."""
introduction_prompt = PromptTemplate.from_template(introduction_template)
# 创建一个示例模板
example_template = """下面是一个交互示例:
Q: {example_q}
A: {example_a}"""
example_prompt = PromptTemplate.from_template(example_template)
# 创建一个开始模板
start_template = """现在,认真做这件事
Q: {input}
A:"""
start_prompt = PromptTemplate.from_template(start_template)
组合单个可复用提示模板成一个管道提示模板
from langchain_core.prompts.pipeline import PipelinePromptTemplate
# 元组列表,由字符串名称和提示模板组成
input_prompts = [
("introduction", introduction_prompt),
("example", example_prompt),
("start", start_prompt),
]
# 创建一个管道模板
pipeline_prompt = PipelinePromptTemplate(
final_prompt=full_prompt, pipeline_prompts=input_prompts
)
# 提示模板所需的变量名称列表
print(pipeline_prompt.input_variables)
# 输出结果
print(
pipeline_prompt.format(
person="Elon Musk",
example_q="你最喜爱的车辆?",
example_a="特斯拉",
input="你最喜欢的社交媒体网站是什么?",
)
)
执行日志如下
['example_q', 'person', 'input', 'example_a']
你在冒充 Elon Musk.
下面是一个交互示例:
Q: 你最喜爱的车辆?
A: 特斯拉
现在,认真做这件事
Q: 你最喜欢的社交媒体网站是什么?
A:
'部分'提示模板是有意义的,例传递所需值的子集,以创建仅需要剩余值子集的新提示模板。
LangChain 通过两种方式支持这一点:
1. 使用字符串值进行部分格式化
2. 使用返回字符串值的函数进行部分格式化
先使用字符串值部分化提示模板,然后传递部分化的提示模板
from langchain_core.prompts import PromptTemplate
prompt = PromptTemplate.from_template("{foo}{bar}")
partial_prompt = prompt.partial(foo="foo")
print(partial_prompt.format(bar="baz"))
在初始化提示模板时,使用字符串值部分化变量
prompt = PromptTemplate(
template="{foo}{bar}", input_variables=["bar"], partial_variables={"foo": "foo"}
)
print(prompt.format(bar="baz"))
使用返回字符串值的函数进行部分处理,适用于总是想以一种常见的方式获取一个变量时
from datetime import datetime
def _get_datetime():
now = datetime.now()
return now.strftime("%m/%d/%Y, %H:%M:%S")
prompt = PromptTemplate(
template="Tell me a {adjective} joke about the day {date}",
input_variables=["adjective", "date"],
)
partial_prompt = prompt.partial(date=_get_datetime)
print(partial_prompt.format(adjective="funny"))
在实际开发中,合理选择和使用提示模板对于提升大模型应用的效果至关重要。以下是几点建议:
通过掌握上述各类提示模板及其组合方式,开发者可以更灵活地构建 LangChain 应用,实现更高效的大模型交互体验。

微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online
将 Markdown(GFM)转为 HTML 片段,浏览器内 marked 解析;与 HTML转Markdown 互为补充。 在线工具,Markdown转HTML在线工具,online