我们为 LLM 确立了一个跨模型的 统一工具调用 API。有了它，你就可以在不同的模型上使用相同的代码，在 Mistral 或 Llama 等模型间自由切换，而无需或很少需要根据模型更改工具调用相关的代码。此外，我们还在 transformers 中新增了一些实用接口以使工具调用更丝滑，我们还为此配备了完整的文档以及端到端工具使用的示例。我们会持续添加更多的模型支持。
引言
LLM 工具使用这个功能很有意思 —— 每个人都认为它很棒，但大多数人从未亲测过。它的概念很简单：你给 LLM 提供一些工具（即：可调用的函数），LLM 在响应用户的查询的过程中可自主判断、自行调用它们。比方说，你给它一个计算器，这样它就不必依赖其自身不靠谱的算术能力；你还可以让它上网搜索或查看你的日历，或者授予它访问公司数据库的权限（只读！），以便它可以提取相应信息或搜索技术文档。
工具调用使得 LLM 可以突破许多自身的核心限制。很多 LLM 口齿伶俐、健谈，但涉及到计算和事实时往往不够精确，并且对小众话题的具体细节不甚了解。它们还不知道训练数据截止日期之后发生的任何事情。它们是通才，但除了你在系统消息中提供的信息之外，它们在开始聊天时对你或聊天背景一无所知。工具使它们能够获取结构化的、专门的、相关的、最新的信息，这些信息可以帮助其成为真正有帮助的合作伙伴，而不仅仅是令人着迷的新奇玩意儿。
然而，当你开始真正尝试工具使用时，问题出现了！文档很少且互相之间不一致，甚至矛盾 —— 对于闭源 API 和开放模型无不如此！尽管工具使用在理论上很简单，但在实践中却常常成为一场噩梦：如何将工具传递给模型？如何确保工具提示与其训练时使用的格式相匹配？当模型调用工具时，如何将其合并到聊天提示中？如果你曾尝试过动手实现工具使用，你可能会发现这些问题出奇棘手，而且很多时候文档并不完善，有时甚至会帮倒忙。
更糟糕的是，不同模型的工具使用的实现可能迥异。即使在定义可用工具集这件最基本的事情上，一些模型厂商用的是 JSON 模式，而另一些模型厂商则希望用 Python 函数头。即使那些希望使用 JSON 模式的人，细节上也常常会有所不同，因此造成了巨大的 API 不兼容性。看！用户被摁在地板上疯狂摩擦，同时内心困惑不已。
为此，我们能做些什么呢？
聊天模板
Hugging Face Cinematic Universe 的忠粉会记得，开源社区过去在 聊天模型 方面也面临过类似的挑战。聊天模型使用 <|start_of_user_turn|> 或 <|end_of_message|> 等控制词元来让模型知道聊天中发生了什么，但不同的模型训练时使用的控制词元完全不同，这意味着用户需要为他们用的模型分别编写特定的格式化代码。这在当时是一个非常头疼的问题。
最终的解决方案是 聊天模板 - 即，模型会自带一个小小的 Jinja 模板，它能用正确的格式来规范每个模型的聊天格式和控制词元。聊天模板意味着用户能用通用的、与模型无关的方式编写聊天，并信任 Jinja 模板来处理模型格式相关的事宜。
基于此，支持工具使用的一个显而易见的方法就是扩展聊天模板的功能以支持工具。这正是我们所做的，但工具给模板方案带来了许多新的挑战。我们来看看这些挑战以及我们是如何解决它们的吧。希望在此过程中，你能够更深入地了解该方案的工作原理以及如何更好利用它。
将工具传给聊天模板
在设计工具使用 API 时，首要需求是定义工具并将其传递给聊天模板的方式应该直观。我们发现大多数用户的流程是：首先编写工具函数，然后弄清楚如何据其生成工具定义并将其传递给模型。一个自然而然的想法是：如果用户可以简单地将函数直接传给聊天模板并让它为他们生成工具定义那就好了。
但问题来了，'传函数'的方式与使用的编程语言极度相关，很多人是通过 JavaScript 或 Rust 而不是 Python 与聊天模型交互的。因此，我们找到了一个折衷方案，我们认为它可以两全其美：聊天模板将工具定义为 JSON 格式，但如果你传 Python 函数给模板，我们会将其自动转换为 JSON 格式 这就产生了一个漂亮、干净的 API:
def get_current_temperature(location: str):
"""
Gets the temperature at a given location.
Args:
location: The location to get the temperature for
"""
return 22.0 # bug: Sometimes the temperature is not 22. low priority
tools = [get_current_temperature]
chat = [
{"role": , : }
]
tool_prompt = tokenizer.apply_chat_template(
chat,
tools=tools,
add_generation_prompt=,
return_tensors=
)
