前言
本文重点介绍 Function Calling 的机制和应用，在其原理基础上，深入讲解为什么会有 Plugin、GPTs 等技术的出现。核心要点如下：
- 大模型应用的核心是自然语言连接系统的认知。
- 在 Function Calling 的应用中，如何实现大模型与业务的有效连接。
- OpenAI 如何通过 GPTs 连接外部世界。
本文将主要以 ChatGPT 为例进行讲解，因为其在当前公认的能力表现上具有代表性。
自然语言连接一切（Natural Language Interface），接口的进化
我们以前的接口经历了多个版本的进化，从早期的命令行到图形界面，再到 Web API，媒介发生很多变化，但都离不开一个共同点，那就是要有约定、有规划、要有程序员的对接实现。
而在面对以 ChatGPT 为代表的一系列大模型时，我们面对的是自然语言的接口。在这个强大的能力加持下，我们在面对计算机等智能设备时，可以用自然语言对它发出指令，实现我们的意图。
这里重新强调这一点，是因为我们要清楚，面对 AIGC 的重大革新，不管是在日常生活中使用 LLM，还是基于 LLM 做应用开发，思维上首先要转变的就是要把计算机当成一个人。有了这个认识，接下来我们才能更好地使用它。
为什么要让大模型连接外部世界
有的伙伴可能会说，大模型既然能力已经很强了，为什么还要连接外部世界呢？之前我们也讲过，大模型有它自己的能力缺陷，或者说不擅长的地方：
并非知晓一切
- 训练数据不可能什么都有：垂直领域、非公开数据必有欠缺。
- 不知道最新信息：大模型的训练周期很长，且更新一次耗资巨大，还有越训越傻的风险。所以它不可能实时训练。例如 GPT-3.5 的知识截至 2021 年 9 月，GPT-4 是 2023 年 12 月。
没有「真逻辑」
它表现出的逻辑、推理，是训练文本的统计规律，而不是真正的逻辑，所以容易产生幻觉。
为了解决这个问题，就是我们所说的要连接外部世界：大模型需要连接真实世界，并对接真逻辑系统。
Function Calling 的机制
Function Calling 技术可以把大模型和业务系统连接，实现更丰富的功能。我们先看下它的由来和定义，以及用途，就能理解这一点了。
Function Calling 的定义
函数调用（Function Calling） 是 OpenAI 发布的新能力。根据官方描述，函数调用能力可以让模型输出一个请求调用函数的消息，其中包含所需调用的函数信息、以及调用函数时所携带的参数信息。这是一种将 GPT 能力与外部工具 / API 连接起来的新方式。
支持函数调用的新模型，可以根据用户的输入自行判断何时需要调用哪些函数，并且可以根据目标函数的描述生成符合要求的请求参数。
Function Calling 的机制
它的使用逻辑是这样的：
- 用户输入自然语言 Prompt。
- 模型分析意图，判断是否需要调用外部函数。
- 如果需要，模型输出结构化的函数调用请求（包含函数名和参数）。
- 后端执行该函数，获取结果。
- 将结果返回给模型，模型生成最终的自然语言回答。
Function Calling 完整的官方接口文档展示了详细的 JSON Schema 规范。我们可以看到，对于人来讲，我们还是一段自然语言的 prompt 输入，得到一个自然语言的回答，但是因为有了 Function Calling，可以通过开发各种各样的函数，来丰富和增强大模型的能力。
Function Calling 的示例、体验
我们来看一个 Function Calling 的简单使用实例：
需求：定义一个函数，可以让 ChatGPT 进行精确的数学计算，并返回精确结果。
实现：
# 伪代码示例：定义函数描述
functions = [
{
"name": "sum",
"description": "Calculate the sum of a list of numbers",
"parameters": {
"type": "object",
"properties": {
"numbers": {
"type": "array",
"items": {"type": "number"},
"description": "List of numbers to sum"
}
},
"required": ["numbers"]
}
}
]
输出结果：
当用户询问 1+2+...+10 时，模型可能不会直接计算，而是触发函数调用：
{
"tool_calls": [
{
"id": "call_EoBm8iVtl000rAZSyWe9qlk8",
"function": {
"arguments": "{\"numbers\":[1,2,3,4,5,6,7,8,9,10]}",
"name": "sum"
},
"type": "function"
}
]
}
随后系统执行求和函数返回 55，最终回复给用户：
The sum of 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 is 55.
支持 Function Calling 的国产大模型
Function Calling 会成为所有大模型的标配，支持它的越来越多，不支持的大模型在某种程度上是不大可用的。
百度文心大模型
百度文心系列大模型有四个。按发布时间从早到晚是：
- ERNIE-Bot - 支持 Function Calling
- ERNIE-Bot-turbo
- ERNIE-Bot 4.0
- ERNIE-Bot 3.5 - 支持 Function Calling
参数大体和 OpenAI 一致。
MiniMax
- 这是个公众不大知道，但其实挺强的大模型，尤其角色扮演能力。
- 如果你曾经在一个叫 Glow 的 app 流连忘返，那么你已经用过它了。
- 应该是最早支持 Function Calling 的国产大模型。
- Function Calling 的 API 和 OpenAI 1106 版之前完全一样，但其它 API 有很大的特色。
ChatGLM3-6B
- 最著名的国产开源大模型，生态最好。
- 早就使用
tools而不是function来做参数，其它和 OpenAI 1106 版之前完全一样。
讯飞星火 3.0
和 OpenAI 1106 版之前完全一样。
OpenAI 用 Actions 连接外部世界
第一次尝试用 Plugins 连接真实世界，但产品很不成功，原因：
- 不在「场景」中，不能提供端到端一揽子服务。
- 缺少「强 Agent」调度，只能手工选三个 plugin，使用成本太高。
第二次尝试，升级为 Actions，内置到 GPTs 中，解决了落地场景问题。
小瓜 GPT 已经接入了高德地图 actions，可以试试问位置相关的问题。
工作流程：
- 用户在 GPTs 中输入查询。
- GPTs 识别意图，调用 Actions。
- 获取数据并反馈给用户。
和 Function Calling 有点不一样，但是基本原理都是一样的。
Actions 对接示例
把 API 对接到 GPTs 里，只需要配置一段 API 描述信息：
openapi: 3.1.0
info:
title: 高德地图
description: 获取 POI 的相关信息
version: v1.0.0
paths:
/text:
get:
description: 根据 POI 名称，获得 POI 的经纬度坐标
operationId: get_location_coordinate
parameters:
- name: keywords
in: query
description: POI 名称，必须是中文
required: true
schema:
type: string
还需要配置 API key 来满足权限要求。
这里的所有 name、description 都是 prompt，决定了 GPT 会不会调用你的 API，调用得是否正确。
GPTs 与它的平替们
- 无需编程，就能定制个性对话机器人的平台。
- 可以放入自己的知识库，实现 RAG（后面会讲）。
- 可以通过 actions 对接专有数据和功能。
- 内置 DALL·E 3 文生图和 Code Interpreter 能力。
- 只有 ChatGPT Plus 会员可以使用。
推荐两款平替：
字节跳动 Coze（扣子）
- 国际版可以免费使用 GPT-4 等 OpenAI 的服务！
- 中国版发展势头很猛，使用云雀大模型。
- 功能更强大。
Dify
- 开源，中国公司开发。
- 功能最丰富。
- 可以本地部署，支持非常多的大模型。
- 有 GUI，也有 API。
有这类无需开发的工具，为什么还要学大模型开发技术呢？
- 它们都无法针对业务需求做极致调优。
- 它们和其它业务系统的集成不是特别方便。
实施建议与最佳实践
在实际落地场景中，给了开发者提供了更多的自由度，我们可以加强输入，也可以整合输出，来增强自己业务的目的。以下是几点关键建议：
1. 提示词工程优化
Function Calling 的成功率很大程度上取决于对函数描述的 Prompt 质量。确保 description 清晰明确，涵盖边界条件。如果模型经常误调用，可以尝试增加 Few-Shot 示例或调整温度参数（Temperature）。
2. 错误处理与容错
外部 API 可能会失败。在接收到 Function Call 后，必须做好异常捕获。如果函数执行失败，应将错误信息回传给模型，让它尝试修正参数或告知用户，而不是直接抛出异常中断流程。
3. 安全性考量
Function Calling 允许模型执行任意代码或 API 调用，存在安全风险。务必对可调用函数进行白名单限制，避免模型调用敏感操作（如删除数据库）。同时注意不要将 API Key 硬编码在客户端，应通过后端代理转发。
4. 成本控制
每次 Function Call 都会产生额外的 Token 消耗和网络延迟。在设计业务流程时，尽量合并多次调用，减少交互轮次。对于高频调用的简单任务，考虑缓存结果。
总结
大模型需要，且我们一直都在努力连接外部世界，从 ChatGPT 的 Plugin，到 GPTs，再到 Function Calling。我们都想给大模型更丰富，更强大的能力。
大模型中的 Function Calling 更是一种强大的功能，它能够增强模型的功能、提高数据的准确性并提升用户体验。随着技术的不断发展，Function Calling 的应用场景将会越来越广泛，为人工智能领域的发展带来更多的可能性。
同时，在实际落地场景中，给了开发者提供了更多的自由度，我们可以加强输入，也可以整合输出，来增强自己业务的目的。掌握这项技术，意味着能够构建出真正具备行动能力的智能体，而不仅仅是聊天机器人。
