使用 LLaMA-Factory 微调大模型实现函数调用功能

微调的基座模型选择 Qwen1.5-4B，每个数据集最大样本量为 50000，训练 2 轮，训练命令如下：

python src/train_bash.py     \
--stage sft     \
--do_train True     \
--model_name_or_path /models/Qwen1.5-4B     \
--finetuning_type lora     \
--template qwen     \
--dataset_dir data     \
--dataset glaive_toolcall,alpaca_gpt4_en,alpaca_gpt4_zh,oaast_sft_zh     \
--cutoff_len 1024     \
--learning_rate 5e-05     \
--num_train_epochs 2.0     \
--max_samples 50000     \
--per_device_train_batch_size 2     \
--gradient_accumulation_steps 4     \
--lr_scheduler_type cosine     \
--max_grad_norm 1.0     \
--logging_steps 100     \
--save_steps 1000     \
--warmup_steps 0     \
--optim adamw_torch     \
--report_to none     \
--output_dir saves/Qwen1.5-4B/lora/train_2024-04-20-15-30-29     \
--fp16 True     \
--lora_rank 8     \
--lora_alpha 16     \
--lora_dropout 0.1     \
--lora_target all     \
--plot_loss True

在笔者的 GPU 上大约训练了 14 个小时（同时还在运行其它任务）。训练完后，将 lora 部分的参数与原始模型进行合并，形成新的训练后的模型（Qwen1.5-4B-agent），此时，新模型已经具有了 function calling 的调用能力。

测试微调后的大模型的 function calling

我们来测试下训练后的大模型的 function calling 的能力。模型服务的部署命令如下：

python -m llmtuner.api.app --model_name_or_path /models/Qwen1.5-4B-agent --template qwen

笔者找了三个 API 工具来进行测试，它们的作用分别为 生活垃圾分类，动漫信息查询，歌曲信息查询，API 具体的入参、出参可以参考网址为：https://apifox.com/apidoc/shared-faff130e-7aa3-42da-9f93-574b16c8acda。

测试脚本如下：

import os
import json
from openai import OpenAI
from typing import Sequence
import requests

os.environ["OPENAI_BASE_URL"] = "http://localhost:50079/v1"
os.environ["OPENAI_API_KEY"] = "0"

def get_rubbish_category(keyword):
    url = f"https://api.timelessq.com/garbage?keyword={keyword}"
    response = requests.request("GET", url)
    output_str_list = []
    for item in response.json()['data']:
        output_str_list.append(f"{item['name']}: {item['category']}")
    return '\n'.join(output_str_list)

def get_song_information(keyword):
    url = f"https://api.timelessq.com/music/tencent/search?keyword={keyword}"
    response = requests.request("GET", url)
    song_infor = response.json()['data']['list'][0]
    singer = '' if not song_infor['singer'] else song_infor['singer'][0]['name']
    return f"歌曲：{keyword}\n歌手：{singer}\n时长：{song_infor['interval']}秒\n专辑名称：{song_infor['albumname']}"

def get_cartoon_information(title):
    url = f"https://api.timelessq.com/bangumi?title={title}"
    response = requests.request("GET", url)
    data = response.json()['data'][0]
    return f"标题：{data['title']}\n类型：{data['type']}\n语言：{data['lang']}\n出品方：{data['officialSite']}\n上映时间：{data['begin']}\n完结事件：{data['end']}"

tool_map = {"get_rubbish_category": get_rubbish_category,
            "get_song_information": get_song_information,
            "get_cartoon_information": get_cartoon_information}

if __name__ == "__main__":
    client = OpenAI()
    tools = [
        {
            "type": "function",
            "function": {
                            "name": "get_rubbish_category",
                            "description": "适用于生活垃圾分类时，判断物品属于哪种类型的垃圾？",
                            "parameters": {
                                "type": "object",
                                "properties": {
                                    "keyword": {
                                        "type": "string",
                                        "description": "物品名称，用于垃圾分类",
                                    },
                                },
                                "required": ["keyword"],
                            }
                        }
        },
        {
            "type": "function",
            "function": {
                            "name": "get_cartoon_information",
                            "description": "根据用户提供的动漫标题，查询该动漫的相关信息。",
                            "parameters": {
                                "type": "object",
                                "properties": {
                                    "title": {
                                        "type": "string",
                                        "description": "动漫",
                                    },
                                },
                                "required": ["title"],
                            }
                        }
        },
        {
            "type": "function",
            "function": {
                            "name": "get_song_information",
                            "description": "根据用户提供的歌曲名称，查询歌曲相关信息，包括歌手、时长、专辑名称等。",
                            "parameters": {
                                "type": "object",
                                "properties": {
                                    "keyword": {
                                        "type": "string",
                                        "description": "歌曲名称",
                                    },
                                },
                                "required": ["keyword"],
                            }
                        }
        }
    ]

    messages = []
    messages.append({"role": "system", "content": "你是一个有用的小助手，请调用下面的工具来回答用户的问题，参考工具输出进行回答。"})
    # messages.append({"role": "user", "content": "鸡蛋壳属于哪种类型的垃圾？"})
    # messages.append({"role": "user", "content": "爱在西元前是谁唱的，来自哪张专辑？"})
    messages.append({"role": "user", "content": "动漫《棋魂》是哪个国家的，什么时候上映的？"})
    result = client.chat.completions.create(messages=messages, model="Qwen1.5-4B-agent", tools=tools)
    tool_call = result.choices[0].message.tool_calls[0].function
    print(tool_call)
    name, arguments = tool_call.name, json.loads(tool_call.arguments)
    messages.append({"role": "function", "content": json.dumps({"name": name, "argument": arguments}, ensure_ascii=False)})
    tool_result = tool_map[name](**arguments)
    messages.append({"role": "tool", "content": "工具输出结果为：" + tool_result})
    for msg in messages:
        print('--->', msg)
    result = client.chat.completions.create(messages=messages, model="Qwen1.5-4B-agent")
    print("Answer: ", result.choices[0].message.content)

测试结果如下：

• 问题：鸡蛋壳属于哪种类型的垃圾？

输出：

---> {'role': 'system', 'content': '你是一个有用的小助手，请调用下面的工具来回答用户的问题，参考工具输出进行回答。'}
---> {'role': 'user', 'content': '鸡蛋壳属于哪种类型的垃圾？'}
---> {'role': 'function', 'content': '{"name": "get_rubbish_category", "argument": {"keyword": "鸡蛋壳"}}'}
---> {'role': 'tool', 'content': '工具输出结果为：熟鸡蛋壳：湿垃圾\n生鸡蛋壳：湿垃圾\n鸡蛋壳：湿垃圾\n包裹着鸡蛋壳的餐巾纸：干垃圾'}
Answer:  鸡蛋壳属于湿垃圾。

• 问题：爱在西元前是谁唱的，来自哪张专辑？

输出：

---> {'role': 'system', 'content': '你是一个有用的小助手，请调用下面的工具来回答用户的问题，参考工具输出进行回答。'}
---> {'role': 'user', 'content': '爱在西元前是谁唱的，来自哪张专辑？'}
---> {'role': 'function', 'content': '{"name": "get_song_information", "argument": {"keyword": "爱在西元前"}}'}
---> {'role': 'tool', 'content': '工具输出结果为：歌曲：爱在西元前\n歌手：周杰伦\n时长：234 秒\n专辑名称：范特西'}
Answer:  歌曲《爱在西元前》的演唱者是周杰伦，来自专辑《范特西》。

• 问题：动漫《棋魂》是哪个国家的，什么时候上映的？

输出：

---> {'role': 'system', 'content': '你是一个有用的小助手，请调用下面的工具来回答用户的问题，参考工具输出进行回答。'}
---> {'role': 'user', 'content': '动漫《棋魂》是哪个国家的，什么时候上映的？'}
---> {'role': 'function', 'content': '{"name": "get_cartoon_information", "argument": {"title": "棋魂"}}'}
---> {'role': 'tool', 'content': '工具输出结果为：标题：ヒカルの碁\n类型：tv\n语言：ja\n出品方：http://www.tv-tokyo.co.jp/anime/hikaru/\n上映时间：2001-10-10T10:27:00.000Z\n完结事件：2003-03-26T10:55:00.000Z'}
Answer:  动漫《棋魂》是日本的，它于 2001 年 10 月 10 日上映。