用 Self-Instruct 生成微调数据，让开源模型学会写测试用例

提示模板很简单，核心就是明确领域和输出格式：

question_prompt = """
你是一个[domain]领域的专家，被要求提供[续写数量]个多样化的指令，我会给你八个例子，你再续写[续写数量]个，指令都属于[domain]。
下面是[例子数量]个例子:
[例子生成]
下面请续写[续写数量]个指令，以 json 字符串数组的格式返回，不要多余的其他文字，不要序号，返回格式如下：
["指令内容","指令内容"]
"""

调用大模型用的是 OpenAI API 的封装，初期为了省钱直接上了 gpt-3.5-turbo，效果够用。如果对数据质量要求更高，换 gpt-4 会显著提升逻辑严谨性，成本也上去了。

def chat(question_input):
    client = OpenAI(api_key=api_key, base_url=api_base)
    msg = [{"role": "user", "content": question_input}]
    completion = client.chat.completions.create(
        model="gpt-3.5-turbo", messages=msg
    )
    return completion.choices[0].message.content

生成的指令大多像模像样，例如：

过滤与输入输出生成

生成的指令需要过滤掉重复的。我们没有用复杂的语义去重，只是遍历一遍，如果指令文本已经出现过（在种子或之前生成的集合里），就直接跳过。简单粗暴，但够用。

接着，为每条通过过滤的指令构造提示，让模型生成对应的 input（输入上下文）和 output（期望输出）。生成的格式是 Alpaca 经典的三字段结构：instruction、input、output。有些指令的 input 是空的，表示不需要额外上下文。

for i, question in tqdm(enumerate(question_list)):
    if question in existing_questions:
        continue  # 如果指令已存在，跳过
    question_input = answer_prompt + question
    try:
        result = chat(question_input)  # 调用大模型，生成输入输出
    except Exception as e:
        print('异常:', e)
        continue
    generate_base = decode_res(result)
    
    # 拼接完整的 Alpaca 数据
    output = {'instruction': question, 'input': generate_base.input_data, 'output': generate_base.output_data}
    
    # 将生成的数据保存
    write_output(output_filename, output)

最终得到的数据集质量还算不错，大多数指令和输出是合理的。当然也有翻车的，比如把'边界值分析'解释成'安全测试'，或者输出和指令根本不沾边。所以后期我们加了人工抽检，发现问题就整条丢掉。

部分生成数据样例：

微调与评估

环境与工具

硬件方面，我们用了一张 RTX 4090 24GB 跑实验，配合 PyTorch 2.1.0 + CUDA 12.1。QLoRA 量化后在消费级显卡上微调 7B 模型没问题，但训练时间会久一点。如果数据量特别大，最好还是上 A100。

微调框架选了 LLaMA Factory，开箱即用，支持 LoRA/QLoRA，Web UI 配参数也方便。把上面生成的 Alpaca 数据集导入，调一下学习率、批次大小、轮数，就可以直接开始。

微调与初步效果

我们用生成的数据集微调了 Qwen 和 LLaMA 等几个模型，效果提升明显。微调后的模型能准确理解测试术语，生成的测试用例结构清晰、步骤完整，不再像基座模型那样瞎编。

评估用了几种方式：

• 自动化指标：BLEU、ROUGE 看和标准答案的相似度；
• 人工评估：请测试同事对生成用例打分，重点关注覆盖率和可执行性；
• 对比实验：同一批 prompt，微调前后模型各跑一遍，看准确率。

初步结论是，微调后在领域知识问答上准确率提升了大约 30%，用例的可用性也大幅提高。

小结

整个流程跑下来，Self-Instruct 确实能低成本地撑起指令微调的数据需求。种子写得好不好，直接决定了生成数据的上限；人工抽检那一步省不得，大模型偶尔会一本正经地胡说八道。

这套数据以后还能复用，比如结合 RAG 或 Agent 技术，让模型不只生成用例，还能自己规划测试策略。那是后话了。