大模型指令微调中的 Prompt 设计与数据集构建指南

2.3 Linly-AI 模板

这是一种简洁的中文指令模板，常用于中文场景。

### Instruction:{prompt.strip()}  ### Response:

2.4 NousResearch (OpenLLM Leaderboard Top)

该模板结构与 Alpaca 类似，但更加强调响应前的换行符处理。

### Instruction:
<prompt>

### Response:
<leave a newline blank for model to respond>

当包含额外上下文时：

### Instruction:
<prompt>

### Input:
<additional context>

### Response:
<leave a newline blank for model to respond>

2.5 Yayi 模板

Yayi 模型使用了特殊的 Token 标记来区分系统、用户和助手。

prompt = "你是谁？"
formatted_prompt = f"""<|System|>:
You are a helpful, respectful and honest assistant named YaYi developed by Beijing Wenge Technology Co.,Ltd. Always answer as helpfully as possible, while being safe. Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature.\n\nIf a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.

<|Human|>:
{prompt}

<|YaYi|>:
"""

2.6 StableBeluga2 模板

Stable Beluga 2 采用了清晰的 System/User/Assistant 三段式结构。

### System:
This is a system prompt, please behave and help the user.

### User:
Your prompt here

### Assistant:
The output of Stable Beluga 2

具体实现示例：

system_prompt = "### System:\nYou are Stable Beluga, an AI that follows instructions extremely well. Help as much as can. Remember, be safe, and don't do anything illegal.\n\n"
message = "Write me a poem please"
prompt = f"{system_prompt}### User: {message}\n\n### Assistant:\n"

2.7 Guanaco 数据集常用模板

Guanaco 项目广泛使用的 ChatML 风格变体。

### Human: {prompt}
### Assistant:

或者更完整的描述：

prompt = "Introduce yourself"
formatted_prompt = (
    f"A chat between a curious human and an artificial intelligence assistant."
    f"The assistant gives helpful, detailed, and polite answers to the user's questions.\n"
    f"### Human: {prompt} ### Assistant:"
)

3. 多轮对话输入和输出构造

在多轮对话场景中，如何正确计算 Loss 是提升训练效率的关键。参考 Firefly 项目和 Chinese-Llama-2-7b 项目的实现，一般采用的方式是：在计算 Loss 时，通过 Mask 的方式，Input 部分的 Loss 不参与参数更新，只有 Target（回答）部分的 Loss 参与参数更新。这种方式充分利用了模型的优势，训练更加高效，且多轮对话中的每个 Target 部分都参与了训练。

3.1 损失掩码原理

如果不进行 Mask，而是将 n 轮对话拆分成 n 条数据，且只计算最后一个 Target 的 Loss，会大大降低训练效率。正确的做法是在 Tokenizer 编码后，对 Input 对应的 Label 位置填充 IGNORE_TOKEN_ID（通常为 -100），这样 PyTorch 的 CrossEntropyLoss 会自动忽略这些位置的梯度计算。

3.2 具体实现代码

以下是基于 LinkSoul-AI 项目的 Tokenize 函数示例，展示了如何处理 System Prompt 和多轮对话的角色分配。

# https://github.com/LinkSoul-AI/Chinese-Llama-2-7b/blob/main/train.py
def tokenize(item, tokenizer):
    roles = {"human": "user", "gpt": "assistant"}
    input_ids = []
    labels = []
    if "instruction" in item and len(item["instruction"]) > 0:
        system = item["instruction"]
    else:
        system = dummy_message["system"]
    system = B_SYS + system + E_SYS
    # add system before the first content in conversations
    item["conversations"][0]['value'] = system + item["conversations"][0]['value']
    
    for i, turn in enumerate(item["conversations"]):
        role = turn['from']
        content = turn['value']
        content = content.strip()
        if role == 'human':
            content = f"{B_INST} {content} {E_INST} "
            content_ids = tokenizer.encode(content)
            labels += [IGNORE_TOKEN_ID] * (len(content_ids))
        else:
            # assert role == "gpt"
            content = f"{content} "
            content_ids = tokenizer.encode(content, add_special_tokens=False) + [tokenizer.eos_token_id]
            labels += content_ids
        input_ids += content_ids

    input_ids = input_ids[:tokenizer.model_max_length]
    labels = labels[:tokenizer.model_max_length]

    trunc_id = last_index(labels, IGNORE_TOKEN_ID) + 1
    input_ids = input_ids[:trunc_id]
    labels = labels[:trunc_id]
    if len(labels) == 0:
        return tokenize(dummy_message, tokenizer)
    input_ids = safe_ids(input_ids, tokenizer.vocab_size, tokenizer.pad_token_id)
    labels = safe_ids(labels, tokenizer.vocab_size, IGNORE_TOKEN_ID)
    return input_ids, labels

另一种实现方式参考 Firefly 项目，使用 target_mask 来标记哪些位置需要计算 Loss。

# https://github.com/yangjianxin1/Firefly/blob/master/component/dataset.py
class SFTDataset(Dataset):
    def __init__(self, file, tokenizer, max_seq_length):
        self.tokenizer = tokenizer
        self.bos_token_id = tokenizer.bos_token_id
        self.eos_token_id = tokenizer.eos_token_id
        self.eos_token = tokenizer.eos_token
        self.bos_token = tokenizer.bos_token
        self.max_seq_length = max_seq_length
        logger.info('Loading data: {}'.format(file))
        with open(file, 'r', encoding='utf8') as f:
            data_list = f.readlines()
        logger.info("there are {} data in dataset".format(len(data_list)))
        self.data_list = data_list

    def __len__(self):
        return len(self.data_list)

    def __getitem__(self, index):
        # 每条数据格式为：<s>input1</s>target1</s>input2</s>target2</s>...
        data = self.data_list[index]
        data = json.loads(data)
        conversation = data['conversation']

        # 收集多轮对话
        utterances = []
        for x in conversation:
            utterances.append(x['human'])
            utterances.append(x['assistant'])
        utterances_ids = self.tokenizer(utterances, add_special_tokens=False).input_ids

        # 模型的输入格式为：<s>input1</s>target1</s>input2</s>target2</s>...
        input_ids = [self.bos_token_id]
        target_mask = [0]  # 用于对 input 进行 mask，只计算 target 部分的 loss
        for i, utterances_id in enumerate(utterances_ids):
            input_ids += (utterances_id + [self.eos_token_id])
            if i % 2 == 0:
                target_mask += [0] * (len(utterances_id) + 1)
            else:
                target_mask += [1] * (len(utterances_id) + 1)
        assert len(input_ids) == len(target_mask)
        # 对长度进行截断
        input_ids = input_ids[:self.max_seq_length]
        target_mask = target_mask[:self.max_seq_length]
        attention_mask = [1] * len(input_ids)
        assert len(input_ids) == len(target_mask) == len(attention_mask)
        inputs = {
            'input_ids': input_ids,
            'attention_mask': attention_mask,
            'target_mask': target_mask
        }
        return inputs

核心逻辑在于通过 IGNORE_INDEX(-100) 遮蔽掉 Input 对应的目标输出，确保反向传播仅针对模型预测正确的部分进行优化。

4. 高效率微调大模型的最佳实践

如何在短时间、高效率地训练出实际效果不错、综合能力较强的大模型？从指令微调数据集处理工作上，建议遵循以下流程：

4.1 数据集准备策略

1. 多样化来源：事先准备多种高质量的指令微调数据集，每个数据集尽量保持差异性。高质量数据的定义可以参考当前效果不错的开源模型（如 Llama-2, ChatGLM 等）所公开的训练数据分布。
2. 多轮对话增强：实验表明，加入多轮对话的数据有助于提升模型的上下文理解能力和生成长度。如果仅用单轮对话或单轮指令训练，模型生成的文本往往偏短，缺乏连贯性。
3. 模板一致性：微调时使用某种模板，推理时也必须严格使用相同的模板。否则会导致效果大幅下降，表现为生成内容短小、逻辑混乱甚至中英文混杂。例如，训练使用了英文模板，推理时未使用提示模板，模型可能无法识别指令边界。

4.2 超参数调整建议

• Learning Rate：对于 SFT 任务，学习率通常设置在 1e-5 到 5e-5 之间。过高的学习率可能导致模型破坏预训练知识，过低则收敛缓慢。
• Batch Size：根据显存大小调整有效 Batch Size。较大的 Batch Size 有助于稳定梯度，但需配合 Gradient Accumulation 使用。
• Epochs：SFT 通常不需要过多的 Epoch，1-3 个 Epoch 即可达到饱和。过多的 Epoch 容易导致过拟合。

4.3 评估与验证

• Perplexity (PPL)：监控验证集的困惑度，作为模型收敛的参考指标。
• 人工评估：随机抽取生成结果，由人工判断指令遵循程度、事实准确性和流畅度。
• 自动化基准：使用 MMLU、C-Eval 等标准基准进行测试，量化模型能力提升情况。

5. 常见问题与解决方案

5.1 灾难性遗忘

如果在 SFT 过程中发现模型丢失了原有的通用知识，可能是由于学习率过大或数据分布过于单一。解决方法包括混合少量预训练语料（Continual Pre-training）或使用正则化约束。

5.2 显存溢出

对于大模型微调，显存不足是常见问题。建议使用 DeepSpeed ZeRO-3 优化器状态分片，或者使用 QLoRA 技术将模型量化至 4bit，可大幅降低显存需求。

5.3 生成重复

如果模型输出出现大量重复内容，可以尝试调整 Temperature 参数，或在训练数据中加入去重步骤。此外，检查解码策略（如 Top-P, Top-K）的设置。

6. 总结

大模型指令微调是一个系统工程，涉及数据清洗、Prompt 设计、训练策略和评估等多个环节。选择合适的模板格式、保证数据质量、合理配置训练参数是成功的关键。随着技术的演进，未来可能会出现更多高效的微调框架和自动化工具，但理解底层的 Prompt 机制和数据构造原理依然是开发者的核心竞争力。