基于 LLaMA 3.2 Vision 的商品文案自动生成微调实战

输出示例显示这是一辆 Hot Wheels 玩具车的描述，结构清晰。

数据预处理：构造对话式训练样本

多模态指令微调需要将图像和文本组织成类似 OpenAI 的对话格式。下面函数将原始样本转换为 messages 列表。

instruction = """
You are an expert Amazon worker who is good at writing product descriptions.
Write the product description accurately by looking at the image.
"""

def convert_to_conversation(sample):
    conversation = [
        {
            "role": "user",
            "content": [
                {"type": "text", "text": instruction},
                {"type": "image", "image": sample["image"]},
            ],
        },
        {
            "role": "assistant",
            "content": [{"type": "text", "text": sample["description"]}],
        },
    ]
    return {"messages": conversation}

converted_dataset = [convert_to_conversation(sample) for sample in dataset]

转换后的数据结构更利于模型理解指令意图。

微调前效果测试

在训练前，先拿第 100 个样本跑一遍推理，看看基座模型的表现。

FastVisionModel.for_inference(model)

image = dataset[100]["image"]
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": instruction},
        ],
    }
]
input_text = tokenizer.apply_chat_template(messages, add_generation_prompt=True)
inputs = tokenizer(image, input_text, add_special_tokens=False, return_tensors="pt").to("cuda")

from transformers import TextStreamer

text_streamer = TextStreamer(tokenizer, skip_prompt=True)
_ = model.generate(
    **inputs,
    streamer=text_streamer,
    max_new_tokens=128,
    use_cache=True,
    temperature=1.5,
    min_p=0.1
)

生成的描述虽然涵盖了车辆特征，但结构松散，存在品牌冗余词和无关图案描述，需要进一步优化。

模型微调

接下来启动监督微调（SFT）。Unsloth 提供了高效的训练器，支持混合精度和梯度累积。

from unsloth import is_bf16_supported
from unsloth.trainer import UnslothVisionDataCollator
from trl import SFTTrainer, SFTConfig

FastVisionModel.for_training(model)

trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    data_collator=UnslothVisionDataCollator(model, tokenizer),
    train_dataset=converted_dataset,
    args=SFTConfig(
        per_device_train_batch_size=2,
        gradient_accumulation_steps=4,
        warmup_steps=5,
        max_steps=30,
        learning_rate=2e-4,
        fp16=not is_bf16_supported(),
        bf16=is_bf16_supported(),
        logging_steps=5,
        optim="adamw_8bit",
        weight_decay=0.01,
        lr_scheduler_type="linear",
        seed=3407,
        output_dir="outputs",
        report_to="none",
        remove_unused_columns=False,
        dataset_text_field="",
        dataset_kwargs={"skip_prepare_dataset": True},
        dataset_num_proc=4,
        max_seq_length=2048,
    ),
)

trainer_stats = trainer.train()

训练过程中损失平稳下降，说明模型正在学习图像与描述之间的映射关系。

微调后效果对比

再次使用第 45 个样本进行测试，观察变化。

FastVisionModel.for_inference(model)

image = dataset[45]["image"]
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": instruction},
        ],
    }
]
input_text = tokenizer.apply_chat_template(messages, add_generation_prompt=True)
inputs = tokenizer(image, input_text, add_special_tokens=False, return_tensors="pt").to("cuda")

text_streamer = TextStreamer(tokenizer, skip_prompt=True)
_ = model.generate(
    **inputs,
    streamer=text_streamer,
    max_new_tokens=128,
    use_cache=True,
    temperature=1.5,
    min_p=0.1
)

结果显著改善：生成文本更加精准，风格贴近真实商品描述，去除了冗余信息。如果希望效果更好，建议用完整数据集再训练几轮。