人工智能：多模态大模型原理与跨模态应用实战

1.4 实战一：基于 CLIP 的图文检索系统

1.4.1 任务介绍

本次实战任务是搭建一个简单的图文检索系统。该系统支持两种检索模式：

• 文搜图：输入文本描述，检索数据库中语义最相似的图像。
• 图搜文：输入一张图像，检索数据库中语义最相似的文本描述。

1.4.2 数据集准备与特征库构建

import os
import numpy as np
from tqdm import tqdm
from PIL import Image

# 构建图像特征数据库
def build_image_feature_db(image_dir, model, processor, batch_size=8):
    image_paths = [os.path.join(image_dir, f) for f in os.listdir(image_dir) if f.endswith(("jpg", "png"))]
    feature_db = []
    path_db = []
    
    # 分批次处理图像
    for i in tqdm(range(0, len(image_paths), batch_size)):
        batch_paths = image_paths[i:i+batch_size]
        batch_images = [Image.open(p) for p in batch_paths]
        
        # 预处理并提取特征
        inputs = processor(images=batch_images, return_tensors="pt", padding=True).to(model.device)
        with torch.no_grad():
            image_embeds = model.get_image_features(**inputs)
            image_embeds = image_embeds / image_embeds.norm(dim=-1, keepdim=True)
            feature_db.extend(image_embeds.cpu().numpy())
            path_db.extend(batch_paths)
    
    # 保存特征库和路径库
    np.save("image_features.npy", np.array(feature_db))
    np.save("image_paths.npy", np.array(path_db))
    return np.array(feature_db), np.array(path_db)

# 构建文本特征数据库
def build_text_feature_db(text_file, model, processor, batch_size=32):
    with open(text_file, "r", encoding="utf-8") as f:
        texts = [line.strip() for line in f if line.strip()]
    
    feature_db = []
    text_db = []
    
    # 分批次处理文本
    for i in tqdm(range(0, len(texts), batch_size)):
        batch_texts = texts[i:i+batch_size]
        inputs = processor(text=batch_texts, return_tensors="pt", padding=True).to(model.device)
        with torch.no_grad():
            text_embeds = model.get_text_features(**inputs)
            text_embeds = text_embeds / text_embeds.norm(dim=-1, keepdim=True)
            feature_db.extend(text_embeds.cpu().numpy())
            text_db.extend(batch_texts)
    
    np.save("text_features.npy", np.array(feature_db))
    np.save("texts.npy", np.array(text_db))
    return np.array(feature_db), np.array(text_db)

# 初始化特征库
image_feature_db, image_path_db = build_image_feature_db("./image_dataset", model, processor)
text_feature_db, text_db = build_text_feature_db("./text_corpus.txt", model, processor)

1.4.3 检索功能实现

# 文搜图函数
def text_to_image_search(query_text, top_k=5):
    # 提取查询文本特征
    inputs = processor(text=[query_text], return_tensors="pt", padding=True).to(model.device)
    with torch.no_grad():
        query_embeds = model.get_text_features(**inputs)
        query_embeds = query_embeds / query_embeds.norm(dim=-1, keepdim=True)
    
    # 计算相似度并排序
    similarities = np.matmul(query_embeds.cpu().numpy(), image_feature_db.T)[0]
    top_indices = similarities.argsort()[::-1][:top_k]
    
    # 返回结果
    results = []
    for idx in top_indices:
        results.append({"image_path": image_path_db[idx], "similarity": similarities[idx]})
    return results

# 图搜文函数
def image_to_text_search(query_image_path, top_k=5):
    # 提取查询图像特征
    query_image = Image.open(query_image_path)
    inputs = processor(images=query_image, return_tensors="pt", padding=True).to(model.device)
    with torch.no_grad():
        query_embeds = model.get_image_features(**inputs)
        query_embeds = query_embeds / query_embeds.norm(dim=-1, keepdim=True)
    
    # 计算相似度并排序
    similarities = np.matmul(query_embeds.cpu().numpy(), text_feature_db.T)[0]
    top_indices = similarities.argsort()[::-1][:top_k]
    
    # 返回结果
    results = []
    for idx in top_indices:
        results.append({"text": text_db[idx], "similarity": similarities[idx]})
    return results

# 测试检索功能
text_query = "a cute black cat sitting on the sofa"
image_results = text_to_image_search(text_query, top_k=3)
print("文搜图结果:")
for res in image_results:
    print(f"图像路径：{res['image_path']}, 相似度：{res['similarity']:.4f}")

image_query = "./test_cat.jpg"
text_results = image_to_text_search(image_query, top_k=3)
print("\n图搜文结果:")
for res in text_results:
    print(f"文本描述：{res['text']}, 相似度：{res['similarity']:.4f}")

1.5 实战二：基于 BLIP-2 的图像描述生成

1.5.1 任务介绍

本次实战任务是图像描述生成，即输入一张图像，模型自动生成能够准确描述图像内容的文本。我们将使用 BLIP-2 模型，它在图像描述生成任务上具备优异的性能。

1.5.2 模型加载与推理实现

from transformers import Blip2Processor, Blip2ForConditionalGeneration
import torch
from PIL import Image

# 加载 BLIP-2 模型和处理器
# 可选模型："Salesforce/blip2-opt-2.7b", "Salesforce/blip2-flan-t5-xl"
model_name = "Salesforce/blip2-opt-2.7b"
blip2_processor = Blip2Processor.from_pretrained(model_name)
blip2_model = Blip2ForConditionalGeneration.from_pretrained(
    model_name, torch_dtype=torch.float16, device_map="auto"
)

# 图像描述生成函数
def generate_image_caption(image_path, max_length=50, num_beams=4):
    # 加载并预处理图像
    image = Image.open(image_path)
    inputs = blip2_processor(images=image, return_tensors="pt").to("cuda")
    
    # 生成描述
    with torch.no_grad():
        outputs = blip2_model.generate(
            **inputs, 
            max_length=max_length, 
            num_beams=num_beams, 
            repetition_penalty=1.1, 
            length_penalty=1.0, 
            temperature=0.7
        )
    
    # 解码输出
    caption = blip2_processor.decode(outputs[0], skip_special_tokens=True)
    return caption

# 测试图像描述生成
test_images = ["cat.jpg", "street.jpg", "mountain.jpg"]
for img_path in test_images:
    caption = generate_image_caption(img_path)
    print(f"图像：{img_path}")
    print(f"生成描述：{caption}\n")

# 带提示词的图像描述生成（可控生成）
def generate_caption_with_prompt(image_path, prompt, max_length=50):
    image = Image.open(image_path)
    inputs = blip2_processor(images=image, text=prompt, return_tensors="pt").to("cuda")
    with torch.no_grad():
        outputs = blip2_model.generate(**inputs, max_length=max_length)
    caption = blip2_processor.decode(outputs[0], skip_special_tokens=True)
    return caption

# 测试可控生成
prompt = "A photo of"
caption = generate_caption_with_prompt("cat.jpg", prompt)
print(f"带提示词生成：{caption}")

1.6 多模态大模型的优化与落地技巧

1.6.1 模型优化策略

技巧 1：模型量化。BLIP-2 等大模型参数量较大，可使用 INT4/INT8 量化技术降低显存占用。Hugging Face 的 bitsandbytes 库支持一键量化。

from transformers import BitsAndBytesConfig

# 配置 4bit 量化
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16
)

# 加载量化后的模型
model = Blip2ForConditionalGeneration.from_pretrained(
    model_name, quantization_config=bnb_config, device_map="auto"
)

技巧 2：梯度检查点。通过 gradient_checkpointing_enable() 方法，以牺牲少量计算速度为代价，大幅降低训练时的显存占用。

model.gradient_checkpointing_enable()

技巧 3：知识蒸馏。将大模型的能力蒸馏到小模型中，例如将 BLIP-2 的知识蒸馏到轻量级模型，提升边缘设备的部署效率。

1.6.2 典型落地场景

1. 电商领域：商品图文检索、商品描述自动生成、虚拟试衣间。
2. 教育领域：图文结合的智能教辅、图像内容理解与问答、多模态课件生成。
3. 医疗领域：医学影像报告自动生成、医学图像与文本的跨模态检索。
4. 内容创作领域：文本生成图像（AIGC）、图像生成文本、视频字幕自动生成。

1.7 本章总结

• 多模态大模型能够处理文本、图像等多种模态数据，核心是实现跨模态特征对齐与融合。
• CLIP 通过对比学习实现图文特征对齐，适用于图文检索任务；BLIP-2 通过 Q-Former 桥接视觉与语言模型，适用于图像描述生成等任务。
• 模型量化、梯度检查点等技术可有效降低多模态大模型的部署成本，推动其在实际场景中的落地应用。
• 多模态大模型的未来发展方向是更强的跨模态理解能力、更低的部署成本，以及更广泛的行业应用。