多模态算法面经准备

目录

• 小米-多模态算法工程师
  • 1、对多模态大模型的了解
    • 1.1 CLIP
    • 1.2 BLIP
    • 1.3 BLIP-2
  • 2、文生图、图生图？
  • 3、目前的图像或视频编码器，核心思想方法是什么？
  • 4、GPT
  • 4、语义分割模型与指标
    • 4.1 Unet
    • 4.2 DeepLab
    • 4.3 语义分割的损失函数
  • 4.4 评价指标

小米-多模态算法工程师

1、对多模态大模型的了解

1.1 CLIP

CLIP利用对比学习（Contrastive Learning）对图像和文本进行联合训练。

1.2 BLIP

原文

BLIP的模型架构包括4个关键部分：图像编码器、文本编码器、图像-文本匹配编码器和图像-文本解码器Image Encoder ：VIT 用于提取图像特征Text Encoder：BLIP使用了BERT作为文本编码器。图像-文本匹配编码器 (Image-grounded Text Encoder): 用于判断当前的文本描述和图像是否匹配，进行图像-文本的匹配任务。
该模型的输入是图像特征（通过图像编码器提取）和文本特征（通过文本编码器提取），并通过交叉注意力机制（Cross Attention）在每个Transformer层中结合视觉特征。

图像-文本解码器 (Image-grounded Text Decoder)： 用于生成图像的文本描述（caption）。该模块的架构与图像-文本匹配编码器相似，同样采用交叉注意力机制，将图像特征与文本特征结合进行生成任务。

1.3 BLIP-2

BLIP-2 的主要目标是通过cross-modal alignment（跨模态对齐）来连接图像和文本之间的差距。它包含两个主要的学习阶段：
①Representation Learning：通过 Q-Former 提取与文本相关的图像特征。
BLIP-2 使用了 Q-Former 框架，包含两个Transformer结构-Former-Image 和 Q-Former-Text。这两个模型通过交叉注意力机制相互关注，从而有效地从视觉和文本中提取相关的特征。其中 Q-Former-Image：负责处理图像信息，它的输入是一个可学习的 query 向量集，这些查询向量经过 Q-Former-Image 后，输出图像的特征。Q-Former-Text：负责处理文本信息，它的输入是文本特征，并通过与图像特征的交叉注意力机制来提取文本相关的视觉特征。Q-Former 以交叉注意力的方式关注冻结的图像编码器提取的视觉特征，确保图像的视觉信息能够被有效地映射到文本特征空间中。
通过三个损失进行优化 Image-Text Contrastive Learning (ITC) Image-grounded Text Generation (ITG) Image-Text Matching (ITM)

②Generative Learning：将 Q-Former 提取的视觉特征对齐到文本模态，利用下游的大语言模型（LLM）进行进一步的生成任务。

BLIP-2 将 Q-Former 提取的视觉特征对齐到文本模态，并通过一个线性层将其转化为文本特征，送入下游的大语言模型（LLM）。

2、文生图、图生图？

经典的文生图模型如 AttnGAN 和 StackGAN，利用多层次的生成网络逐步生成高分辨率的图像。
变分自编码器（VAE） 和 扩散模型
Transformer模型

3、目前的图像或视频编码器，核心思想方法是什么？

编码器负责将图像或视频输入转换为高维特征表示，这些特征会被后续的模型（如分类器、生成器、检测器等）使用卷积神经网络（CNN）：CNN 是传统图像编码器的核心，早期的模型如 VGG16 和 ResNet 利用卷积层和池化层提取图像的低级和高级特征 . ResNet VGG16Transformer Vision Transformer (ViT)

对于视频编码器3D卷积层双流网络TimeSformer

4、GPT

Decoder-only 架构之所以成为大模型主流，核心原因在于：
训练目标统一、自回归生成天然匹配、结构简单、可扩展性强，并且更适合大规模无监督预训练。
它能够将不同任务统一建模为“预测下一个 token”的问题，在规模扩大后自然涌现出指令理解、推理和多任务能力，这是 Encoder-only 和 Encoder–Decoder 架构难以做到的。

4、语义分割模型与指标

4.1 Unet

U-Net 是对称编码器 - 解码器架构，专为医学图像分割设计，核心是通过编码器提取特征、解码器恢复空间分辨率，结合跳跃连接补充分割细节。跳跃连接：解决下采样导致的空间信息丢失，是 U-Net 分割精度高的关键；损失函数：常用 Dice Loss，解决医学图像分割的类别不平衡问题。

4.2 DeepLab

DeepLab 是基于空洞卷积 + 空间金字塔池化的图像分割架构，主打解决语义分割中多尺度目标 + 细节丢失 + 计算效率问题，适合通用场景语义分割。
空洞空间金字塔池化（ASPP）：
对骨干网络输出特征图，并行使用不同速率的空洞卷积（如 1,6,12,18）+ 全局平均池化，捕捉多尺度上下文信息；所有分支输出特征图拼接后，用 1×1 卷积降维，统一特征表达。
Decoder 模块（V3 + 新增）：
上采样 ASPP 输出特征图，与骨干网络浅层特征图（含细节信息）融合；
再通过卷积细化特征，恢复空间分辨率，输出分割掩码

4.3 语义分割的损失函数

4.4 评价指标