CLIP论文阅读
作者：LioneWang
链接：https://zhuanlan.zhihu.com/p/1996842714956841421
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
标题
- Learning transferable visual models from natural language supervision
- Clip定义是constrastive language-image pre-training
- 无监督的训练范式
通过正类和负类样本的比较，看到正类就拉近，看到负类就拉远
目的
从自然语言的监督信号学习迁移性能好的模型 目的是学一个泛化性能好的特征，从而在各种数据集和任务，不需要训练，直接推理就可以获得好的效果
框架
- 对比学习预训练
- 创建label分类器，用prompt engineering的方式将文本变成句子
- 使用zero-shot进行推理
摘要 - 之前的数据集有固定的类，但是如果推理任务需要一个其他的类，这个类难道要新训练一个模型吗？ 该方法可以通过zero-shot，可以通过对语义信息(而不依赖预训练的图片信息)的摘取，从而识别新出现的image，在任何新的类上进行下游任务的推理 采用的是对比学习的方法，采样了400million的pair
引入
- 自回归和MLM的训练方式都是自监督的预训练，目标函数和下游任务无关，只是通过预训练得到一个泛化性能好的特征
- 模型架构也和下游任务无关
- 之前的工作，有的数据集不够大，有的模型不够好
这篇文章的数据集使用400million的图像文本对，模型使用8个models进行对比，在30个CV的数据集上进行测试
线性探测 - 区分微调：线性探测完全冻结预训练参数，只是增加分类的线性头部
使用线性探测(linear probe)的方式,发现对ImageNet的固定的1000个label，效果依然比SOTA的resnet等模型效果要好
方法
自然语言监督
优势
- 只需要收集<图片，文本>对这种无监督的数据，无需标注
- 监督信号是文本， 不需要学习imagenet的1-N这种gold label，输出自由度大
- 学到的特征不是单单视觉特征，而是多模态特征，很容易做zero-shot学习
创建大规模数据集
现有工作 - instagram数据集的图片，hashtag对，很多都是无效语义信息，并且数量不够，只有15million
构建数据集 - 自己构造400million的数据集，叫WebImageText数据集
预训练的任务方式
预测型任务 - 如果给定一张图片，可以解释的语言就太多了
对比学习 - 只需要判断图片和文本是否配对
随着约束不断放宽，从预测到对比学习，性能提升4倍
伪代码
- 损失函数的label是一个单位矩阵
- loss每一行算一次，每一列算一次
细节
- 图像和文本的encoder没有使用预训练的，而是从头训练
- 展示层没有使用非线性层，而是线性层
- 数据增强只使用了裁剪
- 没有设置超参数temperature作用于softmax，而是把它作为一个可学习参数
训练 - 视觉模型选择resnet变体和ViT
- 优化器Adam
- 使用权重衰退抑制过拟合，提高泛化能力
- 32个epochs
- 3w个minibatch
- 混合精度训练
实验
Zero-shot
prompt-engineering
- 目的是模拟预训练的文本格式，将lavel转换成句子
- 实验结果
Prompt Engineering and Ensembling
现有问题
Polysemy(多意性)
- 只用一个单词label来匹配图片，会有语义多意性
Distribution Gap(分布偏差) - 预训练采用的文本通常是句子，因此微调为了模拟这种方式
解决办法
Prompt Engineering - 使用不同的提示词和句子
研究发现对于OCR任务，如果对于想要识别的物体用双引号扩起来，往往效果更好
Prompt Ensembling
- 使用多次推理
- 将结果综合起来考虑
Few-shot
LinearProbe-Clip - 冻住image的encoder，添加有标签的线性分类头
局限
- 不擅长处理抽象任务：异常，数数，安全
- 对某些特定数据集效果不好，例如MNIst，由于原始数据中不存在人工合成的数字照片，导致出现了distribution shift的情况
- 不适合图生文的生成任务
- 数据量太大，解决办法是可以用数据增强，self-supervision或者self-training的方式
- 爬虫数据带有一些性别，肤色的偏见，公平性问题有待处理
优点
- 打破固定标签范式，不需要做固定label类，而是用无监督的方式 > 收集数据更方便，训练更方便，推理更方便
- 可以做zero-shot推理，泛化性能好
- 应用范围广，多模态支持
