大模型位置编码概览及在图像视频领域应用

大模型位置编码概览及在图像视频领域应用

原创 Alen  2024年09月29日 00:08 中国香港

本文主要总结了下大模型位置编码，以及位置编码在图像/视频上的应用及变种。

一、  为什么要有位置编码？

由于attention的设计，计算的是token的矩阵乘法，矩阵元素之间除了相似关系没有其他联系，所以网络感知不到token的位置关系，也就是说只要是同一批token，任何顺序输入网络，输出结果都是一样的。但是在自然语言中文本的顺序是很重要的。于是需要引入位置关系，让模型能够感知到token的顺序。

二、位置编码的基础特性？

1.绝对唯一性: 即每个Token在序列的绝对位置输出唯一的编码。（体现同一个token在不同位置的区别）

2.不同相对性：在任何长度不同的序列中，不同位置的Token之间的相对位置/距离保持一致。（体现Token位置之间差异的不变性）

3.外推有界值：这套编码方式很容易推广到未见过的长句，因此其值域应有上界。

三、常见位置编码介绍

1、可训练式位置编码

将位置编码作为可训练参数，原本句子长度512，维度1024，文本嵌入表示为[batch,512, hidden_size]。缺点：定长，位置编码受长度限制。以bert为例，bert超过512token的就不能表示了。

2、三角函数式

三角函数公式同时保证其值有界性，值域[-1, 1]。同时三角函数的加减变化的公式也满足了相对性（和差化积）。

具体的，直接套用三角函数可以有𝑃𝐸(𝑝𝑜𝑠)=𝑠𝑖𝑛(𝑝𝑜𝑠/𝑎) ，其中𝑎是调节变化波长的参数。但这样将整个位置编码的以单个值表示方式导致范围过小（值域只有[-1, 1]）。波长较大时，相临位置的差异不明显。较小时，由于周期性较短不同位置编码很容易一致。既然文本信息中单个Token向量嵌入的维度是𝑑，就可以设计用一个𝑑的向量来表示某个位置的编码。因此可以在不同维度上应该用不同周期的函数设计位置编码，将单个维度函数关系映射到高维的表示空间。

如果只使用一个余弦函数sin和不同的波长来区分不同的周期, 则在第t个Token的位置向量上每个位置序号为i的表示为：

其中，频率 𝑤k 定义如下：𝜔k = 1/10000^(2𝑘/𝑑)

这里的t就是每个token的位置，比如说是位置1，位置2，以及位置n

观察上面公式，每行表示一个Token的编码。从列角度看每个维度通过频率𝜔控制sin函数的变幻的频率，越往后，维度增加值变化的频率依次变慢。如下图所示：从数字0～7的二进制编码中每一位上都是0和1的交互，观察每列在行方向上的变化趋势，低位（黄色列的维度）全都是0，越高位置（越往右边走，红色列的维度）0和1交互变化频率越快。

Sinusoidal位置编码具有远程衰减的性质，具体表现为：对于两个相同的词向量，如果它们之间的距离越近，则他们的内积分数越高，反之则越低。

3、Rope旋转位置编码

rope不再选择和input embedding进行加和，而是选择放在qkv矩阵乘法之后。计算公式变为Q RmRn K = Q Rm-n K，Rm-n本身带有相对位置信息。

以旋转的方式解决了三角函数式位置编码的缺陷之一

Rm-n  不再等于Rn-m

注意此处的矩阵作用是对向量做旋转（所谓旋转矩阵），即编码向量模长没有变化，而是通过m、n、theta值的变化导致方向角改变

theta为1/10000^(2𝑘/𝑑)

四、位置编码在图像/视频上的应用及变种

1、【图像】VIT: 可学习式绝对位置编码，针对patch给出不同位置编码

2、【图像】Swin-Transformer

如果特征图的大小为2*2*N(N表示每个像素点的channels)，那么经过拉直之后Q、K、V的维度都为4*N,那么QK.T 的维度就是4*4，其中第一个4表示4个像素点，第二个4表示对于每个像素点，相对包括自己在内的四个像素点的重要程度；而相对位置编码要得到的结果也需要是4*4，其每行表示四个像素相对于某个固定像素的位置编码值。

3、【图像】CPVT（CPE）

首先对input sequence 进行reshape到2-D图像空间，然后通过一个kernel size为k（k ≥ 3），(k−1)/2 zero paddings的2-D卷积操作，最后再reshape成token sequence。这里的zero-padding比较关键，这样才能编码绝对位置信息，为了减少计算量，论文中采用depth-wise convolution。论文中称这种编码方式为Conditional Positional Encodings，因为 positional encodings是基于限定tokens的局部关系来产生的。

4、【视频】timesformer

timesformer尝试了三种pe模型

1. 没有位置编码

2. 唯空间位置编码

3. 时空位置编码

具体实现方式为先加上空间维度的位置编码之后，进行矩阵维度变换，把(b t n m) → (b n t m)，使之使用于时间维度的位置编码，再进行加和。

注意时空位置编码cls token并不参与加和。

多模态大模型1

大模型11

计算机视觉1

阅读 75