深度学习中的注意力机制
在深度学习中，注意力机制模仿了人类在处理信息时的选择性关注能力，允许模型在处理输入数据时动态地调整其注意力权重，从而突出重要信息并忽略不重要的信息。
注意力机制通过计算查询向量（Query）、键向量（Key）之间的相似度来确定注意力权重，然后对值向量（Value）进行加权求和，得到最终的输出。
一、注意力机制
什么是注意力机制？
注意力机制是一种允许模型在处理信息时专注于关键部分，忽略不相关信息，从而提高处理效率和准确性的机制。它模仿了人类视觉处理信息时选择性关注的特点。
当人类的视觉机制识别一个场景时，通常不会全面扫描整个场景，而是根据兴趣或需求集中关注特定的部分。正如注意力图所示，颜色更深的区域通常是我们最先注意到的部分，从而初步判断这可能是一只狼。
注意力机制解决了什么问题？
在传统的序列处理模型中，如循环神经网络（RNN）和长短时记忆网络（LSTM），捕捉长距离依赖关系是一个难题。因为随着序列长度的增加，模型很容易丢失早期输入的信息。
注意力机制允许模型在序列的不同位置之间建立直接联系，无论这些位置相距多远，都能够有效地捕捉到它们之间的依赖关系。
二、注意力分数
注意力分数是什么？
注意力分数用来量化注意力机制中某一部分信息被关注的程度，反映了信息在注意力机制中的重要性。在注意力机制中，模型会根据注意力分数来决定对不同输入信息的关注程度。
如何计算注意力分数？
在注意力机制中，Q（Query）、K（Key）、V（Value）通过映射矩阵得到相应的向量，通过计算 Q 与 K 的点积相似度并经过 softmax 归一化得到权重，最后使用这些权重对 V 进行加权求和得到输出。
Q、K、V 计算过程是什么？
对于输入序列的每个单词，通过计算其 Query 与所有单词 Key 的点积得到注意力分数，经 Softmax 归一化后得到注意力权重，再用这些权重对 Value 向量进行加权求和，以得到包含丰富上下文信息的新单词表示。
- 生成 Q、K、V 向量：对于输入序列中的每个单词，都会生成对应的 Query（查询）、Key（键）和 Value（值）向量。这些向量通常是通过将单词的嵌入向量（Embedding Vector）输入到一个线性变换层得到的。
- 计算 Q、K 的点积（注意力分数）：计算 Query 向量与序列中所有单词的 Key 向量之间的点积，得到一个分数。这个分数反映了 Query 向量与每个 Key 向量之间的相似度，即每个单词与当前位置单词的关联程度。
- Softmax 函数归一化（注意力权重）：这些分数会经过一个 Softmax 函数进行归一化，得到每个单词的注意力权重。这些权重表示了在理解当前单词时，应该给予序列中其他单词多大的关注。
- 注意力权重加权求和（加权和向量）：这些注意力权重与对应的 Value 向量进行加权求和，得到一个加权和向量。这个加权和向量会被用作当前单词的新表示，包含了更丰富的上下文信息。
