Artificial Neuron（人工神经元）
文献中提到，人工神经元是一个数学函数，用于模拟生物神经元的行为。它接收一个输入信号 x，这个信号被一个权重 w 加权，并加上一个偏置 b，然后通过一个激活函数 f 来产生输出信号 y。 上图展示了一个神经元的结构：它有多个输入，对应多个权重。这些加权输入在传输函数（通常是求和函数Σ）中合并，然后通过激活函数ϕ产生最终的输出 Y。 神经网络就是将这些单个的神经元以不同的方式连接起来组成的层级结构（例如，一个神经元的输出可以作为另一个神经元的输入）。通过调整神经元之间的连接权重，神经网络可以学习并模拟复杂的非线性关系，从而实现模式识别、决策等功能，是深度学习的基础。
Deep Feedforward Neural Networks（深度前馈神经网络）
深度前馈神经网络是一种结构最基础、应用最广泛的人工神经网络
深度前馈神经网络由多个层级（Layers） 的人工神经元组成。每一层的神经元都与下一层的神经元全连接（即每个神经元的输出都作为下一层每个神经元的输入）。
- 别名：这种网络也被称为多层感知机（MLP，Multilayer Perceptron）。
- 数据流向：数据在网络中单向（前向）流动。即从输入层开始，经过中间的隐藏层，逐层计算，最终到达输出层产生结果。
这种全连接的结构使得网络能够通过学习调整神经元之间的连接权重（weights）和偏置（biases），从而拟合极其复杂的函数关系
Autoencoder（自编码器）
自编码器是一种特殊类型的神经网络，它的核心目标是学习输入数据的压缩表示（也就是找到一个更低维度的特征空间），然后再从这个压缩表示中尽可能地重建出原始数据。
自编码器主要由两部分组成：
编码器：负责将原始高维度的输入数据（x∈Rn）进行压缩，转换成一个低维度的表示。这个低维表示通常被称为潜在表示或瓶颈。
解码器：负责接收这个压缩后的低维度表示，并尝试将其"解压缩"，从而重建出原始数据。
Figure3 展示了标准前馈自编码器的结构：
- 输入：原始数据（图中的左侧）
- 编码器部分：将输入数据逐步压缩，信息流逐渐变窄。
- 瓶颈：最中间、最窄的部分。这是整个网络中最关键的一层，其维度远低于输入层。它强制网络必须学会只用最重要的特征来表示数据。
- 解码器部分：从瓶颈开始，信息流逐渐扩展，试图恢复出原始数据的模样。
- 输出：重建后的数据（图中的右侧）。
你可以把它想象成一个信息的压缩与解压过程：
编码器就像是一个 ZIP 压缩软件，它把一篇很长的文章（输入）压缩成一个体积很小的文件（瓶颈），在这个过程中它会自动提炼出文章的主旨和关键词。
解码器就像是一个 ZIP 解压软件，它拿着这个压缩文件，试图把它展开，还原成一篇文章（输出）。
训练目标就是让解压后的文章和原始文章尽可能一致。如果解压出来的文章和原文一模一样，就说明压缩文件确实抓住了原文的全部精髓。
文献中还提到，自编码器有很多变体，例如卷积自编码器（用于图像处理）、变分自编码器（用于生成新数据）等。
Convolutional Neural Network (CNN，卷积神经网络)
卷积神经网络是一种专门设计用于处理具有网格状拓扑结构数据（如图像）的深度学习模型。它通过数学上的卷积运算来自动学习和提取数据中的特征
- 输入：通常是一组数据（如图像）和一个小的滤波器。
- 过程：滤波器在输入数据上滑动，每次覆盖一小块区域，计算该区域与滤波器之间的点积。
作用：通过这种方式，CNN 可以识别出输入数据中的有意义模式。文献强调，这种技术使得 CNN 能够识别传统算法难以或无法检测到的复杂数据集中的模式。
你可以把 CNN 想象成一个自动化的特征工程师：
低层卷积层：就像是用放大镜检查图像的局部，找出最基础的线条和色块。
中层：把这些线条组合起来，识别出像是"眼睛"、"鼻子"、"轮子"这样的部件。
高层：看到这些部件的组合，就能认出这整体是一个"人脸"或者一辆"汽车"。
池化：相当于在告诉模型："我关心这里有没有眼睛，而不在乎眼睛具体是在第 5 个像素还是第 7 个像素位置上。"
由于这种独特的层级特征提取能力和对空间位置的不变性要求，CNN 在处理视觉数据方面表现卓越，CNN 特别适用于以下计算机视觉任务：图像识别：判断图像中是什么物体；目标检测：找出图像中物体在哪并识别它；图像分割：将图像中的每个像素进行分类。
Deep Belief Networks (DBN,深度信念网络)
DBN 由多个隐藏单元层组成，其中每一层都是一个受限玻尔兹曼机，受限玻尔兹曼机是一种浅层的、两层的神经网络。文献中描述其特点是"可见单元连接到隐藏单元，但彼此不连接"。也就是说，层内神经元之间没有连接，只有层与层之间有连接。这种限制简化了训练过程，在 DBN 中，多个 RBM 像搭积木一样堆叠在一起：前一个 RBM 的隐藏层作为下一个 RBM 的可见层，从而形成一个深度网络。
DBN 像是一个多级特征提炼器，第一级 RBM 像是刚入职的新手，拿到原始像素后，努力找出最明显的特征，比如"这里有一条竖线"、"这里是红色区域"。它把这些观察总结成一份报告（隐藏层输出）；第二级 RBM：拿到第一级的报告，它不再看原始像素，而是基于报告进行更高层次的总结，比如"竖线和横线组成了一个矩形"、"红色区域和圆形组合看起来像苹果"；第三级 RBM：继续总结，可能得出"这是一个苹果"的结论。
整个过程：每一级都在无监督地自动发现数据中的规律，不需要有人告诉它"苹果"是什么概念，它自己从数据中总结出来。
文献中给出了 RBM 的能量函数和联合概率分布，这是其理论基础：
- 联合概率分布
这个公式表示可见层 v 和隐藏层 h 同时出现的概率。其中 Z 是归一化常数（配分函数），确保所有概率之和为 1。
能量函数
这个函数定义了系统的一种"能量"状态：
第一项：可见层偏置 b 与可见层激活值 v 的相互作用。
第二项：隐藏层偏置 c 与隐藏层激活值 h 的相互作用。
第三项：可见层和隐藏层之间的连接权重 w 的作用。
训练 RBM 的过程，就是调整权重和偏置，使得对于真实的训练数据，对应的能量尽可能低（概率尽可能高）；而对于随机状态，能量尽可能高。
不同于前面介绍的 Autoencoder，同样都是用于学习数据的特征表示，DBN 是一个基于概率的生成模型，它像侦探，试图找出数据产生的内在规律，然后根据规律生成新的数据，训练时只给它看猫的图片，训练完给它输入一个随机的隐藏状态，它能"画出"一只新猫；而 Autoencoder 是一个基于函数的判别模型，它像复印机，专注于把输入的数据尽可能无损地复制出来，中间虽然压缩了，但目标就是复制粘贴。
Recurrent Neural Network (RNN,循环神经网络)
循环神经网络是一类专门用于处理序列数据的神经网络。与传统神经网络（如 CNN 或前馈网络）一次处理一个固定输入不同，RNN 具有循环连接，允许信息在不同时间步之间流动，从而拥有一种"记忆"能力。
当前时间步的隐藏状态 h(t) 是由当前输入 x(t) 和上一个时间步的隐藏状态 h(t−1) 共同决定的。这使得网络能够利用之前的信息来处理当前的输入。
图 5 展示了一个简单的 RNN 结构：
左边是循环图：一个箭头从 h 指回 h 自身，表示隐藏状态不仅输出到下一层，还会在下一个时间步反馈给自己
右边是展开图：将循环按时间展开后，可以看到一条链式结构：在 t−1 时刻，输入 X(t−1)，产生隐藏状态 h(t−1)。
在 t 时刻，输入 X(t)，同时接收来自 t−1 时刻的 h(t−1),共同计算产生 h(t)。如此反复，使得信息沿着时间轴传递。
Gate Recurrent Unit (GRU)
GRU 由 Cho 等人在 2014 年提出，是为了解决传统 RNN 在处理长序列时梯度消失问题的一种改进架构。
与 RNN 相比，GRU 引入了两个门控结构来控制信息流：
更新门：决定保留多少过去的隐藏状态。
重置门：决定忘记多少过去的隐藏状态。
通过这两个门，GRU 能够有选择性地保留重要信息、丢弃无关信息，从而有效捕捉序列中的长期依赖关系。
论文中给出了 GRU 的核心公式，开始解释之前先明确公式里几个符号的含义：
1.评估旧信息价值，计算重置门 rt
这一步的作用是决定要忘记过去多少的记忆，基于新的信息 xt 和刚才的"笔记"ht-1，判断刚才的笔记对于理解现在的信息有多重要，是不是要一些旧笔记清空，以便更好接收新信息。Sigmoid 函数输出一个值作为 rt，假如是 0.1，这意味着他决定只保留旧笔记中 10% 的内容，剩下 90% 都要重置（遗忘），以便为接受新话题腾出空间。
2.生成初步想法（计算候选隐藏状态 h~t）
基于当前输入 xt 和经过重置门筛选后的旧记忆，生成一个"初稿"或"临时想法"（计算候选隐藏状态。其中 ht-1。rt 是指用到了上一步算出的 rt 来过滤 ht-1，表示只允许 rt 决定留下的那部分旧记忆（比如 10%）参与新想法的构建，xt（当前信息）和 ht-1。rt（决定留下来的旧信息）通过 tanh 函数混合，形成了一个全新的草稿即候选隐藏状态，这个草稿主要反映的是当前这句话的内容，只稍微带了一点过去的影子。用 tanh 因为它能把信息压缩到 -1 到 1 之间，增加非线性，让模型表达能力更强。
3.决定保留比例（计算更新门 zt）
更新门决定要保留多少旧记忆，以及相应地要加入多少新信息，还是基于新的信息 xt 和刚才的"笔记"ht-1，与重置门不通的事更新门是判断有多少信息需要保留。
4.正式更新笔记（计算最终隐藏状态 ht）
这步是最终输出的新笔记，它通过更新门 zt 来做一个加权平均，融合了旧的记忆 ht-1 和新的候选记忆 h~t，形成最终记录到笔记本上的最新笔记 ht。总而言之 GRU 先通过计算重置门决定在生成新想法的时候要用多少旧信息，然后生成一个基于当前输入的新想法草稿，然后更新门决定了最终记忆中旧信息和这个新想法的比例，最终将旧记忆和新想法结合起来得到最终的新记忆。
5.计算最终输出
Long Short-Term Memory (LSTM)
LSTM 由记忆单元（Memory Cell）和三个门组成，LSTM 的核心是一条被称为细胞状态（Cell State）的水平线，它像一条传送带，贯穿整个链条，信息在上面线性流动，可以保留很长时间以前的信息，门结构则负责在需要的时候向传送带上添加或移除信息。LSTM 不同于 GRU 有三个门控结果：
遗忘门：决定从记忆单元中丢弃哪些信息。
输入门：决定从当前输入中添加哪些信息到记忆单元。
输出门：决定基于当前记忆单元输出哪些信息。
LSTM 的工作可以分为三步：
1.决定从"长期记忆仓库"中丢弃什么 —— 遗忘门
从上一时刻的隐藏状态 ht-1（可以理解为"短期记忆"或"上一步的输出"）和当前输入中判断什么旧的信息应该抛弃。
2.决定向"长期记忆仓库"中存储什么新信息 —— 输入门
这一步分为两个部分：
（1）输入门层（决定更新哪些值）
（2）tanh 层（创建候选记忆）
输入门标记处哪些细胞状态需要更新，候选记忆像是一份"新档案"的内容，包含了当前工作指令 xt 提炼出的关键信息
3.更新旧的"长期记忆仓库"并产生"短期记忆/输出"
（1）更新细胞状态（更新长期记忆）
旧的信息 Ct-q 按照遗忘门 ft 进行丢弃，候选记忆 C~t 按照输入门按照比例加入信息
（2）输出隐藏状态（产生短期记忆和最终输出）
输出门：
输出门基于当前输入和上一时刻的隐藏状态，决定要输出哪些内容
将 tanh 的输出与输出门相乘，得到当前时刻的隐藏状态
Transformer
Transformer 是一种革命性的神经网络架构，由 Vaswani 等人在 2017 年的论文《Attention Is All You Need》中提出。它摒弃了传统的循环或卷积结构，完全依赖于自注意力机制来处理序列数据，在自然语言处理等领域取得了巨大成功。
在 Transformer 之前，主流的序列模型如 RNN、LSTM 按时间步顺序处理输入，导致两个主要问题：
并行计算受限：当前时刻的计算依赖上一时刻的结果，难以充分利用 GPU 并行能力。
长距离依赖困难：虽然 LSTM 引入门机制，但对超长序列仍有信息丢失风险。
Transformer 通过自注意力直接建模序列中任意两个位置的依赖关系，使得所有位置可并行计算，并能捕捉全局上下文。
1.Transformer 遵循经典的编码器 - 解码器框架，适用于序列到序列的任务（如机器翻译），其核心组成为：
- 编码器：它的任务是把输入的句子进行深度理解，并将其'消化'成一个包含丰富语义信息的上下文向量。编码器在接收到输入序列（比如源语言句子：我是你爸），将其映射为一系列连续的表示（称为键和值），编码器通常由 N 个相同的层堆叠而成，每层包含两个子层：
- 1.多头自注意力层：允许每个位置关注整个输入序列的所有位置
- 2.前馈神经网络（Feed-Forward Network，FFN）：一个简单的全连接网络，对每个位置的表示进行独立变。
每个子层后都采用残差连接和层归一化。 - 解码器：它的任务是接收编码器产出的信息，并结合已经生成的内容，一步步地、一个词一个词地生成最终的目标句子（I am your father）。据编码器输出的键、值以及已生成的目标序列，逐步生成输出序列（如目标语言句子）。解码器同样由 N 个相同的层堆叠而成，每层包含三个子层：
- 1.掩码多头自注意力层：防止当前位置关注未来的信息（在训练时保证自回归特性）。
- 2.编码器 - 解码器注意力层：将解码器的查询与编码器的键值对进行交互，使解码器能够关注输入序列的相关部分。
- 3.前馈神经网络。
同样使用残差连接和层归一化。
2. 自注意力机制（Self-Attention）
自注意力是 Transformer 的核心，它允许模型在计算某个位置的表示时，根据序列中所有位置的重要性进行加权聚合。你可以把它想象成一个无比强大的全局扫描仪。在处理某个词时，它能瞬间扫描句子里的所有其他词，并判断它们与当前词的相关性。
对于句子中的每个词，模型会创建三个向量：查询（Query）、键（Key）和价值（Value） - 查询（Query，Q）：表示当前元素想要寻找什么信息。
- 键（Key，K）：表示当前元素能提供什么信息（作为被关注方）。
- 层归一化：像是一个'稳压器'，把每一层的数据都拉回到一个稳定的范围内，让训练过程又快又稳。
-前馈网络：前文讲过的 Deep Feedforward Neural Networks，在每个注意力层之后，都会接一个简单的全连接网络。可以把它看作是每个词在收集完上下文信息（通过注意力机制）后，进行的'深度思考'和加工。
残差链接：在 Transformer 中，每个子层（比如自注意力层或前馈神经网络）之后都跟着一个残差连接。它的操作非常简单：
这里的
x 是该子层的输入，而 Sublayer(x) 是该子层本身对输入做的变换（比如自注意力计算）。
通俗理解：它相当于在说：'子层你尽管去学习新的特征（Sublayer(x)），但是我在最终输出的时候，一定要把你学到的结果（Sublayer(x)）和我最原始的输入（x）加在一起。残差链接有两大核心作用：
作用一：解决"梯度消失"，让网络能"深"下去
在深度神经网络中，梯度需要从输出层一层一层地反向传播回输入层。如果网络太深，梯度在传播过程中可能会变得非常小，导致靠近输入层的网络权重几乎无法更新，这就是梯度消失问题。
作用二：防止"退化"，让网络能"优"下去
在传统网络中（没有残差连接时），如果增加层数，理论上模型表达能力应该更强，但实际上训练误差和测试误差反而可能会变大，这种现象称为退化。
问题所在：深层网络很难直接去拟合一个恒等映射（即如果这一层没什么要学的，最好就是输出等于输入）。
残差连接的妙处：它把学习目标从"学习一个完整的输出 H(x)'变成了"学习一个残差 F(x)=H(x)−x"。如果这一层不需要做什么改变（即 H(x)=x 是最优的），网络只需要让 F(x)=0 就行了。让权重趋近于 0（什么都不做）比让网络学习一个复杂的恒等映射要容易得多。
值（Value，V）：表示当前元素携带的实际信息。
模型的'查询'会去和所有'键'进行匹配（计算查询与所有键的点积），得到一组'注意力权重'。这个权重决定了我们在处理当前词时，应该花多大力气去关注其他每个词。最后，用这些权重去加权求和所有词的'价值'，就得到了当前词的新表示，这个新表示已经融合了全句的上下文信息。
3.多头注意力（Multi-Head Attention）
如果只有一个'全局扫描仪'，可能只能捕捉到句子中一种类型的关系。为了让理解更全面，Transformer 引入了多头注意力。这就像是为每个词组建了一个'专家会诊团'。
多头注意力允许模型在不同表示子空间中并行地执行多次自注意力操作，从而捕捉输入序列中不同类型的依赖关系。
具体做法是：将 Q,K,V 分别通过 h 组不同的线性投影，得到 h 组新的 Qi,Ki,Vi，每组独立计算注意力，最后将所有头的输出拼接并再次投影。多头机制让模型能够从多个角度理解输入，例如一个头可能关注语法关系，另一个头可能关注语义相似性。
4.位置编码（Positional Encoding）
自注意力机制本身是无法感知词语的顺序的。对于'我是你爸'和'你是我爸'，它会一视同仁，为此，作者引入了位置编码，将每个位置的相对或绝对位置信息加入到输入嵌入中。常用的位置编码是使用不同频率的正余弦函数：
这样模型可以通过学习利用这些信息来捕获序列顺序。
5.其他关键辅助机制
Generative Adversarial Network (GAN,生成对抗网络)
该模型旨在从给定的数据集（如图像、文本或音频数据）中生成全新的、此前从未出现过的样本。GAN 主要由两个核心组件构成：生成器网络和判别器网络。
生成器的核心任务是创造出与数据集中样本高度相似的新样本，其工作原理是接收随机噪声作为输入，并将其映射为符合目标数据分布的样本。生成器通常是一个包含多层隐藏层的深度神经网络，具体可采用全连接神经网络或卷积神经网络。
判别器的核心任务是区分两类样本：一类是生成器生成的样本，另一类是来自原始数据集的真实样本。它会接收一个样本作为输入，输出一个概率值，该数值代表该样本为真实样本的可能性。判别器同样通常是一个包含多层隐藏层的深度神经网络。
这两个网络会协同进行训练，整个过程类似于一场双人极小极大博弈：生成器的目标是生成足以'骗过'判别器的样本，让判别器将其误判为真实样本；而判别器的目标则是准确识别出哪些样本是真实的、哪些是生成的。随着训练的推进，生成器生成逼真样本的能力会不断提升，而判别器的识别能力也会同步增强。
训练的最终目标是达到一种平衡状态：此时生成器能够生成与真实样本无法区分的样本，判别器则无法再准确分辨样本的真伪。达到这一状态后，生成器就可以被单独使用，从随机噪声中生成符合目标数据分布的新样本——比如生成逼真的人脸图像、与真实语音无异的音频样本等。
GAN 已被广泛应用于多个领域，包括图像合成、图像到图像的转换、视频合成、语音到文本的转换等。此外，它还被用于无监督学习任务，例如异常检测和特征提取。
值得注意的是，GAN 被认为是最难训练和稳定的模型之一。这是由其训练过程的对抗性本质决定的，训练过程中可能出现平衡停滞问题：即生成器和判别器都不再继续优化，模型整体不再产生任何性能提升。
最后文献给出来不同深度学习模型的对比表格：
