本文详细解析了大模型中 FFN 块的结构及其核心激活函数。内容涵盖 GeLU、Swish 及 GLU 系列的数学定义、特性分析与适用场景。重点介绍了 GeLU 在 Transformer 中的广泛应用，Swish 的非单调性与平滑性，以及 GLU 门控机制如何通过 GeGLU 和 SwiGLU 变体提升模型表达能力。文章提供了 PyTorch 代码实现示例，并给出了针对不同硬件与性能需求的激活函数选型建议，旨在帮助开发者深入理解底层原理并优化模型配置。
Feed-Forward Network（前馈神经网络）块是 Transformer 架构中的关键组件之一。它位于每个自注意力层之后，负责对特征进行非线性变换和维度映射。标准的 FFN 结构包含两个线性变换层和一个激活函数。
计算公式如下： $$ \text{FFN}(x) = \max(0, xW_1 + b_1)W_2 + b_2 $$ 其中 $W_1, W_2$ 为权重矩阵，$b_1, b_2$ 为偏置向量。在现代大模型中，激活函数通常替换为更复杂的变体以增强表达能力。
GeLU（Gaussian Error Linear Unit）是目前大模型中最常用的激活函数之一，广泛应用于 BERT、GPT 等经典架构。
精确的 GeLU 公式基于高斯累积分布函数： $$ \text{GeLU}(x) = x \cdot \Phi(x) = x \cdot \frac{1}{2} \left[ 1 + \text{erf}\left(\frac{x}{\sqrt{2}}\right) \right] $$ 工程实现中常使用近似公式以提高计算效率： $$ \text{GeLU}(x) \approx 0.5 \cdot x \cdot \left( 1 + \tanh\left(\sqrt{\frac{2}{\pi}} \cdot (x + 0.044715 \cdot x^3)\right) \right) $$
Swish 由 Google Brain 提出，是一种自门控激活函数，近年来在大模型领域也得到应用。
$$ \text{Swish}(x) = x \cdot \sigma(\beta x) $$ 其中 $\sigma$ 为 Sigmoid 函数，$\beta$ 为可学习参数或固定常数。当 $\beta=1$ 时效果最佳。
GLU（Gated Linear Unit）通过引入门控机制控制信息流，增强了模型的非线性能力。
$$ \text{GLU}(x) = (xW_1 + b_1) \otimes \sigma(xW_2 + b_2) $$ 其中 $\otimes$ 表示逐元素乘法。这种结构允许模型动态选择输入信息的哪些部分需要被传递。
现代大模型（如 PaLM、LLaMA）倾向于使用带特定激活函数的门控单元。
以下展示如何在 PyTorch 中实现一个基于 GeLU 的 GLU 模块：
import torch
import torch.nn as nn
class GeGLU(nn.Module):
def __init__(self, d_model, expansion_factor=4):
super().__init__()
self.w1 = nn.Linear(d_model, d_model * expansion_factor)
self.w2 = nn.Linear(d_model * expansion_factor, d_model)
self.act = nn.GELU()
def forward(self, x):
# 线性变换
x_proj = self.w1(x)
# 分割为门控部分和投影部分
gate = self.act(x_proj[:, :, :d_model])
proj = x_proj[:, :, d_model:]
# 门控相乘
return self.w2(gate * proj)
在大模型训练中，激活函数的选择直接影响收敛速度和最终性能。
开发者应根据具体任务需求、硬件环境及模型架构进行权衡，并在实际训练中观察 Loss 曲线以验证选择的有效性。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online