在高端 AI 服务器的世界里，NVIDIA 的 DGX 系列服务器（如 A100、H100、H200）采用了一种高度集成的模块化架构。理解这种架构对于 AI 基础设施的规划、运维和优化至关重要。本文将深入解析'机头'和'模组'这两个核心概念，以及完整 GPU 服务器的各个组成部分。
一、机头：GPU 服务器的'大脑与中枢神经系统'
1. 机头是什么？
核心定义：机头是服务器中不包含 GPU 的核心计算和系统控制部分。可以将其想象成一台'没有 GPU 的超级主板'，它负责整个系统的调度、管理、网络和基础计算任务。
设计理念：通过将计算控制与 GPU 计算分离，实现更好的热管理、电源分配和维护性。
2. 机头的详细构成
2.1. GPU 服务器机头子系统技术规格详表
| 子系统 | 技术规格 | 具体配置与特性 | 性能指标 |
|---|---|---|---|
| CPU 子系统 | 处理器配置 | • 通常配备 2 颗高性能服务器级 CPU • Intel Xeon Scalable 系列（如 Platinum 8480+） • AMD EPYC 系列（如 EPYC 9754） | • 单 CPU 可达 64 核甚至更多 • 提供充足的 PCIe 通道和内存带宽 |
| 主板与芯片组 | 定制化设计 | • 专门为高密度 GPU 计算优化 • 复杂的 PCIe switch 网络 • 集成 BMC、硬件监控、固件管理等 | • 确保所有 GPU 都能获得充足带宽 • 优化的信号完整性和电源分配 |
| 内存系统 | 容量配置 | • 通常 1-2TB DDR5 内存 • 8 通道或 12 通道内存架构 • 错误校正码 (ECC) 支持 • 内存镜像和热备选项 | • 带宽可达 800GB/s 以上 • 低延迟访问 • 高可靠性运行 |
| 网络接口 | 高速互联 | • 多个 100Gb/200Gb/400Gb 端口 • InfiniBand HDR/NDR（NVIDIA ConnectX-7） • RoCEv2 以太网 • 支持 GPUDirect RDMA | • Fat-Tree、DragonFly+ 等高级网络拓扑支持 • 超低延迟数据传输 • 高吞吐量通信 |
| 系统管理 | 基板管理控制器 (BMC) | • 远程开关机和控制 • 硬件状态监控（温度、电压、功耗） • 固件更新和系统日志 • 管理接口：Redfish API、IPMI • 安全特性：安全启动、硬件信任根 | • 实时系统健康监控 • 远程诊断和维护 • 安全保障机制 |
| 存储控制器 | 本地存储 | • 多个 NVMe U.2 或 M.2 接口 • 硬件 RAID 控制器，支持 0/1/10 等级别 • 通过 PCIe 连接 JBOD 或存储阵列 | • 高速数据读写能力 • 数据冗余保护 • 灵活的存储扩展 |
