2024 大模型与编译器技术秋招面试题解析

3. 算子融合策略：先 Tile 再 Fuse 还是先 Fuse 再 Tile

从写算子角度，惯性思维是先确定可 Fuse 的 Op 序列，再一起 Tile。Fuse 形式通常是固定 Pattern 或贪心算法。这样 Tile 时可确保片上空间足够且性能良好。

另一种思路是先找到锚点 Op 确定 Tile 策略，再将 Producer 和 Consumer 贪心 Fuse 进去，后续 Hardware Dialect 再做融合（如 mlu+add -> fma）。基于 TVM Ansor 的思路，应用模板后只需寻找 Tile Size，Fuse 不进去则跳过，后续仍有优化空间。

4. MLIR Codegen 在推理和训练中的区别

虽然训练需关心梯度传播，算子融合不能太激进且需保存中间结果，而推理可专项优化，但从 Codegen 路径角度看，主要关注计算图本身。对输入 Task 进行 Normal Lower + Codegen 即可，上层语义由前端处理。

5. 软流水展开的循环级别

通常为最内层展开。展开后依赖关系更易分析，可排成不同的 Pipeline Stage。相比高级语言手动排流水，MLIR 操作更接近硬件汇编 Dialect，理论上上限更高，但实际性能仍受限于算子库对硬件特性的深度理解。

6. MLIR 中 Tensor 和 Memref 的异同

• Tensor：对应高层抽象（如 PyTorch Tensor），语义上只能定值一次（SSA），无 Side-effect，Clone 安全，顺序改变不影响语义。
• Memref：对应低层 Buffer，可变，可能存在 Alias，需考虑 Alias Analysis。IR 顺序敏感，移动 IR 可能改变程序语义，Clone 需谨慎。

示例对比：

// Tensor: 提取值始终源自创建时的随机值
%1 = tensor.empty
%extract = tensor.extract %1 // a 点
%fill = linalg.fill outs(%1)
%extract = tensor.extract %1 // b 点

// Memref: 若 Clone 到 User 前，可能因中间 Def 改变语义
%load = memref.load %alloc
def %alloc
scf.forall use %load

7. Linalg Dialect 的设计理念

Linalg 包含 linalg-on-tensor 和 linalg-on-memref，作为中间胶水层，向上承接计算描述，向下准备下降到 Hardware Dialect。它提供 Progressive Buffer Allocation、Parametric Tiling、Promotion to Temporary Buffer 等 Transforms。Linalg 之前是对计算的描述，Linalg 之后经过变换（Tile, Fuse, Promotion, Bufferize）贴近目标硬件。

8. MLIR 概念辨析

• SmallVector vs std::vector：SmallVector 栈上预留空间，小数据快，大数据退化为堆分配，避免频繁申请释放开销。
• StringRef vs std::string：StringRef 轻量引用，不管理所有权，不安全；std::string 完全管理内存。
• ArrayRef vs SmallVectorImpl：ArrayRef 是 const 引用，SmallVectorImpl 构造无需指定容量，适用于大小不一的传入对象。

9. 图的拓扑排序代码题

考察 Def-Use 链分析。使用 Set 记录 visited，Vector 记录结果。递归处理 Producer 和 Consumer，确保原 IR 执行顺序。

伪代码逻辑：

1. 找到无前驱节点作为起点。
2. 遍历当前节点的 Producer，递归处理。
3. 若无 Producer，压入拓扑序 Vector。
4. 遍历 Consumer，继续处理。

LLM 推理优化

1. 常见优化技术

• KV Cache：以空间换时间，将 Attention 计算从 GEMM 降级为 GEMV。
• MQA/GQA/MLA：减少 KV Cache 使用量，避免 QK 点积计算。
• Window-Attention：仅保留窗口大小的 KV Cache，使用前需旋转。
• Flash-Attention：一步完成 Attention 计算，适合计算瓶颈（Prefill 阶段）。
• Page-Attention：页表管理 KV Cache，适合访存瓶颈（Decode 阶段）。
• 连续批处理：动态调整批次，平衡低延迟与高吞吐。
• 量化：牺牲少量精度换取执行速度。

2. Attention 相关问题

• QK 点积不除模长：保留向量长度信息，利于训练参数调整，使大点积在 Softmax 中权重突出。
• 缩放因子：防止数值过大影响 Softmax 分布，保证区分度。
• Softmax 激活函数：输出概率分布，反向计算简单。
• Mask：Decode 逐 Token 生成，避免未来 Token 泄露。

GPU 架构基础

1. GPU SM 结构

每个 SM 拥有独立的 SMEM、Constant Cache、Register Mem，SM 间共享 L2 Cache 和 Global DRAM。一个 SM 包含多个 SP（CUDA Core）和 Tensor Core。Volta 架构后，SMEM 与 L1 Cache 合成，可按场景配置大小。Sparse Computing 需 L1，SMEM 可防止污染 Cache。

C++ 与 Coding

1. C++ 基础

涵盖继承、虚函数、智能指针、constexpr、override 等概念。建议深入理解内存模型及生命周期管理。

2. 代码手撕

刷题是常见短板，建议多整理源码，理解 Def-Use 分析等底层逻辑，将刷题时间与阅读源码结合，提升实战能力。

总结

大模型领域的竞争已从应用层下沉至系统层。掌握 Triton、MLIR 及 GPU 架构原理，有助于在底层优化岗位获得竞争优势。持续学习社区前沿技术，夯实基础，方能应对各类挑战。