互联网大厂算法工程师面试题汇总与核心原理解析

问题 6：Python 中字典的结构及实现方式

Python 字典（Dictionary）是可变数据结构，存储键值对（key-value pairs）。

• 底层实现：基于哈希表（Hash Table）。键经过哈希函数转换为固定整数索引，直接定位内部数组位置。
• 特性：键唯一且不可变，值可重复。支持 O(1) 平均时间复杂度的查找、插入和删除操作。
• 冲突处理：Python 字典采用开放寻址法处理哈希冲突，当发生碰撞时寻找下一个可用槽位。

问题 7：无序数组取前 10 个最大的数

针对无序数组取 Top K 最大值，有两种常见策略：

1. 全排序：使用快速排序或堆排序，时间复杂度 O(n log n)。代码示例：

nums = [3, 1, 9, 5, 8, 2, 7]
sorted_nums = sorted(nums, reverse=True)
top_10 = sorted_nums[:10]

2. 最小堆优化：维护一个大小为 K 的最小堆，遍历数组，若当前元素大于堆顶则替换并调整堆。时间复杂度 O(n log k)，适合 K 远小于 n 的场景。

二、小米 AIGC 大模型岗位

问题 1：Transformer 的原理

Transformer 是序列建模的基石，主要组件包括：

• 自注意力机制（Self-Attention）：计算序列中每个位置与其他所有位置的相关性得分，捕捉长距离依赖关系。
• 位置编码（Positional Encoding）：由于 Transformer 并行处理无循环结构，需注入位置信息以区分词语顺序。
• 多头注意力（Multi-Head Attention）：并行运行多个注意力头，关注不同子空间特征，增强模型表征能力。
• 前馈神经网络（FFN）：每个注意力层后接全连接网络，进一步变换特征。
• 残差连接与层归一化：每层后添加残差连接防止梯度消失，并使用 LayerNorm 稳定训练。

问题 2：微调方法 P-Tuning V2 的原理

P-Tuning V2 是对 P-Tuning V1 的改进，旨在更高效的参数微调：

1. 深层 Prompt 注入：在每一层都加入可学习的 Prompt tokens，而非仅输入层，使深层结构能更直接影响预测。
2. 去除重参数化编码器：实验表明重参数化对小模型效果有限且影响性能，故移除。
3. 动态提示长度：针对不同任务搜索最佳提示长度，适应不同语义需求。
4. 多任务学习：支持先在多任务 Prompt 上预训练，再适配下游任务，缓解连续提示的随机惯性问题。

问题 3：什么是 BiLSTM-CRF

BiLSTM-CRF 是序列标注任务的经典模型，结合了 BiLSTM 的特征提取能力和 CRF 的全局约束。

• BiLSTM：双向长短期记忆网络，同时捕捉正向和反向语境信息，提取序列特征。
• CRF：条件随机场，对标签序列进行全局建模，利用标签间的转移约束（如不能出现非法标签组合），提高标注一致性。
• 流程：BiLSTM 输出发射分数，CRF 计算转移分数，联合解码最优路径。

问题 4：代码题——两数之和

给定整数数组 nums 和目标值 target，返回和为目标值的两个整数的下标。

解法：使用哈希表存储遍历过的数字及其下标，一次遍历即可找到配对。

def two_sum(nums, target):
    seen = {}
    for i, num in enumerate(nums):
        complement = target - num
        if complement in seen:
            return [seen[complement], i]
        seen[num] = i
    return []

时间复杂度 O(n)，空间复杂度 O(n)。

三、百度算法工程师

问题 1：LoRA 的原理

LoRA（Low-Rank Adaptation）是一种参数高效微调方法。

• 核心思想：在原始预训练模型参数 $W$ 旁增加旁路，分解为低秩矩阵 $A$ 和 $B$，即 $ ilde{W} = W + BA$。
• 训练策略：冻结原始 PLM 参数，仅训练降维矩阵 $A$ 与升维矩阵 $B$。
• 初始化：$A$ 用随机高斯分布初始化，$B$ 用零矩阵初始化，保证初始状态不变。
• 优势：大幅减少可训练参数量，降低显存占用，适用于大模型部署。

问题 2：GBDT 的原理

GBDT（Gradient Boosting Decision Tree）是集成学习算法。

• 迭代修正：通过迭代训练决策树，每一轮拟合前一轮的残差（目标值与预测值之差）。
• 加法模型：最终模型是所有树的线性组合，逐步减小损失函数。
• 扩展：XGBoost、LightGBM 等是其工程优化版本，引入正则化和二阶导数优化。

问题 3：翻译任务一般用什么架构

机器翻译主要采用 Seq2Seq（Sequence-to-Sequence）架构。

• 主流方案：基于 Transformer 的 Encoder-Decoder 结构。
• 机制：Encoder 将源语言编码为上下文向量，Decoder 利用自注意力机制和交叉注意力机制生成目标语言序列。
• 演进：从 RNN-LSTM 到 Transformer，再到带稀疏注意力的架构，显著提升了翻译质量和速度。

问题 4：Encoder-only, Decoder-only, Encoder-decoder 的区别

• Encoder-only：仅编码器，输出固定维度表示，用于分类、检索等判别式任务（如 BERT）。
• Decoder-only：仅解码器，自回归生成输出，用于文本生成任务（如 GPT 系列）。
• Encoder-decoder：双结构，用于序列到序列任务，如机器翻译、摘要生成。

问题 5：Transformer 的结构详解

Transformer 由编码器和解码器堆叠而成，核心是自注意力机制。

• 层结构：每层包含多头自注意力子层和前馈网络子层，均配有残差连接和层归一化。
• 连接方式：编码器与解码器之间通过交叉注意力（Cross-Attention）连接，解码器接收编码器的输出作为 Key/Value。
• 并行性：除自回归生成外，大部分计算可并行，训练效率高。

问题 6：Flash Attention 的原理

Flash Attention 旨在优化 Attention 计算的 GPU 内存 IO。

• 核心思想：通过分块（Tiling）技术，将矩阵运算切分为小块，减少 GPU HBM（高带宽内存）与 SRAM 之间的读写次数。
• IO 感知：避免中间激活值的显存溢出，直接在片上内存完成 softmax 计算，显著提升训练速度和显存利用率。

问题 7：FP32 和 FP16 的区别，混合精度原理

• FP32：32 位浮点数，精度高，占用 4 字节，标准训练格式。
• FP16：16 位浮点数，占用 2 字节，精度较低但计算快，显存占用减半。
• 混合精度训练：同时使用 FP16 和 FP32。参数和梯度主副本用 FP16 计算，累积值用 FP32 保持精度，通过 Loss Scaling 防止梯度下溢。此法可加速训练并减少显存消耗。

问题 8：Beam Search 的原理

Beam Search 是序列生成中的搜索算法。

• 工作机制：每一步保留概率最高的 K 个候选序列（Beam Width），扩展这些候选直到生成结束。
• 剪枝：局部剪枝搜索空间，平衡广度与深度，比贪婪搜索（Greedy Search）更能找到全局较优解。
• 温度系数：常配合 Temperature 参数调整概率分布的平滑度，控制生成的多样性。

总结

以上题目涵盖了算法工程师面试的核心知识体系。建议求职者不仅背诵答案，更要理解背后的数学推导与工程实现细节。持续跟进大模型前沿技术（如 MoE、RAG 等），并结合实际项目经验，方能在面试中脱颖而出。