跳转至

⚙️ 15-AI-Infra · 高频面试题

AI Infra 岗位面试 = 手算题(FLOPs/显存/带宽)+ 选型对比(并行策略/量化/批处理)+ 手撕(autograd/GEMM/集合通信)+ 案例排查(OOM/慢推理)。 以下按九大块整理,每题给"30 秒标准答案";公式为面试必背。

一、系统基础(CPU/GPU/内存/roofline)

  1. GPU 为什么比 CPU 快那么多? CPU 几个大核 + 大 cache 擅长串行复杂逻辑;GPU 几千个小核(SM/Warp)+ 高带宽擅长大量并行简单运算;差异在"吞吐优先 vs 延迟优先"。
  2. roofline 模型是什么? 以"算术强度 I = FLOPs / Bytes"为横轴,可达性能为 min(峰值算力, 带宽×I);低于拐点=带宽受限,高于=算力受限。调优方向相反。
  3. 算力与带宽怎么手算? 例:A100 80GB,FP16 算力 312 TFLOPS、带宽 2039 GB/s → 拐点算术强度 ≈ 312e12/2039e9 ≈ 153 FLOP/Byte。
  4. 为什么矩阵乘法是"最优算子"? 算术强度高(2mnk/(mn+nk+mk) 随维度线性增长),容易打满算力;elementwise 算子则严重带宽受限。
  5. CPU cache 层次为什么影响性能? L1/L2/L3/DRAM 延迟递增、容量递增;循环要"时间局部性 + 空间局部性"(分块 GEMM 的核心动机)。

二、算子层(GEMM/CUDA/融合)

  1. GEMM 优化三板斧? 分块(tiling,把数据块放入 cache/共享内存)、向量化(SIMD/float4)、寄存器级复用(register blocking,每个加载值用多次);再加汇编级 instrinsics。
  2. 共享内存 vs 全局内存 vs 寄存器? 寄存器最快最小;共享内存(SM 内 48-96KB)比全局内存快一个量级,可编程 cache;全局内存容量最大最慢。
  3. 算子融合为什么省时间? 多个 elementwise 算子各自读写一遍全局内存 = 2N 次访问;融合后一次读写。带宽受限场景收益接近线性。例子:QKV 融合、GELU+Add+LayerNorm 融合。
  4. CUDA 线程层次? 线程 thread → 块 block → 网格 grid;一个 warp = 32 线程同步执行(SIMT);warp divergence 会串行化。
  5. 为什么说"reshape/transpose 免费"? 只是元数据修改不搬数据;但 transpose 后的连续访问模式变差(跨步访问浪费带宽,需要布局优化如 NCHW→NHWC)。

三、训练框架(计算图/autograd/torch.compile)

  1. 动态图 vs 静态图? 动态图(PyTorch 默认)逐行执行、易调试、灵活;静态图(编译期建图)可全局优化(算子融合/内存规划/并行调度)。torch.compile 用 TorchDynamo 捕获 Python 字节码 + Inductor 生成优化代码。
  2. 反向传播为什么要"逆拓扑序"? 依赖方向:只有被当前节点需要且尚未计算的梯度先算完才能算当前;逆拓扑序保证每次只依赖已算结果。从零 autograd 的核心就是拓扑排序。
  3. 训练时为什么必须保存中间激活? 反向需要 dA·W 和 dW=Aᵀ·dout,A 是前向激活;不存则要重算(gradient checkpointing 用算力换显存,每块激活可省 ~O(√) 量级显存但多 ~30% 计算)。
  4. checkpoint 重计算原理? 只存每 N 层的激活,反向时从最近 checkpoint 重算中间层 → 显存 O(√N) 变 O(√N×块),计算 +30%~50%。

四、混合精度与显存

  1. FP16 的问题? 尾数 10 位,范围 ±65504;梯度/更新值太小会下溢、loss 太大会上溢。解决:loss scaling(反向前把 loss 乘大数,梯度更新前除掉)。
  2. BF16 vs FP16? BF16 同指数位(8 位)范围大、尾数 7 位精度低但训练稳(LLM 首选);FP16 精度高但需 scaling。
  3. 7B 模型训练显存账本? 参数 14GB(BF16)+ 梯度 14GB + Adam 状态 84GB(m、v 全 FP32 各 4B + master 权重 FP32 4B → 12B/参数)≈ 112GB 不含激活;思路:ZeRO/FSDP 分片(P=8 时 ZeRO-3 每卡 ≈14GB)、activation checkpointing。
  4. TF32 是什么? 截断 FP32 尾数到 10 位 ≈ 19 位有效,算力翻倍,A100 上常用于 matmul 加速(牺牲精度换 8 倍速)。

五、分布式训练(DP/TP/PP/FSDP/ZeRO)

  1. 数据并行(DP/FSDP)怎么做? 每卡一份完整模型,喂不同 batch,梯度 allreduce 后同时更新;FSDP 把参数/梯度/优化器状态分片(ZeRO-3)+ 用时不 gather。
  2. 张量并行(TP)怎么切? 把单个算子的矩阵按行/列切到多卡(Megatron 的 column/row parallel),需要通信(allreduce)但每步都有;序列并行是其变体。通信量随模型维度,适合机内 NVLink。
  3. 流水线并行(PP)怎么切? 按层切,卡间传激活(点对点通信);缺点是 bubble(空闲时间)≈(P-1)/(P-1+m),micro-batch 越多 bubble 越小。
  4. ZeRO 三个阶段? ZeRO-1 分片优化器状态、ZeRO-2 分片梯度、ZeRO-3 连参数也分片(即 FSDP);通信逐级增加、显存逐级降低。
  5. 怎么选并行策略? 单卡放不下→先 PP/TP(显存),再考虑 DP 扩展吞吐;NVLink 域内用 TP,跨机用 DP;超大规模(>100B)用 3D 并行(PP×TP×DP)组合。

六、集合通信与 NCCL

  1. Ring AllReduce 通信量? 假设 P 卡、数据 S:两阶段各传 (P-1)/P·S,总 (2(P-1)/P)S ≈ 2S(与卡数无关!);对比 tree allreduce 是 2S·logP 但延迟低。
  2. 广播/聚集/allgather/allreduce 的区别? broadcast 1→N;gather N→1;allgather N→N(每卡收到全部);allreduce = reduce + broadcast(sum/min/max)。
  3. NCCL 是什么? NVIDIA 集合通信库,团队通信优化 + 拓扑感知(NVLink/RDMA/PCIe 分层),支持 ring/tree/rail 拓扑。
  4. 梯度同步为什么要等? 每条梯度 allreduce 要等所有 rank 算完该层 → 桶化(bucket)把相邻层梯度打包一次同步,减少同步次数与等待。

七、推理优化(KV Cache/批处理/解码)

  1. 为什么需要 KV Cache? 自回归解码每步只算新 token 的注意力,但需要与历史 K/V 做点积;把历史 K/V 存下来避免每步重算全部前缀,省 ~O(T²) 计算换 O(T·d) 显存。
  2. 预填充 vs 解码阶段? 预填充(prefill)并行度高、算力受限、耗时与输入长度线性;解码(decode)每步一个 token、串行、带宽受限(读全部权重+KV)。两个阶段最优批处理策略不同。
  3. vLLM 连续批处理(continuous batching)? 静态批处理必须等整批解码完才换新请求;连续批处理按 step 粒度调度,一个请求完成立刻腾出 slot 给新请求,吞吐大幅提升。
  4. PagedAttention 解决什么? 传统 KV 缓存要预分配连续大块(碎片+浪费);像操作系统的分页一样按固定块管理 KV,几乎零碎片,并支持前缀共享(parallel sampling/beam)。
  5. 为什么会"显存翻倍"? 解码时 KV 随 T 线性增长:KV 内存 = 2·L·B·T·h_kv·d_h·bytes(K、V 各一份;h_kv·d_h 为单头 KV 维度,MHA 时 = 隐藏维);LLaMA-7B(L=32、h=32、d_h=128)、T=2048、batch 32、FP16 ≈ 2×32×32×128×32×2048×2 ≈ 34GB(远大于权重 14GB)。
  6. 投机解码(speculative decoding)? 小模型先草稿 k 个 token,大模型一次校验(并行 k+1 个位置,带宽受限下≈1 次权重读取);正确率 p 时加速比 ≈ p(k+1)(如 p=0.7、k=4 → ≈3.5×);需保证输出分布一致(拒绝采样修正)。
  7. 吞吐 vs 延迟指标? TTFT(首 token 延迟,受 prefill 影响)、TPOT/ITL(每 token 间隔)、TTLT(端到端)、吞吐 tokens/s;优化目标通常"延迟达标下的最大吞吐"。

八、量化与压缩

  1. PTQ vs QAT? PTQ 训练后直接量化(校准集找 scale/zero-point,快但有损);QAT 训练中模拟量化误差(fake quant),精度更高但要重训。
  2. INT8 量化公式? q = round(x / s) + z,反量化 x ≈ s(q−z);s 由 absmax(对称)或 min/max(非对称)得到;per-tensor vs per-channel(per-channel 误差小,硬件支持有限)。
  3. GPTQ 核心思想? 逐列最小化 Hessian 加权重建误差(近似求解 min ‖W·X − Ŵ·X‖²F,用 Hessian H = X·Xᵀ),列重排 + 误差补偿;精度优于 naive round。
  4. AWQ 核心思想? 按激活幅度保护重要权重通道(不量化重要列 + 缩放因子),无需重训练;激活离群点(outlier)集中在少数通道是 LLM 量化的关键难点。
  5. SmoothQuant? 激活离群点会导致 INT8 量化误差大;把激活的波动"平移"到权重(W' = W·diag(s),X' = diag(s)⁻¹·X)实现数学等价迁移,全程 INT8。代表性:LLM.int8() 混合精度分解、SmoothQuant。
  6. 量化后为什么掉点? 权重离群通道累计误差、激活范围大、attention 对精度敏感;排查顺序:per-channel → 校准集大小 → 保留敏感层 → GPTQ/AWQ/SmoothQuant。

九、工程与排查(OOM/瓶颈/成本)

  1. 显存 OOM 怎么排查? 看是权重/梯度/优化器/激活/KV 哪块占大头(torch.cuda.memory_summary / profiler memory 视图);对策:batch 减半 → activation checkpointing → 混合精度 → ZeRO/FSDP → 换更大卡。
  2. 推理慢怎么定位? 分 prefill/decode 两段剖析:prefill 慢看是否…(算子融合/FMHA/GEMM 效率);decode 慢看是否带宽打满(每步读全部权重);大量小请求看调度(连续批处理/投机解码)。
  3. QPS 怎么算? 吞吐(TPS) / 并发请求平均长度;或 1/(平均服务时间)。要报"延迟分位数 + 吞吐"两个指标才不误导。
  4. 成本估算? 训练 GPU-hours ≈ 6ND/(π·MFU),再 × 小时单价(A100 $2/h);例:7B×1T、A100 FP16 312TFLOPS、MFU 0.4 → 6×7e9×1e12/(312e12×3600×0.4) ≈ 9.35 万 A100-hours ≈ $18.7 万。推理成本关注每 token 的算力与带宽成本。
  5. 什么是桶化/梯度累积的意义? 梯度累积 = 多 batch 的梯度求和再更新(等效大 batch,省显存,注意 loss scaling 与 BN 统计);桶化 = 把连续层的梯度打包成一次 allreduce,减少同步次数。

手撕清单(面试必备)

  • [ ] autograd 反向传播(Value 类:(a*b).backward() 手写拓扑序)
  • [ ] 分块矩阵乘法(tiled GEMM:外层行块×内层列块)
  • [ ] Ring AllReduce 两阶段(scatter-reduce → all-gather)
  • [ ] softmax 数值稳定(减去 max)与 online softmax(FlashAttention 前置)
  • [ ] FP16 loss scaling 的上溢/下溢处理
  • [ ] 手算:7B 训练显存、Ring AllReduce 通信量、GEMM FLOPs、KV 内存

各题对应教学 notebook

题型 对应章节
autograd / 计算图 00-深度学习推理引擎
GEMM / roofline 01-矩阵乘法与算子级优化GEMM
混合精度 / 显存 04-LLM 14/22 量化;08-优化 07 FP16·ZeRO;本模块 02(规划)
并行 / 通信 本模块 03/04(规划)
KV Cache / 推理 04-LLM 19-KV缓存;本模块 05/06(规划)
量化 04-LLM 14/22;本模块 07(规划)

教程来源:Akun-python/autumn-recruitment。 MIT 许可证全文。