⚙️ 15-AI-Infra · 高频面试题¶
AI Infra 岗位面试 = 手算题(FLOPs/显存/带宽)+ 选型对比(并行策略/量化/批处理)+ 手撕(autograd/GEMM/集合通信)+ 案例排查(OOM/慢推理)。 以下按九大块整理,每题给"30 秒标准答案";公式为面试必背。
一、系统基础(CPU/GPU/内存/roofline)¶
- GPU 为什么比 CPU 快那么多? CPU 几个大核 + 大 cache 擅长串行复杂逻辑;GPU 几千个小核(SM/Warp)+ 高带宽擅长大量并行简单运算;差异在"吞吐优先 vs 延迟优先"。
- roofline 模型是什么? 以"算术强度 I = FLOPs / Bytes"为横轴,可达性能为 min(峰值算力, 带宽×I);低于拐点=带宽受限,高于=算力受限。调优方向相反。
- 算力与带宽怎么手算? 例:A100 80GB,FP16 算力 312 TFLOPS、带宽 2039 GB/s → 拐点算术强度 ≈ 312e12/2039e9 ≈ 153 FLOP/Byte。
- 为什么矩阵乘法是"最优算子"? 算术强度高(2mnk/(mn+nk+mk) 随维度线性增长),容易打满算力;elementwise 算子则严重带宽受限。
- CPU cache 层次为什么影响性能? L1/L2/L3/DRAM 延迟递增、容量递增;循环要"时间局部性 + 空间局部性"(分块 GEMM 的核心动机)。
二、算子层(GEMM/CUDA/融合)¶
- GEMM 优化三板斧? 分块(tiling,把数据块放入 cache/共享内存)、向量化(SIMD/float4)、寄存器级复用(register blocking,每个加载值用多次);再加汇编级 instrinsics。
- 共享内存 vs 全局内存 vs 寄存器? 寄存器最快最小;共享内存(SM 内 48-96KB)比全局内存快一个量级,可编程 cache;全局内存容量最大最慢。
- 算子融合为什么省时间? 多个 elementwise 算子各自读写一遍全局内存 = 2N 次访问;融合后一次读写。带宽受限场景收益接近线性。例子:QKV 融合、GELU+Add+LayerNorm 融合。
- CUDA 线程层次? 线程 thread → 块 block → 网格 grid;一个 warp = 32 线程同步执行(SIMT);warp divergence 会串行化。
- 为什么说"reshape/transpose 免费"? 只是元数据修改不搬数据;但 transpose 后的连续访问模式变差(跨步访问浪费带宽,需要布局优化如 NCHW→NHWC)。
三、训练框架(计算图/autograd/torch.compile)¶
- 动态图 vs 静态图? 动态图(PyTorch 默认)逐行执行、易调试、灵活;静态图(编译期建图)可全局优化(算子融合/内存规划/并行调度)。torch.compile 用 TorchDynamo 捕获 Python 字节码 + Inductor 生成优化代码。
- 反向传播为什么要"逆拓扑序"? 依赖方向:只有被当前节点需要且尚未计算的梯度先算完才能算当前;逆拓扑序保证每次只依赖已算结果。从零 autograd 的核心就是拓扑排序。
- 训练时为什么必须保存中间激活? 反向需要 dA·W 和 dW=Aᵀ·dout,A 是前向激活;不存则要重算(gradient checkpointing 用算力换显存,每块激活可省 ~O(√) 量级显存但多 ~30% 计算)。
- checkpoint 重计算原理? 只存每 N 层的激活,反向时从最近 checkpoint 重算中间层 → 显存 O(√N) 变 O(√N×块),计算 +30%~50%。
四、混合精度与显存¶
- FP16 的问题? 尾数 10 位,范围 ±65504;梯度/更新值太小会下溢、loss 太大会上溢。解决:loss scaling(反向前把 loss 乘大数,梯度更新前除掉)。
- BF16 vs FP16? BF16 同指数位(8 位)范围大、尾数 7 位精度低但训练稳(LLM 首选);FP16 精度高但需 scaling。
- 7B 模型训练显存账本? 参数 14GB(BF16)+ 梯度 14GB + Adam 状态 84GB(m、v 全 FP32 各 4B + master 权重 FP32 4B → 12B/参数)≈ 112GB 不含激活;思路:ZeRO/FSDP 分片(P=8 时 ZeRO-3 每卡 ≈14GB)、activation checkpointing。
- TF32 是什么? 截断 FP32 尾数到 10 位 ≈ 19 位有效,算力翻倍,A100 上常用于 matmul 加速(牺牲精度换 8 倍速)。
五、分布式训练(DP/TP/PP/FSDP/ZeRO)¶
- 数据并行(DP/FSDP)怎么做? 每卡一份完整模型,喂不同 batch,梯度 allreduce 后同时更新;FSDP 把参数/梯度/优化器状态分片(ZeRO-3)+ 用时不 gather。
- 张量并行(TP)怎么切? 把单个算子的矩阵按行/列切到多卡(Megatron 的 column/row parallel),需要通信(allreduce)但每步都有;序列并行是其变体。通信量随模型维度,适合机内 NVLink。
- 流水线并行(PP)怎么切? 按层切,卡间传激活(点对点通信);缺点是 bubble(空闲时间)≈(P-1)/(P-1+m),micro-batch 越多 bubble 越小。
- ZeRO 三个阶段? ZeRO-1 分片优化器状态、ZeRO-2 分片梯度、ZeRO-3 连参数也分片(即 FSDP);通信逐级增加、显存逐级降低。
- 怎么选并行策略? 单卡放不下→先 PP/TP(显存),再考虑 DP 扩展吞吐;NVLink 域内用 TP,跨机用 DP;超大规模(>100B)用 3D 并行(PP×TP×DP)组合。
六、集合通信与 NCCL¶
- Ring AllReduce 通信量? 假设 P 卡、数据 S:两阶段各传 (P-1)/P·S,总 (2(P-1)/P)S ≈ 2S(与卡数无关!);对比 tree allreduce 是 2S·logP 但延迟低。
- 广播/聚集/allgather/allreduce 的区别? broadcast 1→N;gather N→1;allgather N→N(每卡收到全部);allreduce = reduce + broadcast(sum/min/max)。
- NCCL 是什么? NVIDIA 集合通信库,团队通信优化 + 拓扑感知(NVLink/RDMA/PCIe 分层),支持 ring/tree/rail 拓扑。
- 梯度同步为什么要等? 每条梯度 allreduce 要等所有 rank 算完该层 → 桶化(bucket)把相邻层梯度打包一次同步,减少同步次数与等待。
七、推理优化(KV Cache/批处理/解码)¶
- 为什么需要 KV Cache? 自回归解码每步只算新 token 的注意力,但需要与历史 K/V 做点积;把历史 K/V 存下来避免每步重算全部前缀,省 ~O(T²) 计算换 O(T·d) 显存。
- 预填充 vs 解码阶段? 预填充(prefill)并行度高、算力受限、耗时与输入长度线性;解码(decode)每步一个 token、串行、带宽受限(读全部权重+KV)。两个阶段最优批处理策略不同。
- vLLM 连续批处理(continuous batching)? 静态批处理必须等整批解码完才换新请求;连续批处理按 step 粒度调度,一个请求完成立刻腾出 slot 给新请求,吞吐大幅提升。
- PagedAttention 解决什么? 传统 KV 缓存要预分配连续大块(碎片+浪费);像操作系统的分页一样按固定块管理 KV,几乎零碎片,并支持前缀共享(parallel sampling/beam)。
- 为什么会"显存翻倍"? 解码时 KV 随 T 线性增长:KV 内存 = 2·L·B·T·h_kv·d_h·bytes(K、V 各一份;h_kv·d_h 为单头 KV 维度,MHA 时 = 隐藏维);LLaMA-7B(L=32、h=32、d_h=128)、T=2048、batch 32、FP16 ≈ 2×32×32×128×32×2048×2 ≈ 34GB(远大于权重 14GB)。
- 投机解码(speculative decoding)? 小模型先草稿 k 个 token,大模型一次校验(并行 k+1 个位置,带宽受限下≈1 次权重读取);正确率 p 时加速比 ≈ p(k+1)(如 p=0.7、k=4 → ≈3.5×);需保证输出分布一致(拒绝采样修正)。
- 吞吐 vs 延迟指标? TTFT(首 token 延迟,受 prefill 影响)、TPOT/ITL(每 token 间隔)、TTLT(端到端)、吞吐 tokens/s;优化目标通常"延迟达标下的最大吞吐"。
八、量化与压缩¶
- PTQ vs QAT? PTQ 训练后直接量化(校准集找 scale/zero-point,快但有损);QAT 训练中模拟量化误差(fake quant),精度更高但要重训。
- INT8 量化公式? q = round(x / s) + z,反量化 x ≈ s(q−z);s 由 absmax(对称)或 min/max(非对称)得到;per-tensor vs per-channel(per-channel 误差小,硬件支持有限)。
- GPTQ 核心思想? 逐列最小化 Hessian 加权重建误差(近似求解 min ‖W·X − Ŵ·X‖²F,用 Hessian H = X·Xᵀ),列重排 + 误差补偿;精度优于 naive round。
- AWQ 核心思想? 按激活幅度保护重要权重通道(不量化重要列 + 缩放因子),无需重训练;激活离群点(outlier)集中在少数通道是 LLM 量化的关键难点。
- SmoothQuant? 激活离群点会导致 INT8 量化误差大;把激活的波动"平移"到权重(W' = W·diag(s),X' = diag(s)⁻¹·X)实现数学等价迁移,全程 INT8。代表性:LLM.int8() 混合精度分解、SmoothQuant。
- 量化后为什么掉点? 权重离群通道累计误差、激活范围大、attention 对精度敏感;排查顺序:per-channel → 校准集大小 → 保留敏感层 → GPTQ/AWQ/SmoothQuant。
九、工程与排查(OOM/瓶颈/成本)¶
- 显存 OOM 怎么排查? 看是权重/梯度/优化器/激活/KV 哪块占大头(torch.cuda.memory_summary / profiler memory 视图);对策:batch 减半 → activation checkpointing → 混合精度 → ZeRO/FSDP → 换更大卡。
- 推理慢怎么定位? 分 prefill/decode 两段剖析:prefill 慢看是否…(算子融合/FMHA/GEMM 效率);decode 慢看是否带宽打满(每步读全部权重);大量小请求看调度(连续批处理/投机解码)。
- QPS 怎么算? 吞吐(TPS) / 并发请求平均长度;或 1/(平均服务时间)。要报"延迟分位数 + 吞吐"两个指标才不误导。
- 成本估算? 训练 GPU-hours ≈ 6ND/(π·MFU),再 × 小时单价(A100 $2/h);例:7B×1T、A100 FP16 312TFLOPS、MFU 0.4 → 6×7e9×1e12/(312e12×3600×0.4) ≈ 9.35 万 A100-hours ≈ $18.7 万。推理成本关注每 token 的算力与带宽成本。
- 什么是桶化/梯度累积的意义? 梯度累积 = 多 batch 的梯度求和再更新(等效大 batch,省显存,注意 loss scaling 与 BN 统计);桶化 = 把连续层的梯度打包成一次 allreduce,减少同步次数。
手撕清单(面试必备)¶
- [ ] autograd 反向传播(Value 类:
(a*b).backward()手写拓扑序) - [ ] 分块矩阵乘法(tiled GEMM:外层行块×内层列块)
- [ ] Ring AllReduce 两阶段(scatter-reduce → all-gather)
- [ ] softmax 数值稳定(减去 max)与 online softmax(FlashAttention 前置)
- [ ] FP16 loss scaling 的上溢/下溢处理
- [ ] 手算:7B 训练显存、Ring AllReduce 通信量、GEMM FLOPs、KV 内存
各题对应教学 notebook¶
| 题型 | 对应章节 |
|---|---|
| autograd / 计算图 | 00-深度学习推理引擎 |
| GEMM / roofline | 01-矩阵乘法与算子级优化GEMM |
| 混合精度 / 显存 | 04-LLM 14/22 量化;08-优化 07 FP16·ZeRO;本模块 02(规划) |
| 并行 / 通信 | 本模块 03/04(规划) |
| KV Cache / 推理 | 04-LLM 19-KV缓存;本模块 05/06(规划) |
| 量化 | 04-LLM 14/22;本模块 07(规划) |