📋 深度学习高频面试题清单¶
用法:能独立讲清的题打勾
- [x];讲不清的标⏳。
1. 反向传播与基础组件¶
📍 模型笔记 →
01-多层感知机与反向传播.ipynb(BP 推导/softmax 灵魂公式/torch.autograd 对照/全 0 初始化)
- [ ] 手推 MLP 反向传播(链式法则,权重更新公式)
- [ ] 计算图与自动微分:反向模式求导 vs 前向模式,为什么训练用反向
- [ ] 激活函数对比:sigmoid / tanh / ReLU / LeakyReLU / ELU / GELU / Swish
- [ ] 为什么 ReLU 能缓解梯度消失,它的缺点(神经元死亡)怎么解决
- [ ] 常见损失函数:交叉熵、MSE、Hinge、Focal Loss,各自场景
- [ ] 为什么分类用交叉熵而回归用 MSE
- [ ] 权重初始化:Xavier / He 的原理(方差保持),为什么不能全 0 初始化
2. 归一化与正则化¶
📍 模型笔记 →
05-批量归一化BN.ipynb(白化直觉/训练推理公式/无 BN 发散对照)、07-正则化.ipynb(Dropout 期望一致/L1·L2·早停)
- [ ] BatchNorm:训练/推理时的公式差异,为什么能加速收敛,局限(小 batch)
- [ ] LayerNorm / InstanceNorm / GroupNorm 对比,各自适用场景
- [ ] BN vs LN:为什么 NLP 常用 LN 而 CV 常用 BN
- [ ] Dropout 的原理,训练/推理时的行为(缩放),为什么缓解过拟合
- [ ] 其他正则化:权重衰减(L2)、标签平滑、早停、数据增强
3. 优化器¶
📍 模型笔记 →
03-优化器.ipynb(SGD/Momentum/AdaGrad/RMSProp/Adam 手写 + 偏差校正推导)
- [ ] SGD / SGD+Momentum:动量思想,为什么能加速通过鞍点
- [ ] AdaGrad / RMSProp:自适应学习率的思路与问题
- [ ] Adam 的更新公式与偏差校正(为什么要校正)
- [ ] AdamW vs Adam(解耦权重衰减),为什么大模型常用
- [ ] 学习率策略:warmup、余弦退火、StepDecay,为什么需要 warmup
- [ ] 梯度裁剪(gradient clipping)在什么场景必用
4. 卷积神经网络¶
📍 模型笔记 →
02-卷积神经网络CNN.ipynb(互相关/im2col/感受野/空洞·深度可分离/ResNet/反向传播+训练)、09-CNN经典架构与PyTorch实现.ipynb(架构演进/手写卷积/残差对比/1×1·Depthwise/EfficientNet)
- [ ] 卷积的本质:局部连接 + 权值共享,参数计算
- [ ] 感受野计算(含空洞卷积、池化对感受野的影响)
- [ ] 1×1 卷积的作用(降维/通道交互/瓶颈)
- [ ] 池化:平均/最大/全局平均,作用(平移不变、降维、防过拟合)
- [ ] 空洞卷积、深度可分离卷积(MobileNet 核心)的原理与收益
- [ ] 经典网络演进:LeNet → AlexNet → VGG → GoogLeNet → ResNet → MobileNet → EfficientNet
- [ ] ResNet 为什么有效:残差连接解决退化,梯度回传路径
- [ ] 为什么卷积操作适合图像(归纳偏置:平移等变、局部性)
- [ ] 两层 3×3 卷积为什么等价于一层 5×5(感受野与参数量)
- [ ] EfficientNet 复合缩放(width/depth/resolution 联合)思想
5. 循环神经网络¶
📍 模型笔记 →
04-RNN与LSTM.ipynb(BPTT 推导/LSTM 传播带类比/门控反向/torch 对照)、10-RNN与LSTM深入GRU双向.ipynb(手写 cell 对照/梯度消失实测/双向/GRU)
- [ ] RNN 结构与前向/反向,长期依赖问题(梯度消失)
- [ ] LSTM 三门控公式(遗忘/输入/输出),细胞状态如何解决长依赖
- [ ] GRU vs LSTM 的差异与参数量
- [ ] 为什么 RNN 不适合长序列/并行(串行依赖),业界如何替代
- [ ] nn.LSTM 权重排布(i/f/g/o 各 H 行)与手写对齐
- [ ] 双向 LSTM 输出拼接(2H),为什么生成任务不能用双向
- [ ] 遗忘门偏置为什么初始化为正
6. 注意力与 Transformer(大模型岗重点,深讲内容用自有 LLM 资料)¶
📍 模型笔记 →
11-Attention与Transformer从零实现.ipynb(手写多头/SDPA/位置编码/掩码/倒序任务)、12-Mamba与状态空间模型.ipynb(SSM 离散化/选择性)
- [ ] Attention 的 Q/K/V 计算与 softmax 缩放(为什么除以 √d_k)
- [ ] 自注意力 vs 交叉注意力
- [ ] 多头注意力的作用与参数量
- [ ] Transformer 整体结构(Encoder/Decoder)与位置编码
- [ ] 为什么 Transformer 能并行训练
- [ ] 因果掩码(Decoder 只看左侧)怎么实现,为什么
- [ ] 正弦位置编码公式,为什么能泛化到更长序列
- [ ] Attention 复杂度 O(T²) 的改进路线(稀疏/线性/Mamba)
7. 生成模型与状态空间(架构进阶)¶
📍 模型笔记 →
13-GAN生成对抗网络.ipynb(minimax/最优 D/WGAN-GP/模式坍缩)、14-VAE与扩散模型.ipynb(ELBO/重参数化/DDPM)、12-Mamba与状态空间模型.ipynb
- [ ] GAN 的 minimax 目标,最优判别器推导(D* = p/(p+p_g))
- [ ] 模式坍缩的机制,为什么 GAN 训练不稳定(平衡/饱和)
- [ ] WGAN / WGAN-GP:Wasserstein 距离与梯度惩罚公式
- [ ] VAE:ELBO 两项(重构 + KL)的语义,重参数化技巧
- [ ] DDPM:前向加噪公式、训练目标(预测噪声)、反向采样流程
- [ ] GAN vs VAE vs 扩散的选型(质量/速度/稳定)
- [ ] SSM / Mamba:ZOH 离散化、递推≡卷积、选择性(Δt 依赖输入)
- [ ] Mamba vs Transformer:复杂度 O(T) vs O(T²),什么时候用 Mamba
8. 训练实践与工程¶
- [ ] 数据增强常用方法(CV:翻转/裁剪/颜色抖动;NLP:回译/EDA)
- [ ] 训练不收敛/损失震荡的排查思路
- [ ] 过拟合的检测顺序(训练/验证 loss 走势)
- [ ] 分布式训练基础:数据并行 / 模型并行 / 张量并行 / ZeRO
- [ ] 模型部署基础:量化、剪枝、蒸馏
9. 手推清单(进模型笔记)¶
📍 全部完成:01 MLP-BP · 05 BN · 04 LSTM · 03 优化器(Adam/AdamW 公式) · 02 CNN 反向 · 09 手写卷积/感受野 · 10 LSTM/GRU cell · 11 多头/掩码/PE · 12 ZOH · 13 GAN 损失 · 14 ELBO/DDPM
- [ ] MLP 反向传播(数值验证一遍)
- [ ] BatchNorm 训练/推理公式
- [ ] LSTM 门控公式与前向流程
- [ ] Adam / AdamW 更新公式
- [ ] 多头注意力的张量维度流(B, L, D)
- [ ] 手写 2D 卷积与感受野递推
- [ ] softmax(QK^T/√d)V 与因果掩码
- [ ] ZOH 离散化:Ā=e^{AΔt},B̄=A^{-1}(e^{AΔt}−I)B
- [ ] GAN 非饱和损失与 WGAN-GP 惩罚项
- [ ] ELBO 与 DDPM 目标 ‖ε−ε_θ‖²
延伸方向(按目标岗位可选)¶
- 视觉:目标检测(YOLO/R-CNN 家族)、分割(U-Net/DeepLab)
- 生成:GAN / VAE / Diffusion
- 多模态:CLIP、图文对齐