跳转至

📋 深度学习高频面试题清单

用法:能独立讲清的题打勾 - [x];讲不清的标 ⏳。

1. 反向传播与基础组件

📍 模型笔记 → 01-多层感知机与反向传播.ipynb(BP 推导/softmax 灵魂公式/torch.autograd 对照/全 0 初始化)

  • [ ] 手推 MLP 反向传播(链式法则,权重更新公式)
  • [ ] 计算图与自动微分:反向模式求导 vs 前向模式,为什么训练用反向
  • [ ] 激活函数对比:sigmoid / tanh / ReLU / LeakyReLU / ELU / GELU / Swish
  • [ ] 为什么 ReLU 能缓解梯度消失,它的缺点(神经元死亡)怎么解决
  • [ ] 常见损失函数:交叉熵、MSE、Hinge、Focal Loss,各自场景
  • [ ] 为什么分类用交叉熵而回归用 MSE
  • [ ] 权重初始化:Xavier / He 的原理(方差保持),为什么不能全 0 初始化

2. 归一化与正则化

📍 模型笔记 → 05-批量归一化BN.ipynb(白化直觉/训练推理公式/无 BN 发散对照)、07-正则化.ipynb(Dropout 期望一致/L1·L2·早停)

  • [ ] BatchNorm:训练/推理时的公式差异,为什么能加速收敛,局限(小 batch)
  • [ ] LayerNorm / InstanceNorm / GroupNorm 对比,各自适用场景
  • [ ] BN vs LN:为什么 NLP 常用 LN 而 CV 常用 BN
  • [ ] Dropout 的原理,训练/推理时的行为(缩放),为什么缓解过拟合
  • [ ] 其他正则化:权重衰减(L2)、标签平滑、早停、数据增强

3. 优化器

📍 模型笔记 → 03-优化器.ipynb(SGD/Momentum/AdaGrad/RMSProp/Adam 手写 + 偏差校正推导)

  • [ ] SGD / SGD+Momentum:动量思想,为什么能加速通过鞍点
  • [ ] AdaGrad / RMSProp:自适应学习率的思路与问题
  • [ ] Adam 的更新公式与偏差校正(为什么要校正)
  • [ ] AdamW vs Adam(解耦权重衰减),为什么大模型常用
  • [ ] 学习率策略:warmup、余弦退火、StepDecay,为什么需要 warmup
  • [ ] 梯度裁剪(gradient clipping)在什么场景必用

4. 卷积神经网络

📍 模型笔记 → 02-卷积神经网络CNN.ipynb(互相关/im2col/感受野/空洞·深度可分离/ResNet/反向传播+训练)、09-CNN经典架构与PyTorch实现.ipynb(架构演进/手写卷积/残差对比/1×1·Depthwise/EfficientNet)

  • [ ] 卷积的本质:局部连接 + 权值共享,参数计算
  • [ ] 感受野计算(含空洞卷积、池化对感受野的影响)
  • [ ] 1×1 卷积的作用(降维/通道交互/瓶颈)
  • [ ] 池化:平均/最大/全局平均,作用(平移不变、降维、防过拟合)
  • [ ] 空洞卷积、深度可分离卷积(MobileNet 核心)的原理与收益
  • [ ] 经典网络演进:LeNet → AlexNet → VGG → GoogLeNet → ResNet → MobileNet → EfficientNet
  • [ ] ResNet 为什么有效:残差连接解决退化,梯度回传路径
  • [ ] 为什么卷积操作适合图像(归纳偏置:平移等变、局部性)
  • [ ] 两层 3×3 卷积为什么等价于一层 5×5(感受野与参数量)
  • [ ] EfficientNet 复合缩放(width/depth/resolution 联合)思想

5. 循环神经网络

📍 模型笔记 → 04-RNN与LSTM.ipynb(BPTT 推导/LSTM 传播带类比/门控反向/torch 对照)、10-RNN与LSTM深入GRU双向.ipynb(手写 cell 对照/梯度消失实测/双向/GRU)

  • [ ] RNN 结构与前向/反向,长期依赖问题(梯度消失)
  • [ ] LSTM 三门控公式(遗忘/输入/输出),细胞状态如何解决长依赖
  • [ ] GRU vs LSTM 的差异与参数量
  • [ ] 为什么 RNN 不适合长序列/并行(串行依赖),业界如何替代
  • [ ] nn.LSTM 权重排布(i/f/g/o 各 H 行)与手写对齐
  • [ ] 双向 LSTM 输出拼接(2H),为什么生成任务不能用双向
  • [ ] 遗忘门偏置为什么初始化为正

6. 注意力与 Transformer(大模型岗重点,深讲内容用自有 LLM 资料)

📍 模型笔记 → 11-Attention与Transformer从零实现.ipynb(手写多头/SDPA/位置编码/掩码/倒序任务)、12-Mamba与状态空间模型.ipynb(SSM 离散化/选择性)

  • [ ] Attention 的 Q/K/V 计算与 softmax 缩放(为什么除以 √d_k)
  • [ ] 自注意力 vs 交叉注意力
  • [ ] 多头注意力的作用与参数量
  • [ ] Transformer 整体结构(Encoder/Decoder)与位置编码
  • [ ] 为什么 Transformer 能并行训练
  • [ ] 因果掩码(Decoder 只看左侧)怎么实现,为什么
  • [ ] 正弦位置编码公式,为什么能泛化到更长序列
  • [ ] Attention 复杂度 O(T²) 的改进路线(稀疏/线性/Mamba)

7. 生成模型与状态空间(架构进阶)

📍 模型笔记 → 13-GAN生成对抗网络.ipynb(minimax/最优 D/WGAN-GP/模式坍缩)、14-VAE与扩散模型.ipynb(ELBO/重参数化/DDPM)、12-Mamba与状态空间模型.ipynb

  • [ ] GAN 的 minimax 目标,最优判别器推导(D* = p/(p+p_g))
  • [ ] 模式坍缩的机制,为什么 GAN 训练不稳定(平衡/饱和)
  • [ ] WGAN / WGAN-GP:Wasserstein 距离与梯度惩罚公式
  • [ ] VAE:ELBO 两项(重构 + KL)的语义,重参数化技巧
  • [ ] DDPM:前向加噪公式、训练目标(预测噪声)、反向采样流程
  • [ ] GAN vs VAE vs 扩散的选型(质量/速度/稳定)
  • [ ] SSM / Mamba:ZOH 离散化、递推≡卷积、选择性(Δt 依赖输入)
  • [ ] Mamba vs Transformer:复杂度 O(T) vs O(T²),什么时候用 Mamba

8. 训练实践与工程

  • [ ] 数据增强常用方法(CV:翻转/裁剪/颜色抖动;NLP:回译/EDA)
  • [ ] 训练不收敛/损失震荡的排查思路
  • [ ] 过拟合的检测顺序(训练/验证 loss 走势)
  • [ ] 分布式训练基础:数据并行 / 模型并行 / 张量并行 / ZeRO
  • [ ] 模型部署基础:量化、剪枝、蒸馏

9. 手推清单(进模型笔记)

📍 全部完成:01 MLP-BP · 05 BN · 04 LSTM · 03 优化器(Adam/AdamW 公式) · 02 CNN 反向 · 09 手写卷积/感受野 · 10 LSTM/GRU cell · 11 多头/掩码/PE · 12 ZOH · 13 GAN 损失 · 14 ELBO/DDPM

  • [ ] MLP 反向传播(数值验证一遍)
  • [ ] BatchNorm 训练/推理公式
  • [ ] LSTM 门控公式与前向流程
  • [ ] Adam / AdamW 更新公式
  • [ ] 多头注意力的张量维度流(B, L, D)
  • [ ] 手写 2D 卷积与感受野递推
  • [ ] softmax(QK^T/√d)V 与因果掩码
  • [ ] ZOH 离散化:Ā=e^{AΔt},B̄=A^{-1}(e^{AΔt}−I)B
  • [ ] GAN 非饱和损失与 WGAN-GP 惩罚项
  • [ ] ELBO 与 DDPM 目标 ‖ε−ε_θ‖²

延伸方向(按目标岗位可选)

  • 视觉:目标检测(YOLO/R-CNN 家族)、分割(U-Net/DeepLab)
  • 生成:GAN / VAE / Diffusion
  • 多模态:CLIP、图文对齐

教程来源:Akun-python/autumn-recruitment。 MIT 许可证全文。