跳转至

📋 优化算法高频面试题清单

用法:能独立讲清的题打勾 - [x];讲不清的标 ⏳。

1. 梯度下降与迭代优化基础

📍 教学 → 01-梯度下降与迭代优化入门.ipynb(步长/凸性/BGD·SGD·MBGD)

  • [ ] 梯度下降的直觉与收敛条件:为什么沿负梯度方向下降
  • [ ] 学习率过大/过小分别发生什么(震荡 / 收敛慢),二分步长怎么试
  • [ ] BGD / SGD / Mini-batch GD 的区别、各自噪声来源与 trade-off
  • [ ] 凸函数 vs 非凸:收敛保证、鞍点与局部极小
  • [ ] 迭代停止条件:梯度范数 / 目标函数变化 / 迭代次数

2. 动量与加速方法

📍 教学 → 02-动量族与加速方法.ipynb(EMA 推导/峡谷轨迹/NAG 前瞻)

  • [ ] Momentum 的直觉:为什么"记忆历史梯度"能抑制震荡
  • [ ] Momentum 两条公式(v ← βv + g;w ← w - ηv)与 β 的含义(0.9 默认)
  • [ ] 病态曲率(峡谷地形):为什么 SGD 震荡而 Momentum 平滑
  • [ ] Nesterov (NAG) 与 Momentum 的区别:在哪一点算梯度
  • [ ] 鞍点场景:动量为 0 的 SGD 会卡住,为什么 Momentum 能穿过
  • [ ] 动量在 mini-batch 上的表现:梯度噪声抑制

3. 自适应学习率与 Adam

📍 教学 → 03-自适应学习率与Adam.ipynb(AdaGrad 衰减/RMSProp/偏差校正/稀疏梯度)

  • [ ] AdaGrad:为什么对稀疏特征友好,为什么后期学习率趋零
  • [ ] RMSProp:怎么修 AdaGrad 的单调衰减(EMA 而非累加)
  • [ ] Adam 四条公式(m、v、偏差校正、更新),能默写
  • [ ] 为什么需要偏差校正:前期 1-β^t 接近 t 而非 1,m/v 被低估
  • [ ] Adam 的默认超参(lr=1e-3、β₁=0.9、β₂=0.999、ε=1e-8)
  • [ ] Adam vs SGD:收敛快 vs 泛化好(平坦极小值假说),CV 上 SGD+Momentum 常胜
  • [ ] Adam 的隐患:收敛到尖锐极小、权重衰减与自适应步长耦合

4. Adam 变体与解耦权重衰减

📍 教学 → 04-Adam变体与解耦权重衰减.ipynb(AdamW 推导/LAMB/Lion/NAdam/AMSGrad)

  • [ ] AdamW 与 Adam+L2 的区别:权重衰减到底解耦了什么
  • [ ] 为什么 L2 正则与 Adam 耦合会导致权重大→梯度大→步长被压的问题
  • [ ] LAMB:大 batch(万级)训练为什么需要逐层归一化步长
  • [ ] NAdam(Adam+Nesterov)、AMSGrad(v 单调不减)解决什么问题
  • [ ] Lion:只用符号更新(sign),省显存省算力,代价是什么
  • [ ] 大模型训练为什么锁死 AdamW(LLaMA/GPT 系默认)

5. 学习率调度与训练策略

📍 教学 → 05-学习率调度与训练策略.ipynb(warmup/cosine/step/梯度裁剪/梯度累积/EMA)

  • [ ] warmup 为什么必要:前期梯度方差大 / 预训练分布破坏
  • [ ] 余弦退火 vs StepDecay vs 指数衰减:各自曲线与适用
  • [ ] 学习率调度与优化器的配合(SGD 必须调度、Adam 可省)
  • [ ] 梯度裁剪公式:g ← g·max_norm/||g||,为什么能救梯度爆炸(RNN/LLM)
  • [ ] 梯度累积:等效大 batch 的原理与 BN/LN 统计量的注意点
  • [ ] EMA/SWA:对参数做指数滑动平均为何提升泛化

6. 二阶优化方法

📍 教学 → 06-二阶优化方法.ipynb(牛顿法二次收敛/Hessian 代价/BFGS/K-FAC)

  • [ ] 牛顿法更新公式 w ← w - H⁻¹g 与二次收敛性
  • [ ] 为什么牛顿法步长自适应曲率(病态条件数下优于 GD)
  • [ ] 为什么深度学习不用牛顿法:Hessian O(n²)、求逆 O(n³)
  • [ ] 拟牛顿 BFGS / L-BFGS 的思路:用梯度差近似 Hessian
  • [ ] K-FAC / Shampoo:块对角 / 克罗内克近似,直觉一句话讲清

7. 大模型训练优化实践(LLM 岗重点)

📍 教学 → 07-大模型训练优化实践.ipynb(FP16/BF16/混合精度/Adam 内存/ZeRO 分片)

  • [ ] FP32 / FP16 / BF16 的指数位、尾数位、数值范围与精度
  • [ ] 混合精度训练:FP16 前向/反向 + FP32 master copy + loss scaling
  • [ ] 为什么 LLM 训练主流 BF16 而非 FP16(宽指数、无需 scaling)
  • [ ] Adam 优化器状态内存:2 倍参数(m + v,FP32),ZeRO 如何分片
  • [ ] ZeRO-1/2/3 分别分片什么(优化器状态/梯度/参数),各省多少
  • [ ] 梯度累积 + ZeRO offload + 重计算:显存换时间的组合拳

8. 综合对比与场景题

  • [ ] 给一个任务选优化器:CV-ResNet / NLP-Transformer / RL-PPO / 稀疏特征 CTR
  • [ ] 训练发散排查:先查 lr,再查梯度范数、BN、初始化
  • [ ] 口算:7B 参数、FP32 Adam、每个参数 m+v 各 4B → 优化器状态多少 GB(56GB)

9. 线性规划与对偶(经典优化 · 精确方法)

📍 教学 → 08-线性规划与对偶.ipynb(图解法/单纯形 tableau/对偶理论/影子价格)

  • [ ] LP 标准形式(max/min、≤/≥、自由变量如何标准化)
  • [ ] 为什么最优解一定在顶点(凸多面体 + 线性目标)
  • [ ] 单纯形法:检验数入基、比值检验出基、Bland 规则防循环
  • [ ] 对偶问题构造规则 + 弱对偶/强对偶 + 互补松弛
  • [ ] 影子价格的经济含义(资源边际价值、敏感性分析)
  • [ ] 单纯形 vs 内点法复杂度(最坏指数 vs 多项式;实际差异)

10. 整数规划与分支定界(经典优化 · 精确方法)

📍 教学 → 09-整数规划与分支定界.ipynb(松弛/取整反例/手写 B&B/背包/割平面/milp)

  • [ ] IP/MILP 与 LP 松弛的关系:为什么松弛解不能直接取整
  • [ ] 分支定界:上界(LP 松弛)/ 下界(可行整数解)的方向,剪枝三条件
  • [ ] 背包 B&B 手撕:分数背包上界 + 深度优先 + 剪枝
  • [ ] 分支变量选择 / 节点选择策略(DFS vs 最佳上界)
  • [ ] Gomory 割平面直觉 + 分支切割(branch-and-cut)
  • [ ] 建模:0-1 背包 / 指派 / TSP-MTZ 大 M 约束;什么时候上求解器

11. 遗传算法(经典优化 · 启发式)

📍 教学 → 10-遗传算法.ipynb(四个算子/二进制与排列编码/函数优化+TSP 实验)

  • [ ] GA 主循环:初始化 → 适应度 → 选择 → 交叉 → 变异 → 精英
  • [ ] 选择:轮盘赌 vs 锦标赛(选择压力);交叉:单点/两点/OX/PMX;变异:位翻转/交换/逆序
  • [ ] 为什么 GA 能全局搜索(种群多样性 + 重组,schema 定理一句话)
  • [ ] 早熟收敛的原因与对策(自适应变异/移民/尺度变换)
  • [ ] 二进制编码的 Hamming 悬崖与格雷码
  • [ ] TSP 为什么用 OX 交叉(避免重复城市);GA vs SA vs PSO 适用场景

12. 模拟退火与禁忌搜索(经典优化 · 启发式)

📍 教学 → 11-模拟退火与禁忌搜索.ipynb(Metropolis/温度调度/2-opt/禁忌表/藐视准则)

  • [ ] Metropolis 接受准则 P=exp(-Δ/T),温度高/低分别什么行为
  • [ ] 温度调度:几何降温/初温选择(接受率≈0.8)/终止条件
  • [ ] 2-opt 邻域为什么对 TSP 高效(只重连两条边)
  • [ ] 禁忌表禁忌什么、禁忌长度怎么定、藐视准则的作用
  • [ ] SA/TS 与随机重启局部搜索、GA 的对比

13. 粒子群与蚁群算法(经典优化 · 群智能)

📍 教学 → 12-粒子群与蚁群算法.ipynb(PSO 更新式/惯性权重/ACO 信息素/选型总表)

  • [ ] PSO 速度更新三部分:惯性/认知/社会,惯性权重为什么线性递减
  • [ ] PSO 参数(w/c1/c2)、早熟与变体(lbest 邻域/QPSO)
  • [ ] ACO 转移概率 P ∝ τ^α η^β 与信息素更新(蒸发 ρ + 沉积 q/L)
  • [ ] 蒸发与沉积分别解决什么(防早熟 vs 正反馈强化好边)
  • [ ] 五类元启发式选型总表:GA/SA/TS/PSO/ACO 的场景、参数、精度

14. 拉格朗日对偶与 KKT(理论工具,接轨 ML)

📍 教学 → 13-拉格朗日对偶与KKT.ipynb(乘子法/KKT 四条件/互补松弛/对偶动机/坐标下降 Lasso)

  • [ ] 拉格朗日乘子法:∇f + λ∇h = 0,几何直觉(梯度平行)
  • [ ] KKT 四条件默写 + 互补松弛 μ·g=0 的含义(活跃约束/支持向量)
  • [ ] 弱对偶/强对偶、Slater 条件、对偶间隙
  • [ ] SVM 为什么用对偶(核技巧/α≥0/支持向量)
  • [ ] 软阈值 soft(z,λ)=sign(z)·max(|z|-λ,0) 与坐标下降 Lasso 手撕
  • [ ] Lasso 惩罚形式 vs 约束形式的等价性(拉格朗日视角)

教程来源:Akun-python/autumn-recruitment。 MIT 许可证全文。