跳转至

⚙️ 08-优化算法

目标:把「优化」讲全——训练优化器(01-07:从梯度下降到 LLM 训练实践)+ 经典优化算法(08-13:线性规划 / 整数规划 / 遗传算法 / 模拟退火 / 粒子群蚁群 / 拉格朗日对偶)。 面试考察的不是背公式,而是 为什么这个优化器有效、在什么场景选谁、踩过哪些坑。

复习策略

  1. 先建立对照系(训练侧):SGD(无知)→ 动量(记忆)→ 自适应(逐参数步长)→ 二阶(曲率),每条线解决什么问题、付出什么代价
  2. 经典优化分三条线:精确方法(LP 单纯形、IP 分支定界,给最优解)→ 启发式(GA / SA / TS / PSO / ACO,给近似解)→ 理论工具(拉格朗日对偶 / KKT,接轨 SVM·正则化·Lasso)
  3. 每个优化器/算法四件套:直觉(一句话)→ 更新公式/伪代码(能默写)→ 偏差/代价 → 适用场景
  4. 手推优先:Adam 四条公式(含偏差校正)、Momentum EMA、AdamW 解耦、牛顿法、Metropolis 接受准则、PSO 速度更新、KKT 四条件、软阈值
  5. 结合大模型场景:LLM 训练为什么锁死 AdamW + cosine + warmup + 梯度裁剪;FP16/BF16 混合精度、ZeRO 优化器状态分片的内存怎么算

优化笔记索引(教学/,13 篇,全部含推导 + 手写实现 + 对照验证 + 自测清单)

训练优化器(01-07)

篇目 核心内容 对照验证 体量(cells/md/代码)· 配图
01-梯度下降与迭代优化入门 凸函数/步长选择/学习率过大发散/BGD·SGD·MBGD 噪声 最优步长解析解 vs 数值一致 30/27/3 · 梯度下降动画、下降示意、凸性几何 3 图
02-动量族与加速方法 EMA 推导 / 峡谷病态曲率轨迹 / NAG 前瞻梯度 SGD vs Momentum vs NAG 轨迹图 29/27/2 · 自绘轨迹图(含收敛率标注)
03-自适应学习率 AdaGrad 衰减 / RMSProp / Adam 偏差校正 / 稀疏梯度 手写 Adam vs torch.optim.Adam 更新一致 30/26/4 · 自绘公式图解
04-Adam变体与解耦权重衰减 AdamW 解耦推导 / NAdam / AMSGrad / LAMB / Lion 手写 AdamW vs torch.optim.AdamW 一致 27/24/3 · L2 几何图(CC BY-SA)
05-学习率调度与训练策略 warmup/cosine/step/plateau / 梯度裁剪 / 梯度累积 / EMA warmup/cosine 收敛曲线对比 30/25/5 · 学习率曲线图
06-二阶优化方法 牛顿法二次收敛 / Hessian 病态代价 / BFGS / L-BFGS / K-FAC 直觉 牛顿法 vs 梯度下降收敛步数对比 + 条件数扫描 + 非正定 damping 实验 19/16/3 · 牛顿几何图 + Nelder-Mead 动画 2 图
07-大模型训练优化实践 FP16/BF16/FP32 数值域 / 混合精度 / Adam 内存分析 / ZeRO 分片 内存占用曲线 + 精度对照表 19/15/4 · 自绘显存/ZeRO 曲线

经典优化算法(08-13)

篇目 核心内容 对照验证 体量(cells/md/代码)· 配图
08-线性规划与对偶 标准形式 / 顶点性质 / 单纯形 tableau 手写 / 对偶与影子价格 / 内点法 手写单纯形 vs 顶点枚举 vs 图解法一致 + 强对偶验证 18/15/3 · 图解法/单纯形路径/三维多面体 3 图
09-整数规划与分支定界 LP 松弛 / 取整反例 / 手写 B&B / 背包分数上界 / 割平面 / MILP 求解器 手写 B&B vs 穷举 vs scipy.milp 三层一致 18/14/4 · 搜索树 + 多面体格点 2 图
10-遗传算法 编码 / 选择·交叉·变异 / 精英保留 / OX 交叉 / 多峰函数与 TSP 两个实验 GA 找到多峰全局最优 + TSP 优于最近邻基线 13/10/3 · GA 流程图 1 图
11-模拟退火与禁忌搜索 Metropolis 准则 / 温度调度 / 2-opt 邻域 / 禁忌表 / 藐视准则 SA / TS vs 随机重启局部搜索收敛对比 11/9/2 · 爬山 vs SA 动画 + TSP 退火动画 2 图
12-粒子群与蚁群算法 PSO 速度更新三部分 / 惯性递减 / ACO 转移概率·信息素 / 五类算法选型表 PSO 收敛到 Rastrigin 全局最优 + ACO vs 最近邻 12/10/2 · PSO 箭矢动画 + 收敛动画 2 图
13-拉格朗日对偶与KKT 拉格朗日乘子 / KKT 四条件 / 互补松弛 / 对偶动机 / 坐标下降 Lasso 解析解 vs SLSQP + 手写 Lasso vs sklearn 一致 14/11/3 · 相切几何图 1 图

本目录规划

08-优化算法/
├── README.md          # 本文件
├── 高频面试题.md      # 分类面经清单(带 TODO 打勾)
└── 教学/              # ✅ 13 篇 Jupyter notebook(推导 + 代码 + 对照 + 自测)

面试 30 秒速答(背诵骨架)

训练优化器 - Momentum:v ← βv + g,记忆历史方向 → 抑制震荡、加速穿越平坦区 - Adam:一阶矩(方向)+ 二阶矩(逐参数步长)+ 偏差校正 1-β^t;默认 lr=1e-3, β₁=0.9, β₂=0.999 - AdamW:权重衰减从 L2 正则中解耦,直接乘到参数上,避免与自适应步长耦合 → LLM 默认 - warmup:前期梯度方差大,直接大步长会破坏预训练分布 → 线性升到峰值再衰减 - 梯度裁剪:g ← g·clip_norm/max_norm,防梯度爆炸(RNN/LLM 必用) - 为什么不用二阶:Hessian 是参数量平方级,7B 模型存不下 → K-FAC/Shampoo 近似或干脆不用 - 混合精度:BF16 宽指数保范围(LLM 主流)、FP16 需 loss scaling、FP32 master copy 保累加精度

经典优化算法 - LP:可行域是凸多面体,最优解在顶点;单纯形沿边移动、检验数判优;对偶给影子价格 - IP:LP 松弛解是上界、取整不可靠(可能不可行);分支定界靠「上界 ≤ 下界」剪枝 - GA:选择(压力)+ 交叉(重组)+ 变异(多样性)+ 精英(不倒退)→ 黑箱问题的默认启发式 - SA:Metropolis P=exp(-Δ/T),高温探索、低温收敛;不用梯度、只要目标值 - TS:禁忌表防回环,藐视准则破「更好但被禁忌」的移动 - PSO:v ← w·v + c₁r₁(pbest−x) + c₂r₂(gbest−x),惯性 + 认知 + 社会 - ACO:转移概率 ∝ τ^α·η^β,信息素「蒸发防早熟 + 沉积正反馈」,天生适合路径类 - KKT:平稳性 + 原始可行 + 对偶可行(μ≥0)+ 互补松弛(μ·g=0)→ SVM 支持向量/正则化/Lasso 稀疏

验收标准

  • [x] 高频面试题.md 覆盖训练侧(动量 / Adam / AdamW / 调度 / 混合精度 / ZeRO)+ 经典侧(LP / IP / GA / SA / TS / PSO / ACO / KKT / 坐标下降)
  • [x] 优化笔记 13 篇(训练 7 + 经典 6,全部含推导 + 手写实现 + 对照验证 + 自测清单)
  • [x] 能手推:Momentum 两条、Adam 四条(含校正)、牛顿法更新、AdamW 解耦、Metropolis 准则、PSO 两条更新、KKT 四条件、软阈值
  • [x] 能口算:7B 模型 Adam 优化器状态内存、ZeRO-2 分片后峰值
  • [x] 全部 notebook 代码经批量执行验证(numpy/scipy/sklearn/torch 对照断言通过)

💡 手推优先级建议:Momentum EMA → Adam 四条公式(偏差校正)→ AdamW 解耦权重衰减 → 牛顿法更新 → Metropolis 准则 → PSO 更新式 → KKT 四条件 → 软阈值 → 混合精度为什么 BF16 更适合 LLM。

教程来源:Akun-python/autumn-recruitment。 MIT 许可证全文。