跳转至

🤖 07-强化学习

目的:算法 / 大模型(LLM)岗面试的 强化学习 主线,从 MDP 到 DQN、PPO、GRPO(DeepSeek-R1), 再到连续动作(DDPG/TD3/SAC)、多智能体(MARL)、基于模型(MCTS/AlphaGo)、离线 RL、模仿学习 的前沿全谱系; 全部为手写 numpy 教学 notebook(不调 gym / torch 封装,环境自写,纯标准库可运行)。 每本均已按书籍章节级扩写:每个核心知识点一节完整讲解(本节导读 → 直觉引入 → 形式定义 → 逐步推导 → 数字例子 → 易错点 → 面试问法),共 80+ 节"讲透"内容; 并嵌入网络配图 13 张 + 自绘过程图 15 张(见 📊 推导过程与配图)。 与 04-LLM大模型/教学/21-PPO与GRPO手推.ipynb 前后衔接(本篇给 RL 底座,那篇给 LLM 推导细节)。

📓 教学 Notebook 索引(按序学习,逐 cell 运行)

每篇均为 10–46 cells,包含:变种模型谱系表格、逐步推导(面试手推模板)、 可运行 numpy 实验、matplotlib 过程图(见 📊 推导过程与配图)。 08–12 为"故事版"新五篇:每个算法开头都有完整介绍 + 0 基础通俗例子 + 公式推导 + 手写实现。

# Notebook 核心内容 手写/实验 优先级
00 00-MDP与贝尔曼方程.ipynb MDP/MRP/POMDP 谱系 / 回报与折扣 γ / V·Q / 贝尔曼方程逐步推导 / 收缩性 4×4 网格世界 + 值迭代 + 收缩收敛图 🔴 必背
01 01-动态规划与表格方法.ipynb DP 变种谱系(同步/异步/就地) / 策略评估 / 策略迭代 / 值迭代 / 改进定理推导 策略迭代收敛 + 两种 DP 成本结构图 🔴 必背
02 02-蒙特卡洛与时序差分.ipynb MC/TD 变种谱系 / TD(0) / n步 / TD(λ) 前后向等价推导 / 资格迹 随机游走 TD vs MC + λ 扫描图 🔴 必背
03 03-Q学习与SARSA.ipynb 控制变种谱系 / Q(off) / SARSA(on) / 期望 SARSA / Double Q(E[max]≥maxE 推导) / Dyna-Q 悬崖漫步学习曲线 + 最大化偏差直方图 🔴 必背
04 04-深度Q网络DQN.ipynb DQN 家族变种目标推导 / 回放 / 目标网络 / DDQN / Dueling 可辨识性 / PER / Rainbow numpy 迷你 DQN + 目标同步/降高估图 🔴 必背
05 05-策略梯度与Actor-Critic.ipynb 策略方法变种谱系 / 策略梯度定理四步推导 / REINFORCE+基线 / AC / GAE / A2C 基线方差消融 + 推导流程图 🔴 必背
06 06-PPO与GRPO.ipynb 对齐变种谱系 / TRPO→PPO 代理目标推导 / clip / RLHF 三阶段 / GRPO(R1) / DPO clip 曲面图 + β-KL 权衡图 🔴 必背
07 07-强化学习面试八股与高频题.ipynb 90 连问速答 / 变种谱系总表 / 手推三件套 / 开放题框架 / 易错点 老虎机 UCB 等实验 + 算法家族谱系树 🔴 必背
08 08-连续动作控制DDPG-TD3-SAC详解.ipynb(故事版) 连续动作为什么难 / DPG 定理四步推导+梯度检查 / DDPG 四网络+软更新 / OU 探索 / TD3 三改进 / SAC 熵正则+温度自适应 DPG 解析 vs 数值梯度、软更新跟随、双 Q min 偏差、α 单调性 🔴 必背
09 09-多智能体强化学习MARL详解.ipynb(故事版) 多智能体是什么 / 随机博弈建模 / 三大挑战(非平稳/信用分配/扩展性) / IQL / CTDE / VDN→QMIX 单调性推导 / MADDPG / COMA 反事实基线 囚徒困境 NE 枚举、独立学习震荡演示、QMIX 单调验证、COMA 归因 🔴 必背
10 10-基于模型强化学习与规划详解.ipynb(故事版) model-free vs model-based / 动力学模型拟合 / Dyna-Q / MCTS 四阶段+UCT 公式推导 / AlphaGo 三件套 / MuZero / 模型误差累积 最小二乘学模型、Dyna 样本效率对比、手写 UCB 选择、误差爆炸演示 🔴 必背
11 11-离线强化学习详解.ipynb(故事版) 离线 RL 是什么(看录像学开车) / 分布偏移+外推误差 / BCQ ε-球约束 / CQL 保守目标推导 / IQL expectile 回归 外推误差拟合演示、BCQ 候选过滤、CQL 压 OOD、expectile 分位数 🟡 掌握
12 12-模仿学习与逆强化学习详解.ipynb(故事版) 模仿学习是什么(教练示范) / BC 行为克隆+复合误差推导 / DAgger 数据集聚合 / IRL 逆强化学习(特征匹配/MaxEnt 梯度) / GAIL 对抗模仿(min-max) / 与 RLHF 衔接 复合误差放大演示、DAgger 覆盖对比、IRL 特征匹配收敛、GAIL 1D 对抗(判别器≈0.5) 🔴 必背

📊 推导过程与配图(教学/images/,共 28 张 = 15 张自绘过程图 + 13 张网络配图)

图 所在篇 讲什么
bellman_discount.png 00 折扣 γ 对远期奖励权重的衰减
bellman_contraction.png 00 贝尔曼算子收缩,不同初值收敛同一 V*
dp_convergence.png 01 值迭代误差按 γ^k 收缩(log 斜率)
dp_iters_compare.png 01 策略迭代 vs 值迭代的成本结构
mc_td_curves.png 02 随机游走 TD vs MC 学习曲线
td_lambda_scan.png 02 TD(λ) λ 扫描的偏差-方差鞍底
q_vs_sarsa_curves.png 03 悬崖漫步 on/off-policy 行为差异
double_q_bias.png 03 最大化偏差 E[max]≥maxE 直方图
dqn_target_sync.png 04 目标网络"冻结-同步"机制
ddqn_bias.png 04 DDQN 抑制 Q 值虚高
pg_flow.png 05 策略梯度定理 4 步推导流程
pg_baseline_var.png 05 三种基线方差对比(AC 动机)
ppo_clip_curve.png 06 PPO clip 目标曲面与信任区域
rlhf_kl_beta.png 06 KL 系数 β 的奖励-漂移权衡
rl_family_tree.png 07 全模块算法家族谱系树
(新图:软更新跟随 / OU vs iid) 08 目标网络慢跟随、探索噪声平滑性
(新图:非平稳震荡 / QMIX 单调) 09 独立学习不收敛、单调混合曲线
(新图:Dyna 样本效率 / UCB 探索利用) 10 模型复用收益、多臂选择分布
(新图:外推误差 / expectile 分位数) 11 OOD 外推飞走、τ 敏感性
(新图:复合误差 / GAIL 对抗) 12 BC 自回归漂移、判别器逼策略靠近专家

🖼️ 网络配图(按知识点嵌入 notebook,图源已注明出处)

图 所在篇 讲什么 图源
rl_agent_env_loop.png 00 强化学习交互回路(Agent-Environment Loop) Wikimedia(CC BY-SA)
mdp_bellman_diagram.png 00 MDP 状态转移图 → 贝尔曼方程"读图" Wikimedia / Sutton&Barto 图 3.4(CC BY-SA)
mdp_example.png 01 完整 MDP 例子(手算策略评估题源) Wikimedia(CC BY-SA)
02_td_learning.png 02 时序差分在状态链上"只前看一步" Wikimedia(CC BY-SA)
03_qlearning.png 03 Q 表初始化 vs 训练后的矩阵对比 Wikimedia(CC BY-SA)
dqn_target_sync.png 04 目标网络"冻结-同步"机制(自绘) 本章自绘
pg_flow.png 05 策略梯度定理 4 步推导流程(自绘) 本章自绘
ppo_clip_curve.png 06 PPO clip 目标曲面与信任区域(自绘) 本章自绘
07_rl_algorithms.png 07 强化学习算法全景分类树 OpenAI Spinning Up(MIT)
08_robot_standup.png 08 连续控制(机器人起身)真实场景 OpenAI Spinning Up(MIT)
09_prisoner.png 09 囚徒困境矩阵(MARL 出发点) Wikimedia(CC BY-SA)
10_mcts.png 10 MCTS 四阶段"选择-扩展-模拟-回传" Wikimedia(CC BY-SA)
10_alphago.png 10 AlphaGo 三件套架构(策略/价值/MCTS) OpenAI Spinning Up(MIT)
12_imitation.png 12 模仿学习方法训练曲线对比(BC 复合误差) Wikimedia(CC BY-SA)

网络图均按各源许可使用(Wikimedia CC BY-SA / OpenAI Spinning Up MIT), notebook 内图注处已注明出处;剩余 15 张为本章自绘过程图。 复习方式:看到图 → 讲出对应公式 + 推导要点 + 面试问法 三件套。

🗺️ 学习路线(3 轮)

  • 第 1 轮 · 打底(2 天):00 → 01 → 02 → 03,逐 cell 运行,重点看推导过程与谱系表格
  • 第 2 轮 · 进阶(3 天):04 → 05 → 06 → 08 → 09,结合 images/ 过程图复述原理,跑通手写实现
  • 第 3 轮 · 前沿+冲刺(2 天):10 → 11 → 12(前沿补齐)→ 07 全部八股速答 1 分钟 + 手推三件套默写 3 遍 + 看图复述

快速浏览线:08-12 每篇开头都有0 基础通俗例子,30 分钟内能建立全谱系直觉; 面试冲刺优先 08(连续动作)+ 09(多智能体)+ 12(模仿学习),这三篇是近年高频增量考点。

🔗 关联模块

  • LLM 对齐推导:../04-LLM大模型/教学/21-PPO与GRPO手推.ipynb(PPO/GRPO 在语言模型上的完整手推)
  • 多智能体时代:../10-自然语言处理 的 Agent/多 Agent 协作(与 09 篇 MARL 思想互通)
  • 基础概率/优化:../02-机器学习/推导笔记/(梯度下降、正则与 RL 的优化直觉相通)
  • 面试复盘:../06-面试复盘/复盘模板.md

✅ 自测标准

  • [ ] 能默写:贝尔曼期望/最优方程、Q-learning 更新、策略梯度定理、PPO clip 目标、GRPO 优势公式
  • [ ] 能默写(前沿):DPG 定理、QMIX 单调约束、UCT 公式、CQL 保守目标、IQL expectile 损失、GAIL min-max 目标
  • [ ] 能对比:MC vs TD、Q-learning vs SARSA、PPO vs TRPO、PPO vs GRPO、DDPG vs TD3 vs SAC
  • [ ] 能对比(前沿):VDN vs QMIX、MADDPG vs DDPG、BCQ vs CQL vs IQL、model-free vs model-based、BC vs DAgger vs IRL vs GAIL
  • [ ] 能在 30 秒内完成"手推三件套":贝尔曼方程、策略梯度定理、PPO clip 目标
  • [ ] 能手写:4×4 网格值迭代、悬崖漫步 Q-learning、多臂老虎机 UCB(各 15 分钟内)
  • [ ] 能讲清:为什么 DQN 要回放+目标网络;为什么 GRPO 去 Critic;RLHF 的 KL 项防什么
  • [ ] 能讲清(前沿):MARL 三大挑战;外推误差为什么致命;MCTS 四阶段;BC 复合误差;IRL 与 GAIL 对偶
  • [ ] 13 本 notebook 全部可从上到下运行通过(nbclient 已全量验证)

教程来源:Akun-python/autumn-recruitment。 MIT 许可证全文。