Transformer 从零手推教学系列(0-23 讲,共 24 个 notebook)已全部迁移完成 ✅
迁移自 minllm/transformer_from_scratch/,落在 04-LLM大模型/教学/ 目录下,原文件保留在原位置(复制而非移动),
面试复习直接在 教学/ 目录用 Jupyter 打开即可。
已迁移内容(24 讲全量)
📁 架构基础(0-6 讲)
| 文件 |
内容 |
对应面试考点 |
00-神经网络基础.ipynb |
神经网络基础:前向/反向/梯度 |
反向传播手推 |
01-自注意力.ipynb |
自注意力完整实现 |
注意力计算流程、√d_k 缩放 |
02-多头注意力.ipynb |
多头注意力 |
多头动机、head 维度、参数量 |
03-位置编码与RoPE.ipynb |
位置编码(含 RoPE) |
绝对/相对位置编码、RoPE 公式 |
04-前馈网络与激活函数.ipynb |
FFN / 激活函数 |
GELU / SwiGLU |
05-层归一化LayerNorm.ipynb |
LayerNorm / RMSNorm |
LN vs RMSNorm |
06-编码器与解码器.ipynb |
Encoder-Decoder 组装 |
完整 Transformer 结构、因果掩码 |
📁 输出与训练(7-13 讲)
| 文件 |
内容 |
对应面试考点 |
07-输出层与损失函数.ipynb |
输出层 + 损失函数(权重共享/CE/标签平滑) |
tied embedding、CE、采样 |
08-注意力变种MQA与GQA.ipynb |
注意力变种(MHA/MQA/GQA) |
MQA/GQA 参数量、推理收益 |
09-MiniMind整体架构.ipynb |
MiniMind 整体架构 |
Decoder-only 结构、模块设计 |
10-BPE分词器.ipynb |
BPE 分词器 |
BPE/词表设计/OOV |
11-预训练循环.ipynb |
预训练循环 |
next-token 预测、损失曲线 |
12-LoRA与SFT.ipynb |
LoRA + SFT |
LoRA 低秩适配、指令微调 |
13-DPO与RLHF.ipynb |
DPO / RLHF |
DPO 损失推导、PPO 对比 |
📁 推理与效率(14-20 讲)
| 文件 |
内容 |
对应面试考点 |
14-量化入门PTQ与QAT.ipynb |
量化入门 |
PTQ/QAT、INT8/INT4 |
15-RAG与Agent.ipynb |
RAG + Agent |
RAG 全流程、ReAct、工具调用 |
16-MoE混合专家.ipynb |
MoE 混合专家 |
专家路由、load balancing |
17-长上下文扩展.ipynb |
长上下文扩展 |
NTK、外推、窗口滑动 |
18-解码采样.ipynb |
解码采样 |
temperature/top-k/top-p |
19-KV缓存.ipynb |
KV Cache |
KV Cache 显存公式、推理加速 |
20-PEFT变种.ipynb |
PEFT 变种 |
LoRA/QLoRA/Adapter/Prefix |
📁 前沿与强化(21-24 讲)
| 文件 |
内容 |
对应面试考点 |
21-PPO与GRPO手推.ipynb |
PPO / GRPO 手推 |
PPO clip、GAE、GRPO 无 critic |
22-深度量化GPTQ与AWQ.ipynb |
深度量化 |
GPTQ/AWQ/GGUF |
23-知识蒸馏.ipynb |
蒸馏 |
为什么 LLM 需要蒸馏 |
24-前沿模型与推理时扩展.ipynb |
前沿模型与推理时扩展 |
LLaMA/Qwen/DeepSeek 结构·亮点·局限、思维链与测试时计算、DeepSeek-R1 / o1、蒸馏 vs 推理时扩展 |
24-前沿模型与推理时扩展.ipynb |
前沿模型与推理时扩展 |
LLaMA/Qwen/DeepSeek 结构·亮点·局限、思维链与测试时计算、rStar/DeepSeek-R1 推理时扩展、o1 范式、蒸馏 vs 推理时扩展对比 |
使用建议
- 架构主线:先看 0-6 讲(基础 → 注意力 → 位置编码 → LN → 组装)
- 训练主线:7 → 11 → 12 → 13(损失 → 预训练 → SFT → RLHF)
- 推理主线:18 → 19 → 14(采样 → KV Cache → 量化)
- 面试前冲刺:挑对应考点直接看对应讲,代码可运行可复现
迁移状态
- [x] 25 个 notebook 全部复制到
教学/
- [x] 原文件保留(复制而非移动)
- [ ] 后续可把每个 notebook 转成 Markdown 精读版(可选)
- [ ] 高优先考点(RoPE/GQA/CE)可再抽成面试速查卡(可选)
文件位置:autumn-recruit-algo/04-LLM大模型/教学/
教程来源:Akun-python/autumn-recruitment。
MIT 许可证全文。