跳转至

📚 04-LLM大模型 · 专题笔记(Transformer 从零手推教程迁移清单)

Transformer 从零手推教学系列(0-23 讲,共 24 个 notebook)已全部迁移完成 ✅

迁移自 minllm/transformer_from_scratch/,落在 04-LLM大模型/教学/ 目录下,原文件保留在原位置(复制而非移动), 面试复习直接在 教学/ 目录用 Jupyter 打开即可。

已迁移内容(24 讲全量)

📁 架构基础(0-6 讲)

文件 内容 对应面试考点
00-神经网络基础.ipynb 神经网络基础:前向/反向/梯度 反向传播手推
01-自注意力.ipynb 自注意力完整实现 注意力计算流程、√d_k 缩放
02-多头注意力.ipynb 多头注意力 多头动机、head 维度、参数量
03-位置编码与RoPE.ipynb 位置编码(含 RoPE) 绝对/相对位置编码、RoPE 公式
04-前馈网络与激活函数.ipynb FFN / 激活函数 GELU / SwiGLU
05-层归一化LayerNorm.ipynb LayerNorm / RMSNorm LN vs RMSNorm
06-编码器与解码器.ipynb Encoder-Decoder 组装 完整 Transformer 结构、因果掩码

📁 输出与训练(7-13 讲)

文件 内容 对应面试考点
07-输出层与损失函数.ipynb 输出层 + 损失函数(权重共享/CE/标签平滑) tied embedding、CE、采样
08-注意力变种MQA与GQA.ipynb 注意力变种(MHA/MQA/GQA) MQA/GQA 参数量、推理收益
09-MiniMind整体架构.ipynb MiniMind 整体架构 Decoder-only 结构、模块设计
10-BPE分词器.ipynb BPE 分词器 BPE/词表设计/OOV
11-预训练循环.ipynb 预训练循环 next-token 预测、损失曲线
12-LoRA与SFT.ipynb LoRA + SFT LoRA 低秩适配、指令微调
13-DPO与RLHF.ipynb DPO / RLHF DPO 损失推导、PPO 对比

📁 推理与效率(14-20 讲)

文件 内容 对应面试考点
14-量化入门PTQ与QAT.ipynb 量化入门 PTQ/QAT、INT8/INT4
15-RAG与Agent.ipynb RAG + Agent RAG 全流程、ReAct、工具调用
16-MoE混合专家.ipynb MoE 混合专家 专家路由、load balancing
17-长上下文扩展.ipynb 长上下文扩展 NTK、外推、窗口滑动
18-解码采样.ipynb 解码采样 temperature/top-k/top-p
19-KV缓存.ipynb KV Cache KV Cache 显存公式、推理加速
20-PEFT变种.ipynb PEFT 变种 LoRA/QLoRA/Adapter/Prefix

📁 前沿与强化(21-24 讲)

文件 内容 对应面试考点
21-PPO与GRPO手推.ipynb PPO / GRPO 手推 PPO clip、GAE、GRPO 无 critic
22-深度量化GPTQ与AWQ.ipynb 深度量化 GPTQ/AWQ/GGUF
23-知识蒸馏.ipynb 蒸馏 为什么 LLM 需要蒸馏
24-前沿模型与推理时扩展.ipynb 前沿模型与推理时扩展 LLaMA/Qwen/DeepSeek 结构·亮点·局限、思维链与测试时计算、DeepSeek-R1 / o1、蒸馏 vs 推理时扩展
24-前沿模型与推理时扩展.ipynb 前沿模型与推理时扩展 LLaMA/Qwen/DeepSeek 结构·亮点·局限、思维链与测试时计算、rStar/DeepSeek-R1 推理时扩展、o1 范式、蒸馏 vs 推理时扩展对比

使用建议

  1. 架构主线:先看 0-6 讲(基础 → 注意力 → 位置编码 → LN → 组装)
  2. 训练主线:7 → 11 → 12 → 13(损失 → 预训练 → SFT → RLHF)
  3. 推理主线:18 → 19 → 14(采样 → KV Cache → 量化)
  4. 面试前冲刺:挑对应考点直接看对应讲,代码可运行可复现

迁移状态

  • [x] 25 个 notebook 全部复制到 教学/
  • [x] 原文件保留(复制而非移动)
  • [ ] 后续可把每个 notebook 转成 Markdown 精读版(可选)
  • [ ] 高优先考点(RoPE/GQA/CE)可再抽成面试速查卡(可选)

文件位置:autumn-recruit-algo/04-LLM大模型/教学/

教程来源:Akun-python/autumn-recruitment。 MIT 许可证全文。