📋 LLM 大模型高频面试题清单(六大块)¶
用法:能独立讲清的题打勾
- [x];讲不清的标⏳。 要求:不仅会背结论,核心题要能手写公式/讲清流程。 🧰 配套教程:所有涉及手推的题,均可在04-LLM大模型/教学/(Transformer 从零手推 24 讲)找到实现与推导。
1. 模型架构¶
- [ ] Transformer 整体结构:Encoder/Decoder、各子层、残差与 LN 的位置 → 📓
教学/06-编码器与解码器.ipynb - [ ] 自注意力完整计算流程(含 Mask 与缩放),Q/K/V 从哪来 → 📓
教学/01-自注意力.ipynb - [ ] 为什么除以 √d_k(方差分析)→ 📓
教学/01-自注意力.ipynb - [ ] 多头注意力:为什么多头、head 维度怎么分、参数量 → 📓
教学/02-多头注意力.ipynb - [ ] 位置编码:绝对/相对(RoPE、ALiBi),RoPE 的旋转公式 → 📓
教学/03-位置编码与RoPE.ipynb - [ ] 为什么 GPT 用 Decoder-only 而 BERT 用 Encoder-only → 📓
教学/09-MiniMind整体架构.ipynb - [ ] MHA / MQA / GQA 的区别与参数量、推理收益 → 📓
教学/08-注意力变种MQA与GQA.ipynb - [ ] RMSNorm vs LayerNorm:公式、为什么 LLM 用 RMSNorm → 📓
教学/05-层归一化LayerNorm.ipynb - [ ] 激活函数:GELU / SwiGLU 的公式与动机 → 📓
教学/04-前馈网络与激活函数.ipynb - [ ] MoE:专家路由、load balancing、与 Dense 的对比 → 📓
教学/16-MoE混合专家.ipynb - [ ] KV Cache 是什么,为什么推理需要它 → 📓
教学/19-KV缓存.ipynb - [ ] 因果掩码(causal mask)与训练时的并行(teacher forcing) → 📓
教学/06-编码器与解码器.ipynb
2. 分词与数据¶
- [ ] BPE / WordPiece / SentencePiece 的原理与区别 → 📓
教学/10-BPE分词器.ipynb - [ ] 词表大小怎么定,OOV 与 unk 怎么处理 → 📓
教学/10-BPE分词器.ipynb - [ ] 训练数据配比(代码/网页/书籍),为什么代码数据重要
- [ ] 数据清洗与去重(MinHash 等),数据质量 vs 数量
- [ ] 采样策略:temperature 采样、top-k、top-p、惩罚项 → 📓
教学/18-解码采样.ipynb
3. 训练范式¶
- [ ] 预训练目标:自回归 next-token 预测,损失函数形式 → 📓
教学/11-预训练循环.ipynb - [ ] SFT:数据格式(instruction/input/output),为什么需要 SFT → 📓
教学/12-LoRA与SFT.ipynb - [ ] RLHF 整体流程:RM 训练 → PPO,Ref 模型的作用 → 📓
教学/13-DPO与RLHF.ipynb - [ ] PPO 损失函数与 clip 的作用、advantage 估计(GAE) → 📓
教学/21-PPO与GRPO手推.ipynb - [ ] DPO:损失函数推导思路、为什么不需要 RM,与 PPO 的对比 → 📓
教学/13-DPO与RLHF.ipynb - [ ] GRPO:为什么去掉 critic,应用于推理模型的思路 → 📓
教学/21-PPO与GRPO手推.ipynb - [ ] SFT vs RLHF vs DPO 的适用场景与效果差异
- [ ] 对齐:什么是幻觉、越狱,安全对齐怎么做
- [ ] 涌现能力:解释、争议与验证
- [ ] 长上下文扩展:位置编码外推、NTK、窗口滑动 → 📓
教学/17-长上下文扩展.ipynb
4. 推理优化¶
- [ ] KV Cache 显存分析:大小公式、优化方向(GQA/量化) → 📓
教学/19-KV缓存.ipynb - [ ] 量化:PTQ / QAT、INT8/INT4、GPTQ / AWQ / GGUF 思路 → 📓
教学/14-量化入门PTQ与QAT.ipynb、教学/22-深度量化GPTQ与AWQ.ipynb - [ ] 投机解码(speculative decoding):原理与收益
- [ ] FlashAttention:为什么快(IO 感知、分块、在线 softmax)
- [ ] vLLM:PagedAttention、连续批处理
- [ ] 推理延迟 vs 吞吐的权衡,首 token 延迟(TTFT)与 TPOT
- [ ] 张量并行/流水线并行/ZeRO 在 LLM 推理训练里怎么分工
- [ ] 蒸馏:为什么 LLM 也需要蒸馏(小模型部署) → 📓
教学/23-知识蒸馏.ipynb
5. 应用与生态¶
- [ ] RAG 完整流程:切分 → 向量化 → 检索 → 重排 → 生成 → 📓
教学/15-RAG与Agent.ipynb - [ ] RAG vs 长上下文 / vs 微调,各自适用场景 → 📓
教学/15-RAG与Agent.ipynb - [ ] Embedding 模型与相似度度量选择
- [ ] Agent:ReAct、Function Calling / Tool Use、Planning → 📓
教学/15-RAG与Agent.ipynb - [ ] CoT / CoT-SC / 思维树(ToT),为什么提示词有效
- [ ] In-Context Learning vs 微调
- [ ] Prompt 工程核心技巧(角色、示例、格式约束、few-shot)
- [ ] 多模态入门:CLIP 对齐、LLaVA、Qwen-VL 思路
- [ ] 评估:通用基准(MMLU/GSM8K/HumanEval/Benchmark 榜单)、幻觉评估
- [ ] 大模型幻觉的原因与缓解手段
6. 前沿模型(结构 + 亮点 + 局限三件套)¶
- [ ] GPT 系列演进(GPT-1/2/3/4)
- [ ] LLaMA / LLaMA2 / LLaMA3:结构要点(RMSNorm/SwiGLU/RoPE/GQA)
- [ ] InstructGPT:从 SFT 到 RLHF 的完整故事
- [ ] Chinchilla:模型/数据规模配比(compute-optimal)
- [ ] DeepSeek-V3:MLA + MoE 的实现细节、低成本训练
- [ ] DeepSeek-R1:RL 驱动的推理能力(GRPO + 冷启动),与 o1 的对比
- [ ] Qwen 系列(可选,按投递方向)
7. 结合项目一类题(MiniMind / 任何手写 LLM)¶
- [ ] 你从零写的模型结构有哪些模块,为什么这样设计 → 📓
教学/09-MiniMind整体架构.ipynb - [ ] 预训练/SFT/RL 分别怎么实现,损失曲线长什么样 → 📓
教学/11-预训练循环.ipynb、教学/13-DPO与RLHF.ipynb - [ ] 训练中遇到的坑:loss 不降、显存不足、过拟合、收敛慢
- [ ] 和主流框架(HF Transformers / DeepSpeed)的实现差异
- [ ] 如果有更多算力/数据,你会怎么改进
8. 手推公式清单(对应教学目录)¶
- [ ] RoPE 旋转位置编码公式 → 📓
教学/03-位置编码与RoPE.ipynb - [ ] GQA / MQA 的参数量推导 → 📓
教学/08-注意力变种MQA与GQA.ipynb - [ ] 交叉熵 + 标签平滑 + 权重共享(tied embedding)→ 📓
教学/07-输出层与损失函数.ipynb✅ 已迁移 - [ ] PPO / DPO / GRPO 损失函数 → 📓
教学/21-PPO与GRPO手推.ipynb、教学/13-DPO与RLHF.ipynb - [ ] KV Cache 显存公式 → 📓
教学/19-KV缓存.ipynb - [ ] FlashAttention 在线 softmax 数值技巧 → 📓
教学/01-自注意力.ipynb - [ ] 嵌入层 + 输出层权重共享(tied embedding)→ 📓
教学/07-输出层与损失函数.ipynb
📌 迁移说明:
transformer_from_scratch/全部 24 个教学 notebook 已复制到04-LLM大模型/教学/,完整索引见专题笔记.md。