跳转至

📋 LLM 大模型高频面试题清单(六大块)

用法:能独立讲清的题打勾 - [x];讲不清的标 ⏳。 要求:不仅会背结论,核心题要能手写公式/讲清流程。 🧰 配套教程:所有涉及手推的题,均可在 04-LLM大模型/教学/(Transformer 从零手推 24 讲)找到实现与推导。

1. 模型架构

  • [ ] Transformer 整体结构:Encoder/Decoder、各子层、残差与 LN 的位置 → 📓 教学/06-编码器与解码器.ipynb
  • [ ] 自注意力完整计算流程(含 Mask 与缩放),Q/K/V 从哪来 → 📓 教学/01-自注意力.ipynb
  • [ ] 为什么除以 √d_k(方差分析)→ 📓 教学/01-自注意力.ipynb
  • [ ] 多头注意力:为什么多头、head 维度怎么分、参数量 → 📓 教学/02-多头注意力.ipynb
  • [ ] 位置编码:绝对/相对(RoPE、ALiBi),RoPE 的旋转公式 → 📓 教学/03-位置编码与RoPE.ipynb
  • [ ] 为什么 GPT 用 Decoder-only 而 BERT 用 Encoder-only → 📓 教学/09-MiniMind整体架构.ipynb
  • [ ] MHA / MQA / GQA 的区别与参数量、推理收益 → 📓 教学/08-注意力变种MQA与GQA.ipynb
  • [ ] RMSNorm vs LayerNorm:公式、为什么 LLM 用 RMSNorm → 📓 教学/05-层归一化LayerNorm.ipynb
  • [ ] 激活函数:GELU / SwiGLU 的公式与动机 → 📓 教学/04-前馈网络与激活函数.ipynb
  • [ ] MoE:专家路由、load balancing、与 Dense 的对比 → 📓 教学/16-MoE混合专家.ipynb
  • [ ] KV Cache 是什么,为什么推理需要它 → 📓 教学/19-KV缓存.ipynb
  • [ ] 因果掩码(causal mask)与训练时的并行(teacher forcing) → 📓 教学/06-编码器与解码器.ipynb

2. 分词与数据

  • [ ] BPE / WordPiece / SentencePiece 的原理与区别 → 📓 教学/10-BPE分词器.ipynb
  • [ ] 词表大小怎么定,OOV 与 unk 怎么处理 → 📓 教学/10-BPE分词器.ipynb
  • [ ] 训练数据配比(代码/网页/书籍),为什么代码数据重要
  • [ ] 数据清洗与去重(MinHash 等),数据质量 vs 数量
  • [ ] 采样策略:temperature 采样、top-k、top-p、惩罚项 → 📓 教学/18-解码采样.ipynb

3. 训练范式

  • [ ] 预训练目标:自回归 next-token 预测,损失函数形式 → 📓 教学/11-预训练循环.ipynb
  • [ ] SFT:数据格式(instruction/input/output),为什么需要 SFT → 📓 教学/12-LoRA与SFT.ipynb
  • [ ] RLHF 整体流程:RM 训练 → PPO,Ref 模型的作用 → 📓 教学/13-DPO与RLHF.ipynb
  • [ ] PPO 损失函数与 clip 的作用、advantage 估计(GAE) → 📓 教学/21-PPO与GRPO手推.ipynb
  • [ ] DPO:损失函数推导思路、为什么不需要 RM,与 PPO 的对比 → 📓 教学/13-DPO与RLHF.ipynb
  • [ ] GRPO:为什么去掉 critic,应用于推理模型的思路 → 📓 教学/21-PPO与GRPO手推.ipynb
  • [ ] SFT vs RLHF vs DPO 的适用场景与效果差异
  • [ ] 对齐:什么是幻觉、越狱,安全对齐怎么做
  • [ ] 涌现能力:解释、争议与验证
  • [ ] 长上下文扩展:位置编码外推、NTK、窗口滑动 → 📓 教学/17-长上下文扩展.ipynb

4. 推理优化

  • [ ] KV Cache 显存分析:大小公式、优化方向(GQA/量化) → 📓 教学/19-KV缓存.ipynb
  • [ ] 量化:PTQ / QAT、INT8/INT4、GPTQ / AWQ / GGUF 思路 → 📓 教学/14-量化入门PTQ与QAT.ipynb、教学/22-深度量化GPTQ与AWQ.ipynb
  • [ ] 投机解码(speculative decoding):原理与收益
  • [ ] FlashAttention:为什么快(IO 感知、分块、在线 softmax)
  • [ ] vLLM:PagedAttention、连续批处理
  • [ ] 推理延迟 vs 吞吐的权衡,首 token 延迟(TTFT)与 TPOT
  • [ ] 张量并行/流水线并行/ZeRO 在 LLM 推理训练里怎么分工
  • [ ] 蒸馏:为什么 LLM 也需要蒸馏(小模型部署) → 📓 教学/23-知识蒸馏.ipynb

5. 应用与生态

  • [ ] RAG 完整流程:切分 → 向量化 → 检索 → 重排 → 生成 → 📓 教学/15-RAG与Agent.ipynb
  • [ ] RAG vs 长上下文 / vs 微调,各自适用场景 → 📓 教学/15-RAG与Agent.ipynb
  • [ ] Embedding 模型与相似度度量选择
  • [ ] Agent:ReAct、Function Calling / Tool Use、Planning → 📓 教学/15-RAG与Agent.ipynb
  • [ ] CoT / CoT-SC / 思维树(ToT),为什么提示词有效
  • [ ] In-Context Learning vs 微调
  • [ ] Prompt 工程核心技巧(角色、示例、格式约束、few-shot)
  • [ ] 多模态入门:CLIP 对齐、LLaVA、Qwen-VL 思路
  • [ ] 评估:通用基准(MMLU/GSM8K/HumanEval/Benchmark 榜单)、幻觉评估
  • [ ] 大模型幻觉的原因与缓解手段

6. 前沿模型(结构 + 亮点 + 局限三件套)

  • [ ] GPT 系列演进(GPT-1/2/3/4)
  • [ ] LLaMA / LLaMA2 / LLaMA3:结构要点(RMSNorm/SwiGLU/RoPE/GQA)
  • [ ] InstructGPT:从 SFT 到 RLHF 的完整故事
  • [ ] Chinchilla:模型/数据规模配比(compute-optimal)
  • [ ] DeepSeek-V3:MLA + MoE 的实现细节、低成本训练
  • [ ] DeepSeek-R1:RL 驱动的推理能力(GRPO + 冷启动),与 o1 的对比
  • [ ] Qwen 系列(可选,按投递方向)

7. 结合项目一类题(MiniMind / 任何手写 LLM)

  • [ ] 你从零写的模型结构有哪些模块,为什么这样设计 → 📓 教学/09-MiniMind整体架构.ipynb
  • [ ] 预训练/SFT/RL 分别怎么实现,损失曲线长什么样 → 📓 教学/11-预训练循环.ipynb、教学/13-DPO与RLHF.ipynb
  • [ ] 训练中遇到的坑:loss 不降、显存不足、过拟合、收敛慢
  • [ ] 和主流框架(HF Transformers / DeepSpeed)的实现差异
  • [ ] 如果有更多算力/数据,你会怎么改进

8. 手推公式清单(对应教学目录)

  • [ ] RoPE 旋转位置编码公式 → 📓 教学/03-位置编码与RoPE.ipynb
  • [ ] GQA / MQA 的参数量推导 → 📓 教学/08-注意力变种MQA与GQA.ipynb
  • [ ] 交叉熵 + 标签平滑 + 权重共享(tied embedding)→ 📓 教学/07-输出层与损失函数.ipynb ✅ 已迁移
  • [ ] PPO / DPO / GRPO 损失函数 → 📓 教学/21-PPO与GRPO手推.ipynb、教学/13-DPO与RLHF.ipynb
  • [ ] KV Cache 显存公式 → 📓 教学/19-KV缓存.ipynb
  • [ ] FlashAttention 在线 softmax 数值技巧 → 📓 教学/01-自注意力.ipynb
  • [ ] 嵌入层 + 输出层权重共享(tied embedding)→ 📓 教学/07-输出层与损失函数.ipynb

📌 迁移说明:transformer_from_scratch/ 全部 24 个教学 notebook 已复制到 04-LLM大模型/教学/,完整索引见 专题笔记.md。

教程来源:Akun-python/autumn-recruitment。 MIT 许可证全文。