📋 自然语言处理高频面试题清单¶
用法:能独立讲清的题打勾
- [x];讲不清的标⏳。
1. 分词与文本表示(传统 NLP)¶
📍 教学 →
00-文本表示与TF-IDF.ipynb
- [ ] 中文分词的三种方法:词典(最大匹配/MMSeg)、统计(HMM/CRF)、神经网络
- [ ] 正向最大匹配的缺点:贪心局部最优、歧义(研究生命起源);双向匹配取分少者
- [ ] One-hot 的三个缺点:维度灾、无语义、稀疏
- [ ] 词袋模型 BOW 丢什么:词序与语义
- [ ] TF-IDF 公式:tf × log(N/df),直觉(常见 × 稀有)
- [ ] TF-IDF 的局限:统计稀疏表示、OOV 无助
- [ ] OOV 的缓解:子词(BPE/WordPiece)、
- [ ] BPE 流程:字符 → 最高频相邻对合并 → 目标词表大小
- [ ] 向量化里的 sklearn 坑:默认 token_pattern 过滤单字词(
\w\w+) - [ ] 余弦相似度与向量检索排序
2. 统计语言模型与平滑¶
📍 教学 →
01-n-gram与统计语言模型.ipynb
- [ ] 链式法则展开 P(w1..wn);马尔可夫假设截断
- [ ] Bigram 概率:count(w1,w2)/count(w1);句首句尾标记的作用
- [ ] 数据稀疏为什么必然:V² 组合无法覆盖
- [ ] 加一/加 k 平滑公式与问题(大词表下过度让渡概率)
- [ ] 回退(backoff)vs 插值(interpolation)
- [ ] Good-Turing 与 Kneser-Ney 思想一句话
- [ ] PPL = exp(平均负对数似然);越低越好(同语料可比)
- [ ] 未平滑 0 概率 → PPL=inf 的演示直觉
- [ ] n-gram 在工程上的用法:输入法/纠错/ASR 重排
- [ ] 为什么现代弃用统计 LM:稀疏、无法泛化未见组合;神经参数共享
3. 词向量与 Word2Vec¶
📍 教学 →
02-Word2Vec与GloVe.ipynb
- [ ] CBOW vs Skip-gram:模型结构、训练目标、各自优劣
- [ ] 为什么 Skip-gram 对低频词友好
- [ ] 负采样损失:-log σ(v_c'·v_w) - Σ log σ(-v_k'·v_w)
- [ ] 负采样分布为什么用 3/4 幂次:提高稀有词采样概率
- [ ] Word2Vec 是不是概率模型:训练后向量无语义概率解释
- [ ] GloVe 目标:拟合共现次数对数 logM 的低秩分解
- [ ] GloVe vs Word2Vec:全局统计 vs 在线采样
- [ ] fastText:字符 n-gram 求和 → OOV 可得向量
- [ ] 词向量的评估:相似度数据集 / 类比集 / 下游任务
- [ ] 一词多义:上下文表示(ELMo/BERT)解决
4. RNN 与 LSTM¶
📍 教学 →
03-RNN与LSTM.ipynb
- [ ] RNN 前向公式 h_t = tanh(Wx·x_t + Wh·h_{t-1} + b);参数共享的意义
- [ ] BPTT 与普通 BP 的区别;梯度按时刻累加
- [ ] 梯度消失为什么 RNN 严重:Jacobian 连乘 |λ_max|^T
- [ ] 梯度爆炸处理:梯度裁剪(按范数/按值)
- [ ] LSTM 解决消失的思路:细胞 c 加性更新(梯度高速公路)
- [ ] 三个门的名字与作用:f 遗忘 / i 写入 / o 输出
- [ ] 遗忘门偏置初始化为正(1~2):初始偏向记住
- [ ] GRU vs LSTM:两个门(更新/重置)、参数更少、效果相近
- [ ] 双向 RNN:正反两个隐状态拼接/相加
- [ ] RNN 难并行的原因与 Transformer 的并行方案
- [ ] Char-RNN:字符级语言模型生成("hello world" 玩具)
- [ ] 数值梯度校验:解析梯度 vs 数值梯度 <1e-6
5. Attention 与 Transformer¶
📍 教学 →
04-Attention与Transformer.ipynb
- [ ] 注意力公式 softmax(QK^T/√d)V;Q/K/V 来源
- [ ] 除 √d 的原因:点积方差 ~d,防 softmax 饱和
- [ ] 多头:多组子空间并行 + 拼接 + out_proj
- [ ] 因果掩码形状:下三角;-inf 的作用
- [ ] 位置编码必要性与两种方案(正弦 vs 可学习)
- [ ] Post-LN vs Pre-LN 的区别与稳定性
- [ ] FFN 为什么 4 倍宽
- [ ] Encoder vs Decoder 结构差异(因果掩码 + 交叉注意力)
- [ ] 复杂度 O(T²d);长序列方案:flash-attention / 稀疏注意力
- [ ] KV cache:生成时缓存历史 K/V 避免重复计算
- [ ] 手撕:多头与 torch 对照 <1e-4(in_proj 三段拼 QKV)
- [ ] mini-Transformer 学倒序:双向 vs 因果掩码的可学性
6. 预训练模型与微调(LLM 岗重点)¶
📍 教学 →
05-预训练模型与微调.ipynb
- [ ] 预训练-微调为什么有效:无标注语料大、通用表示可迁移
- [ ] BERT 两个预训练任务:MLM(15%)+ NSP(可去)
- [ ] MLM 80/10/10 的原因:缓解 [MASK] mismatch
- [ ] BERT 输入三 embedding:token + 位置 + 段;[CLS]/[SEP]
- [ ] [CLS] 的作用与替代(池化/首 token)
- [ ] BERT vs GPT 结构差异:双向 Encoder vs 单向 Decoder
- [ ] 微调学习率为什么小(1e-5~5e-5)
- [ ] Prompt vs 微调:参数更新与数据效率
- [ ] RLHF 三步:SFT → 奖励模型 → PPO
- [ ] 手写 MLM:15% 掩码、-100 ignore、双向注意力、cloze 评估
7. 文本分类与序列标注¶
📍 教学 →
06-文本分类与序列标注.ipynb
- [ ] 朴素贝叶斯分类公式:P(y)P(x|y);为什么取对数
- [ ] 加一平滑在多分类里的作用
- [ ] BiLSTM 词性标注流程:双向隐状态拼接 + 分类头
- [ ] 混淆矩阵四个数:TP/FP/FN/TN
- [ ] Precision/Recall/F1 公式
- [ ] macro vs micro:按类平均 vs 按样本聚合(类不均衡用哪个)
- [ ] 文本分类评估为什么看 macro-F1
- [ ] 序列标注为什么按实体级评估(边界错算错)
- [ ] 类别不平衡的缓解:重采样/类权重/Focal
- [ ] 手写指标与 sklearn 逐位一致
8. 综合与场景题¶
- [ ] 给一个 NLP 项目讲全流程:定任务指标 → 清洗 → 基线 → 预训练微调 → 错误分析 → 上线
- [ ] 口算:自注意力复杂度 T²·d;多头拼接 (T, h·d_v)
- [ ] 对比统计 vs 神经语言模型;CBOW vs Skip-gram;BERT vs GPT;RNN vs Transformer
- [ ] 面试 30 秒背诵骨架(见
README.md)
9. 手撕默写清单(白板题)¶
- [ ] 手写 TF-IDF + 余弦检索(numpy)
- [ ] 手写 n-gram 平滑 + PPL(含 inf 场景)
- [ ] 手写 Skip-gram 负采样一步梯度(数值校验)
- [ ] 手写 RNN 前向 + BPTT(数值梯度校验)
- [ ] 手写 LSTM 前向(三门 + 细胞)与 torch 对照
- [ ] 手写缩放点积注意力 + 因果掩码
- [ ] 手写多头注意力(in_proj 三段拆 QKV)与 torch 对照
- [ ] 手写朴素贝叶斯分类与 sklearn 对照
- [ ] 手写混淆矩阵 / P / R / F1 / macro / micro
- [ ] 手写 MLM 掩码逻辑(15% 80/10/10 + -100 ignore)