跳转至

📋 自然语言处理高频面试题清单

用法:能独立讲清的题打勾 - [x];讲不清的标 ⏳。

1. 分词与文本表示(传统 NLP)

📍 教学 → 00-文本表示与TF-IDF.ipynb

  • [ ] 中文分词的三种方法:词典(最大匹配/MMSeg)、统计(HMM/CRF)、神经网络
  • [ ] 正向最大匹配的缺点:贪心局部最优、歧义(研究生命起源);双向匹配取分少者
  • [ ] One-hot 的三个缺点:维度灾、无语义、稀疏
  • [ ] 词袋模型 BOW 丢什么:词序与语义
  • [ ] TF-IDF 公式:tf × log(N/df),直觉(常见 × 稀有)
  • [ ] TF-IDF 的局限:统计稀疏表示、OOV 无助
  • [ ] OOV 的缓解:子词(BPE/WordPiece)、
  • [ ] BPE 流程:字符 → 最高频相邻对合并 → 目标词表大小
  • [ ] 向量化里的 sklearn 坑:默认 token_pattern 过滤单字词(\w\w+)
  • [ ] 余弦相似度与向量检索排序

2. 统计语言模型与平滑

📍 教学 → 01-n-gram与统计语言模型.ipynb

  • [ ] 链式法则展开 P(w1..wn);马尔可夫假设截断
  • [ ] Bigram 概率:count(w1,w2)/count(w1);句首句尾标记的作用
  • [ ] 数据稀疏为什么必然:V² 组合无法覆盖
  • [ ] 加一/加 k 平滑公式与问题(大词表下过度让渡概率)
  • [ ] 回退(backoff)vs 插值(interpolation)
  • [ ] Good-Turing 与 Kneser-Ney 思想一句话
  • [ ] PPL = exp(平均负对数似然);越低越好(同语料可比)
  • [ ] 未平滑 0 概率 → PPL=inf 的演示直觉
  • [ ] n-gram 在工程上的用法:输入法/纠错/ASR 重排
  • [ ] 为什么现代弃用统计 LM:稀疏、无法泛化未见组合;神经参数共享

3. 词向量与 Word2Vec

📍 教学 → 02-Word2Vec与GloVe.ipynb

  • [ ] CBOW vs Skip-gram:模型结构、训练目标、各自优劣
  • [ ] 为什么 Skip-gram 对低频词友好
  • [ ] 负采样损失:-log σ(v_c'·v_w) - Σ log σ(-v_k'·v_w)
  • [ ] 负采样分布为什么用 3/4 幂次:提高稀有词采样概率
  • [ ] Word2Vec 是不是概率模型:训练后向量无语义概率解释
  • [ ] GloVe 目标:拟合共现次数对数 logM 的低秩分解
  • [ ] GloVe vs Word2Vec:全局统计 vs 在线采样
  • [ ] fastText:字符 n-gram 求和 → OOV 可得向量
  • [ ] 词向量的评估:相似度数据集 / 类比集 / 下游任务
  • [ ] 一词多义:上下文表示(ELMo/BERT)解决

4. RNN 与 LSTM

📍 教学 → 03-RNN与LSTM.ipynb

  • [ ] RNN 前向公式 h_t = tanh(Wx·x_t + Wh·h_{t-1} + b);参数共享的意义
  • [ ] BPTT 与普通 BP 的区别;梯度按时刻累加
  • [ ] 梯度消失为什么 RNN 严重:Jacobian 连乘 |λ_max|^T
  • [ ] 梯度爆炸处理:梯度裁剪(按范数/按值)
  • [ ] LSTM 解决消失的思路:细胞 c 加性更新(梯度高速公路)
  • [ ] 三个门的名字与作用:f 遗忘 / i 写入 / o 输出
  • [ ] 遗忘门偏置初始化为正(1~2):初始偏向记住
  • [ ] GRU vs LSTM:两个门(更新/重置)、参数更少、效果相近
  • [ ] 双向 RNN:正反两个隐状态拼接/相加
  • [ ] RNN 难并行的原因与 Transformer 的并行方案
  • [ ] Char-RNN:字符级语言模型生成("hello world" 玩具)
  • [ ] 数值梯度校验:解析梯度 vs 数值梯度 <1e-6

5. Attention 与 Transformer

📍 教学 → 04-Attention与Transformer.ipynb

  • [ ] 注意力公式 softmax(QK^T/√d)V;Q/K/V 来源
  • [ ] 除 √d 的原因:点积方差 ~d,防 softmax 饱和
  • [ ] 多头:多组子空间并行 + 拼接 + out_proj
  • [ ] 因果掩码形状:下三角;-inf 的作用
  • [ ] 位置编码必要性与两种方案(正弦 vs 可学习)
  • [ ] Post-LN vs Pre-LN 的区别与稳定性
  • [ ] FFN 为什么 4 倍宽
  • [ ] Encoder vs Decoder 结构差异(因果掩码 + 交叉注意力)
  • [ ] 复杂度 O(T²d);长序列方案:flash-attention / 稀疏注意力
  • [ ] KV cache:生成时缓存历史 K/V 避免重复计算
  • [ ] 手撕:多头与 torch 对照 <1e-4(in_proj 三段拼 QKV)
  • [ ] mini-Transformer 学倒序:双向 vs 因果掩码的可学性

6. 预训练模型与微调(LLM 岗重点)

📍 教学 → 05-预训练模型与微调.ipynb

  • [ ] 预训练-微调为什么有效:无标注语料大、通用表示可迁移
  • [ ] BERT 两个预训练任务:MLM(15%)+ NSP(可去)
  • [ ] MLM 80/10/10 的原因:缓解 [MASK] mismatch
  • [ ] BERT 输入三 embedding:token + 位置 + 段;[CLS]/[SEP]
  • [ ] [CLS] 的作用与替代(池化/首 token)
  • [ ] BERT vs GPT 结构差异:双向 Encoder vs 单向 Decoder
  • [ ] 微调学习率为什么小(1e-5~5e-5)
  • [ ] Prompt vs 微调:参数更新与数据效率
  • [ ] RLHF 三步:SFT → 奖励模型 → PPO
  • [ ] 手写 MLM:15% 掩码、-100 ignore、双向注意力、cloze 评估

7. 文本分类与序列标注

📍 教学 → 06-文本分类与序列标注.ipynb

  • [ ] 朴素贝叶斯分类公式:P(y)P(x|y);为什么取对数
  • [ ] 加一平滑在多分类里的作用
  • [ ] BiLSTM 词性标注流程:双向隐状态拼接 + 分类头
  • [ ] 混淆矩阵四个数:TP/FP/FN/TN
  • [ ] Precision/Recall/F1 公式
  • [ ] macro vs micro:按类平均 vs 按样本聚合(类不均衡用哪个)
  • [ ] 文本分类评估为什么看 macro-F1
  • [ ] 序列标注为什么按实体级评估(边界错算错)
  • [ ] 类别不平衡的缓解:重采样/类权重/Focal
  • [ ] 手写指标与 sklearn 逐位一致

8. 综合与场景题

  • [ ] 给一个 NLP 项目讲全流程:定任务指标 → 清洗 → 基线 → 预训练微调 → 错误分析 → 上线
  • [ ] 口算:自注意力复杂度 T²·d;多头拼接 (T, h·d_v)
  • [ ] 对比统计 vs 神经语言模型;CBOW vs Skip-gram;BERT vs GPT;RNN vs Transformer
  • [ ] 面试 30 秒背诵骨架(见 README.md)

9. 手撕默写清单(白板题)

  • [ ] 手写 TF-IDF + 余弦检索(numpy)
  • [ ] 手写 n-gram 平滑 + PPL(含 inf 场景)
  • [ ] 手写 Skip-gram 负采样一步梯度(数值校验)
  • [ ] 手写 RNN 前向 + BPTT(数值梯度校验)
  • [ ] 手写 LSTM 前向(三门 + 细胞)与 torch 对照
  • [ ] 手写缩放点积注意力 + 因果掩码
  • [ ] 手写多头注意力(in_proj 三段拆 QKV)与 torch 对照
  • [ ] 手写朴素贝叶斯分类与 sklearn 对照
  • [ ] 手写混淆矩阵 / P / R / F1 / macro / micro
  • [ ] 手写 MLM 掩码逻辑(15% 80/10/10 + -100 ignore)

教程来源:Akun-python/autumn-recruitment。 MIT 许可证全文。