跳转至

📋 机器学习高频面试题清单

用法:能独立讲清的题打勾 - [x];"讲不清/没推导过"的标 ⏳,优先补齐。 打勾标准:不看资料,能现场写出公式、讲出流程、说出适用场景。

1. 基础概念与评估

📍 推导笔记 → 13-特征工程与模型评估.ipynb(缺失值/编码/缩放/特征选择/AUC/KFold/类别不平衡)

  • [ ] 有监督 vs 无监督 vs 半监督 vs 强化学习
  • [ ] 偏差-方差分解,怎么权衡(欠拟合/过拟合的对应关系)
  • [ ] 过拟合与欠拟合的检测与缓解手段
  • [ ] 交叉验证:K 折、留一法、时间序列为什么不能随机切分
  • [ ] 评估指标:准确率/精确率/召回率/F1/AUC/PR 曲线,各自适用场景
  • [ ] AUC 的物理意义(随机正样本排在负样本前的概率)与计算
  • [ ] 回归指标:MSE/MAE/RMSE/R²,MSE 与 MAE 对异常值的敏感性
  • [ ] 特征工程:缺失值处理、离散化、编码(one-hot/label)、特征交叉、归一化/标准化
  • [ ] 类别不平衡:过采样/欠采样/SMOTE/代价敏感/阈值移动,为什么不直接用上采样
  • [ ] 数据泄漏的常见来源与识别

2. 线性模型与逻辑回归

📍 推导笔记 → 01-线性回归.ipynb(最小二乘/L1/L2/坐标下降)、02-逻辑回归.ipynb(交叉熵/softmax)

  • [ ] 线性回归最小二乘推导(矩阵形式)
  • [ ] 逻辑回归模型假设与损失函数推导(交叉熵/极大似然)
  • [ ] LR 的梯度如何推导,为什么不用平方损失
  • [ ] LR 怎么做多分类(softmax)、怎么做非线性(特征交叉/核)
  • [ ] 线性判别分析(LDA)思想与求解

3. 支持向量机

📍 推导笔记 → 04-SVM.ipynb(间隔/对偶/KKT/核函数/手写 SMO)

  • [ ] 最大间隔思想,函数间隔/几何间隔
  • [ ] 对偶问题推导:拉格朗日乘子 → KKT → SMO
  • [ ] 核函数:为什么引入核、常用核(线性/多项式/RBF)、核技巧的本质
  • [ ] 软间隔与惩罚系数 C 的作用
  • [ ] LR vs SVM 的对比(损失函数、对异常值、适用场景)

4. 决策树与集成学习

📍 推导笔记 → 07-决策树与随机森林.ipynb(ID3/C4.5/CART/剪枝/特征随机)、06-GBDT.ipynb(负梯度/XGBoost 泰勒展开)、09-AdaBoost.ipynb(指数损失/前向分步/手写树桩)

  • [ ] ID3 / C4.5 / CART 的划分准则(信息增益/增益率/基尼系数)
  • [ ] 决策树如何剪枝(预剪枝/后剪枝)
  • [ ] Bagging vs Boosting:原理、偏差方差、并行/串行
  • [ ] 随机森林:随机采样 + 随机选特征,为什么能降低方差
  • [ ] GBDT:负梯度拟合思想,与 AdaBoost 的区别
  • [ ] AdaBoost:指数损失、样本权重与 α 的更新公式、训练误差上界
  • [ ] XGBoost:二阶泰勒展开、正则项、列采样、近似直方图
  • [ ] LightGBM vs XGBoost:直方图、GOSS、EFB
  • [ ] GBDT 与 LR 的组合(GBDT+LR 特征交叉)
  • [ ] 为什么树模型不需要特征归一化

5. 聚类

📍 推导笔记 → 03-朴素贝叶斯与K-Means.ipynb(K-Means/DBSCAN/层次聚类/ARI·NMI·纯度/轮廓系数)

  • [ ] K-Means:算法流程、复杂度、K 的选择(肘部法/轮廓系数)、初始化(K-Means++)
  • [ ] K-Means 的缺点与改进(ISODATA、二分 K-Means)
  • [ ] DBSCAN:核心点/边界点/噪声,密度可达,优点(形状、噪声)与参数
  • [ ] 层次聚类:凝聚/分裂,距离度量(单链接/全链接/平均)
  • [ ] 聚类评估:内部指标(轮廓系数)与外部指标(纯度/NMI/ARI)

6. 降维

📍 推导笔记 → 05-PCA.ipynb(最大方差/特征分解/SVD/图像压缩 + LDA 章节)

  • [ ] PCA:推导(最大化方差/最小化重构误差),与 SVD 的关系
  • [ ] PCA 与 LDA 的区别
  • [ ] 特征选择 vs 特征抽取

7. 概率模型与生成式

📍 推导笔记 → 03-朴素贝叶斯与K-Means.ipynb(朴素贝叶斯/GMM·EM 全量推导/DBSCAN)、11-HMM隐马尔可夫模型.ipynb(前向/后向/Viterbi/Baum-Welch)、12-CRF与最大熵模型.ipynb(最大熵/线性链 CRF/标注偏置)

  • [ ] 朴素贝叶斯:条件独立性假设、拉普拉斯平滑
  • [ ] 高斯混合模型(GMM)与 EM 算法:EM 的思想(E 步/M 步)、为什么收敛
  • [ ] 最大熵模型:原理(约束下熵最大)、与 LR 的关系
  • [ ] 隐马尔可夫模型(HMM):三大问题(概率/解码/学习)与算法
  • [ ] 线性链条件随机场(CRF):与 HMM 的区别、什么是标注偏置

8. 优化与正则化

📍 推导笔记 → 01-线性回归.ipynb(L1 软阈值/L2 闭式解/梯度下降三形式)

  • [ ] 损失函数 vs 风险函数 vs 结构风险最小化
  • [ ] L1 vs L2 正则化:为什么 L1 稀疏、L2 平滑,几何解释
  • [ ] 梯度下降三种形式:批量/随机/小批量,各自的折中
  • [ ] 梯度消失/爆炸的原因与缓解

9. 经典业务场景题

  • [ ] CTR 预估:特征如何组织(交叉、hash)、模型如何选
  • [ ] 推荐系统冷启动怎么解决
  • [ ] 样本不均衡下的排序怎么优化(加权、采样、Pairwise)
  • [ ] 特征太多了怎么办(从相关性、稀疏性、算力三个角度)
  • [ ] 上线后效果变差,排查思路(数据漂移/模型老化/特征失效)

10. 机器学习手推清单(进推导笔记)

📍 全部完成:01 线性回归 · 02 逻辑回归 · 04 SVM · 05 PCA · 06 GBDT · 03 朴素贝叶斯(GMM/EM) · 08 KNN · 09 AdaBoost · 10 BP · 11 HMM · 12 最大熵/CRF · 13 AUC/KFold

  • [ ] 线性回归最小二乘(矩阵形式)
  • [ ] 逻辑回归极大似然 + 梯度
  • [ ] SVM 对偶推导
  • [ ] PCA 最大方差推导
  • [ ] GBDT 负梯度拟合(回归/分类损失)
  • [ ] EM 算法收敛性证明(或至少讲清思路)
  • [ ] KNN 三步流程 + KD 树剪枝条件
  • [ ] AdaBoost:前向分步 + 指数损失 → 三个更新公式
  • [ ] 两层 MLP 反向传播(δ₂、δ₁、∂L/∂W₁、∂L/∂W₂)
  • [ ] HMM 前向算法 + Viterbi(动态规划)
  • [ ] CRF 对数似然梯度(真实计数 − 特征期望)
  • [ ] AUC 秩和公式(Mann-Whitney U)

11. K 近邻(KNN)

📍 推导笔记 → 08-KNN.ipynb(距离度量/KD 树/加权投票/维度灾难)

  • [ ] KNN 三步流程、懒学习 vs 勤学习
  • [ ] 欧氏/曼哈顿/余弦距离的适用场景
  • [ ] k 太小/太大对应的过拟合/欠拟合
  • [ ] 为什么 KNN 必须做特征缩放
  • [ ] KD 树建树与查询(剪枝条件)
  • [ ] KNN vs LR 对比(边界形状、复杂度、高维表现)

12. 神经网络与反向传播

📍 推导笔记 → 10-神经网络与反向传播.ipynb(感知机/MLP/BP 手推/XOR)

  • [ ] 为什么单层感知机学不了 XOR
  • [ ] 前向传播公式与激活函数导数(sigmoid/tanh/ReLU)
  • [ ] 两层网络 BP 手推(链式法则)
  • [ ] 梯度消失/爆炸的成因与缓解
  • [ ] 初始化/学习率/早停/Dropout 的作用
  • [ ] 分类为什么用交叉熵而不是 MSE

延伸方向(按目标岗位可选)

  • 推荐系统:协同过滤、矩阵分解、FM/FFM、Wide&Deep、双塔
  • 搜索/NLP:TF-IDF、BM25、Word2Vec、文本分类
  • 图算法:GCN/GAT、PageRank、Node2Vec

教程来源:Akun-python/autumn-recruitment。 MIT 许可证全文。