📋 机器学习高频面试题清单¶
用法:能独立讲清的题打勾
- [x];"讲不清/没推导过"的标⏳,优先补齐。 打勾标准:不看资料,能现场写出公式、讲出流程、说出适用场景。
1. 基础概念与评估¶
📍 推导笔记 →
13-特征工程与模型评估.ipynb(缺失值/编码/缩放/特征选择/AUC/KFold/类别不平衡)
- [ ] 有监督 vs 无监督 vs 半监督 vs 强化学习
- [ ] 偏差-方差分解,怎么权衡(欠拟合/过拟合的对应关系)
- [ ] 过拟合与欠拟合的检测与缓解手段
- [ ] 交叉验证:K 折、留一法、时间序列为什么不能随机切分
- [ ] 评估指标:准确率/精确率/召回率/F1/AUC/PR 曲线,各自适用场景
- [ ] AUC 的物理意义(随机正样本排在负样本前的概率)与计算
- [ ] 回归指标:MSE/MAE/RMSE/R²,MSE 与 MAE 对异常值的敏感性
- [ ] 特征工程:缺失值处理、离散化、编码(one-hot/label)、特征交叉、归一化/标准化
- [ ] 类别不平衡:过采样/欠采样/SMOTE/代价敏感/阈值移动,为什么不直接用上采样
- [ ] 数据泄漏的常见来源与识别
2. 线性模型与逻辑回归¶
📍 推导笔记 →
01-线性回归.ipynb(最小二乘/L1/L2/坐标下降)、02-逻辑回归.ipynb(交叉熵/softmax)
- [ ] 线性回归最小二乘推导(矩阵形式)
- [ ] 逻辑回归模型假设与损失函数推导(交叉熵/极大似然)
- [ ] LR 的梯度如何推导,为什么不用平方损失
- [ ] LR 怎么做多分类(softmax)、怎么做非线性(特征交叉/核)
- [ ] 线性判别分析(LDA)思想与求解
3. 支持向量机¶
📍 推导笔记 →
04-SVM.ipynb(间隔/对偶/KKT/核函数/手写 SMO)
- [ ] 最大间隔思想,函数间隔/几何间隔
- [ ] 对偶问题推导:拉格朗日乘子 → KKT → SMO
- [ ] 核函数:为什么引入核、常用核(线性/多项式/RBF)、核技巧的本质
- [ ] 软间隔与惩罚系数 C 的作用
- [ ] LR vs SVM 的对比(损失函数、对异常值、适用场景)
4. 决策树与集成学习¶
📍 推导笔记 →
07-决策树与随机森林.ipynb(ID3/C4.5/CART/剪枝/特征随机)、06-GBDT.ipynb(负梯度/XGBoost 泰勒展开)、09-AdaBoost.ipynb(指数损失/前向分步/手写树桩)
- [ ] ID3 / C4.5 / CART 的划分准则(信息增益/增益率/基尼系数)
- [ ] 决策树如何剪枝(预剪枝/后剪枝)
- [ ] Bagging vs Boosting:原理、偏差方差、并行/串行
- [ ] 随机森林:随机采样 + 随机选特征,为什么能降低方差
- [ ] GBDT:负梯度拟合思想,与 AdaBoost 的区别
- [ ] AdaBoost:指数损失、样本权重与 α 的更新公式、训练误差上界
- [ ] XGBoost:二阶泰勒展开、正则项、列采样、近似直方图
- [ ] LightGBM vs XGBoost:直方图、GOSS、EFB
- [ ] GBDT 与 LR 的组合(GBDT+LR 特征交叉)
- [ ] 为什么树模型不需要特征归一化
5. 聚类¶
📍 推导笔记 →
03-朴素贝叶斯与K-Means.ipynb(K-Means/DBSCAN/层次聚类/ARI·NMI·纯度/轮廓系数)
- [ ] K-Means:算法流程、复杂度、K 的选择(肘部法/轮廓系数)、初始化(K-Means++)
- [ ] K-Means 的缺点与改进(ISODATA、二分 K-Means)
- [ ] DBSCAN:核心点/边界点/噪声,密度可达,优点(形状、噪声)与参数
- [ ] 层次聚类:凝聚/分裂,距离度量(单链接/全链接/平均)
- [ ] 聚类评估:内部指标(轮廓系数)与外部指标(纯度/NMI/ARI)
6. 降维¶
📍 推导笔记 →
05-PCA.ipynb(最大方差/特征分解/SVD/图像压缩 + LDA 章节)
- [ ] PCA:推导(最大化方差/最小化重构误差),与 SVD 的关系
- [ ] PCA 与 LDA 的区别
- [ ] 特征选择 vs 特征抽取
7. 概率模型与生成式¶
📍 推导笔记 →
03-朴素贝叶斯与K-Means.ipynb(朴素贝叶斯/GMM·EM 全量推导/DBSCAN)、11-HMM隐马尔可夫模型.ipynb(前向/后向/Viterbi/Baum-Welch)、12-CRF与最大熵模型.ipynb(最大熵/线性链 CRF/标注偏置)
- [ ] 朴素贝叶斯:条件独立性假设、拉普拉斯平滑
- [ ] 高斯混合模型(GMM)与 EM 算法:EM 的思想(E 步/M 步)、为什么收敛
- [ ] 最大熵模型:原理(约束下熵最大)、与 LR 的关系
- [ ] 隐马尔可夫模型(HMM):三大问题(概率/解码/学习)与算法
- [ ] 线性链条件随机场(CRF):与 HMM 的区别、什么是标注偏置
8. 优化与正则化¶
📍 推导笔记 →
01-线性回归.ipynb(L1 软阈值/L2 闭式解/梯度下降三形式)
- [ ] 损失函数 vs 风险函数 vs 结构风险最小化
- [ ] L1 vs L2 正则化:为什么 L1 稀疏、L2 平滑,几何解释
- [ ] 梯度下降三种形式:批量/随机/小批量,各自的折中
- [ ] 梯度消失/爆炸的原因与缓解
9. 经典业务场景题¶
- [ ] CTR 预估:特征如何组织(交叉、hash)、模型如何选
- [ ] 推荐系统冷启动怎么解决
- [ ] 样本不均衡下的排序怎么优化(加权、采样、Pairwise)
- [ ] 特征太多了怎么办(从相关性、稀疏性、算力三个角度)
- [ ] 上线后效果变差,排查思路(数据漂移/模型老化/特征失效)
10. 机器学习手推清单(进推导笔记)¶
📍 全部完成:01 线性回归 · 02 逻辑回归 · 04 SVM · 05 PCA · 06 GBDT · 03 朴素贝叶斯(GMM/EM) · 08 KNN · 09 AdaBoost · 10 BP · 11 HMM · 12 最大熵/CRF · 13 AUC/KFold
- [ ] 线性回归最小二乘(矩阵形式)
- [ ] 逻辑回归极大似然 + 梯度
- [ ] SVM 对偶推导
- [ ] PCA 最大方差推导
- [ ] GBDT 负梯度拟合(回归/分类损失)
- [ ] EM 算法收敛性证明(或至少讲清思路)
- [ ] KNN 三步流程 + KD 树剪枝条件
- [ ] AdaBoost:前向分步 + 指数损失 → 三个更新公式
- [ ] 两层 MLP 反向传播(δ₂、δ₁、∂L/∂W₁、∂L/∂W₂)
- [ ] HMM 前向算法 + Viterbi(动态规划)
- [ ] CRF 对数似然梯度(真实计数 − 特征期望)
- [ ] AUC 秩和公式(Mann-Whitney U)
11. K 近邻(KNN)¶
📍 推导笔记 →
08-KNN.ipynb(距离度量/KD 树/加权投票/维度灾难)
- [ ] KNN 三步流程、懒学习 vs 勤学习
- [ ] 欧氏/曼哈顿/余弦距离的适用场景
- [ ] k 太小/太大对应的过拟合/欠拟合
- [ ] 为什么 KNN 必须做特征缩放
- [ ] KD 树建树与查询(剪枝条件)
- [ ] KNN vs LR 对比(边界形状、复杂度、高维表现)
12. 神经网络与反向传播¶
📍 推导笔记 →
10-神经网络与反向传播.ipynb(感知机/MLP/BP 手推/XOR)
- [ ] 为什么单层感知机学不了 XOR
- [ ] 前向传播公式与激活函数导数(sigmoid/tanh/ReLU)
- [ ] 两层网络 BP 手推(链式法则)
- [ ] 梯度消失/爆炸的成因与缓解
- [ ] 初始化/学习率/早停/Dropout 的作用
- [ ] 分类为什么用交叉熵而不是 MSE
延伸方向(按目标岗位可选)¶
- 推荐系统:协同过滤、矩阵分解、FM/FFM、Wide&Deep、双塔
- 搜索/NLP:TF-IDF、BM25、Word2Vec、文本分类
- 图算法:GCN/GAT、PageRank、Node2Vec