📖 机器学习总览与速查(全书导读)¶
「02-机器学习」是一本可以按顺序读的书:本 notebook 是「前言 + 第 0 章 + 附录」,其余 13 个 notebook 各是一章。 每章结构统一为:本章导读 → 原理(通俗类比)→ 公式推导 → 手写实现 → sklearn 对照 → 自测清单 → 本章小结。
🧭 怎么读这本书¶
- 先读本 notebook:理解统一框架(第 0 章),记住全书章节地图(见下);
- 按第 1 → 14 章顺序读各章 notebook(每章开头有「本章导读」,末尾有「本章小结」);
- 面试前用附录 A「公式速查表」过公式,对比题背附录 B「对比总表」;
- 背题用 📝
高频面试题.md(习题册),想动手就运行各章 notebook 的代码 cell(实验手册)。
一个算法三句话讲清(面试万能模板):
- ① 模型假设:它认为数据是怎么生成的?公式是什么?
- ② 学习算法:最小化什么损失?怎么优化(闭式解 / 梯度下降 / EM)?
- ③ 适用场景与局限:什么时候用它?它怕什么?
💡 手推优先级:LR($p=\sigma(w^\top x)$ 与 $\nabla L=X^\top(p-y)$)→ SVM(对偶+KKT)→ PCA(拉格朗日)→ GBDT(负梯度)→ BP(链式法则)→ Viterbi(动态规划)→ AUC(秩和)。
核心概念¶
(a) 🗂️ 机器学习总览:三要素、偏差-方差与全书地图¶
这是「02-机器学习」的"前言 + 第 0 章 + 附录":先给出机器学习的统一框架(三要素 + 偏差方差),再给出全书章节地图与两张速查表,告诉大家怎么读这本书。
flowchart TB
N1["📖 机器学习是什么:给定数据找函数"] --> N2["三要素:数据、模型、优化"]
N2 --> N3["损失函数:衡量犯错的多少"]
N3 --> N4["优化:梯度下降最小化损失"]
N2 --> N5["偏差-方差分解:欠拟合/过拟合"]
N1 --> N6["🗺️ 全书章节地图:13 个推导笔记"]
N6 --> N7["附录 A:公式速查表"]
N6 --> N8["附录 B:算法对比总表"]
- N1 · 机器学习是什么:机器学习压缩成一句话:给定数据,找一个函数(模型),让它在数据上犯的错最小。后面所有章节都是这句话的展开。
- N2 · 三要素:任何模型都离不开三要素:数据(喂什么)、模型(怎么表示)、优化(怎么调参)——面试聊任何算法都能用这个框架串起来。
- N3 · 损失函数:损失函数就是"犯错的多少":回归用 MSE、分类用交叉熵,选错损失函数模型会很难训,这是后面每篇都会出现的核心概念。
- N4 · 优化:优化是让损失变小的过程,最常用梯度下降:沿着"损失下降最快"的方向更新参数,LR、神经网络、GBDT 全都离不开它。
- N5 · 偏差-方差分解:模型太简单(高偏差)欠拟合,模型太灵活(高方差)过拟合,所有模型都在这个权衡里找平衡点——这是全书的"世界观"。
- N6 · 全书章节地图:13 个推导笔记 = 13 章,从线性回归一路到特征工程;每章结构统一为导读 → 原理(类比)→ 推导 → 手写 → sklearn 对照 → 自测 → 小结。
- N7 · 附录 A 公式速查表:考前 10 分钟专用:常见模型的核心公式(梯度、闭式解、损失)一张纸背完。
- N8 · 附录 B 算法对比总表:LR/SVM/树/贝叶斯等横向对比,回答"XX 和 YY 有什么区别"时直接背这张表。
第 0 章 机器学习的统一框架¶
0.1 三要素:数据、模型、优化¶
机器学习压缩成一句话:给定数据,找一个函数,让它在数据上犯的错(损失)最小。
| 要素 | 是什么 | 例子 |
|---|---|---|
| 数据 $D=\{(x_i,y_i)\}$ | 输入特征 $x$ 与输出 $y$ | 身高体重 → 是否患病 |
| 模型 $f(x;\theta)$ | 一族假设函数,参数 $\theta$ | 直线 $w^\top x+b$、树、神经网络 |
| 优化 | 最小化损失 $L(\theta)$,学出 $\theta^*$ | 梯度下降、闭式解、EM |
分类套路:算每个类别的概率 $P(y|x)$ 再取最大(最大后验):$\hat y = \arg\max_y P(y|x)$。 回归套路:直接预测数值,损失常用平方误差。
0.2 偏差-方差分解(所有模型都在权衡的事)¶
$$\mathbb E[(y-\hat f(x))^2] = \underbrace{(\mathbb E[\hat f]-f)^2}_{\text{偏差}} + \underbrace{\mathbb E[(\hat f-\mathbb E[\hat f])^2]}_{\text{方差}} + \sigma^2$$
- 偏差大 = 模型太简单,连规律都学不到(欠拟合);
- 方差大 = 模型太复杂,记住训练集噪声(过拟合);
- 噪声不可消除。
🍎 打靶类比:偏差 = 弹着点平均偏离靶心;方差 = 弹着点散布范围。简单模型稳定但偏(高偏差),复杂模型平均准但飘(高方差)。
防过拟合三板斧:① 加正则(L1/L2);② 交叉验证调参;③ 更多数据。
运行环境:本 notebook 仅需阅读,无代码;其余章节依赖 Python 3.8 + numpy(对照 cell 需 sklearn)。
🗺️ 全书章节地图(章节 ↔ notebook ↔ 面试题)¶
| 章节 | notebook(推导笔记) | 一句话主题 |
|---|---|---|
| 第 0 章 统一框架 | 本 notebook | 三要素 + 偏差方差 |
| 第 1 章 线性回归 | 01-线性回归 | 闭式解 $w^*=(X^\top X)^{-1}X^\top y$ |
| 第 2 章 逻辑回归 | 02-逻辑回归 | log-odds → sigmoid,梯度 $X^\top(p-y)$ |
| 第 3 章 朴素贝叶斯 | 03-朴素贝叶斯与K-Means(前半) | 贝叶斯 + 条件独立 |
| 第 4 章 KNN | 08-KNN | 看 k 个最近邻居投票 |
| 第 5 章 SVM | 04-SVM | 最大间隔 + 对偶 + 核技巧 |
| 第 6 章 决策树与随机森林 | 07-决策树与随机森林 | 信息增益/Gini + Bagging |
| 第 7 章 AdaBoost | 09-AdaBoost | 指数损失 → 放大错题权重 |
| 第 8 章 GBDT | 06-GBDT | 负梯度拟合残差(附 XGBoost) |
| 第 9 章 神经网络与 BP | 10-神经网络与反向传播 | 链式法则推 $\delta$ |
| 第 10 章 聚类扩展 | 03-朴素贝叶斯与K-Means(后半) | K-Means / GMM·EM / DBSCAN |
| 第 11 章 PCA 降维 | 05-PCA | 最大方差 = 特征分解 |
| 第 12 章 HMM | 11-HMM隐马尔可夫模型 | 前向 / Viterbi / Baum-Welch |
| 第 13 章 CRF 与最大熵 | 12-CRF与最大熵模型 | 最大熵 → 全局归一化 |
| 第 14 章 特征工程与评估 | 13-特征工程与模型评估 | 流水线 + AUC + 交叉验证 |
附录 A:公式速查表(考前 10 分钟)¶
| 模型 | 核心公式 | |------|---------| | 线性回归 | $w^* = (X^\top X)^{-1}X^\top y$;岭回归 $(X^\top X+\lambda I)^{-1}X^\top y$ | | 逻辑回归 | $p=\sigma(w^\top x)=\frac{1}{1+e^{-w^\top x}}$;$\sigma'=\sigma(1-\sigma)$;$\nabla L=X^\top(p-y)$ | | 朴素贝叶斯 | $\hat y=\arg\max_y P(y)\prod_j P(x_j|y)$;平滑 $\frac{count+\alpha}{N+\alpha K}$ | | KNN | $d_2=\sqrt{\sum_j (x_j-x'_j)^2}$;$\hat y = $ k 个近邻投票 | | SVM | 间隔 $\frac{2}{\|w\|}$;对偶 $\max \sum\alpha_i - \frac12\sum\sum\alpha_i\alpha_j y_i y_j K(x_i,x_j)$;$w=\sum\alpha_i y_i x_i$ | | 决策树 | $H=-\sum p_k\log p_k$;$\text{Gain}=H(D)-H(D|A)$;Gini $=1-\sum p_k^2$ | | AdaBoost | $\alpha_m=\frac12\ln\frac{1-e_m}{e_m}$;$D_{m+1}\propto D_m e^{-\alpha_m y G_m}$ | | GBDT | 负梯度 $r_{im}=-\partial L/\partial f$;$F_m=F_{m-1}+\eta T_m$ | | XGBoost | 叶子权重 $w^*=-\frac{\sum g}{\sum h+\lambda}$ | | BP | $\delta^L=(a-y)\odot\sigma'(z^L)$;$\delta^l=(W^{l+1\top}\delta^{l+1})\odot\sigma'(z^l)$;$\partial L/\partial W^l=\delta^l a^{l-1\top}$ | | K-Means | $\min\sum_k\sum_{i\in C_k}\|x_i-\mu_k\|^2$;分配→更新两步交替 | | PCA | 拉格朗日 → $\Sigma w=\lambda w$;保留比例 $=\sum_{i\le k}\lambda_i/\sum\lambda_i$ | | HMM | 前向 $\alpha_{t+1}(j)=[\sum_i\alpha_t(i)a_{ij}]b_j(o_{t+1})$;Viterbi $\delta_t(j)=\max_i\delta_{t-1}(i)a_{ij}\cdot b_j(o_t)$ | | CRF | $P(Y|O)=\frac{\exp(\sum_t\sum_k\lambda_k f_k)}{Z(O)}$;梯度 = 真实计数 − 模型期望 | | AUC | $P(score_+ > score_-) = \frac{R_+ - n_+(n_++1)/2}{n_+ n_-}$ |
附录 B:算法对比总表(对比题背这张)¶
| 对比 | 一句话结论 |
|---|---|
| LR vs SVM | LR 给概率、支持增量训练;SVM 只认支持向量、可核升维。样本少/高维/非线性 → SVM;要概率/在线 → LR |
| L1 vs L2 | L1 菱形约束 → 稀疏(自动选特征);L2 圆约束 → 权重均匀缩小 |
| 线性回归 vs 逻辑回归 | 一个回归一个分类;一个平方损失一个交叉熵($w^\top x$ 直出 vs 过 sigmoid) |
| AdaBoost vs GBDT | AdaBoost 放大错样本权重;GBDT 拟合负梯度。AdaBoost 怕噪声,GBDT 更稳 |
| GBDT vs XGBoost | XGBoost = GBDT + 二阶泰勒 + 叶子正则 + 列采样 + 增益剪枝 |
| Bagging vs Boosting | Bagging 并行降方差;Boosting 串行降偏差 |
| 随机森林 vs GBDT | RF 降方差、抗噪;GBDT 精度高、怕噪声、串行慢 |
| K-Means vs GMM | 硬聚类 vs 软聚类(概率归属);GMM 是 K-Means 的概率版,都是 EM 思想 |
| PCA vs LDA | 无监督最大方差 vs 有监督最大化类间/类内比 |
| HMM vs CRF | 生成式局部归一化 vs 判别式全局归一化;CRF 特征自由、无标注偏置 |
| 决策树 vs KNN | 树:贪心分区可解释需剪枝;KNN:惰性学习、高维灾难 |
| 过拟合通用解法 | 正则 / 剪枝 / 交叉验证调参 / 更多数据 / 集成降方差 |
🏁 读完这本书,你应该能做到¶
拿到任意算法,先讲一个生活类比 → 写出模型假设公式 → 手推核心梯度/闭式解 → 说出适用场景、局限与替代——这就是面试官的满分答案模板。
阅读接力:本 notebook 只讲框架与速查;原理、推导、代码验证请逐章阅读 01 → 13,每章末尾的「本章小结」会把你拉回这张速查表。