跳转至

🤖 02-机器学习

目标:面经全覆盖 + 关键推导能手推。面试考察的不是"背过概念",而是 能推导、能对比、能讲场景。

📖 阅读这本书(书式结构)

本模块是一本可以按顺序读的书,知识全部在 notebook 里:

  • 前言 + 第 0 章 + 附录 → 推导笔记/00-机器学习总览与速查.ipynb(统一框架:三要素 + 偏差方差;公式速查表;对比总表;章节地图)
  • 正文各章 → 13 个 notebook,每章结构统一为:本章导读 → 原理(通俗类比)→ 公式推导 → 手写实现 → sklearn 对照 → 自测清单 → 本章小结
  • 习题册 → 高频面试题.md;实验手册 → 各章 notebook 的代码 cell

推荐阅读顺序:00-总览(半小时搭框架)→ 01-线性回归 → 02-逻辑回归 → 03-朴素贝叶斯与K-Means → 08-KNN → 04-SVM → 07-决策树与随机森林 → 09-AdaBoost → 06-GBDT → 10-神经网络与反向传播 → 05-PCA → 11-HMM → 12-CRF与最大熵 → 13-特征工程与模型评估。面试前用 00-总览的公式速查表过公式、对比总表背对比题。

复习策略

  1. 先搭框架:监督 / 无监督 / 半监督、回归 / 分类 / 聚类 / 降维 / 生成
  2. 每个模型三件套:模型假设(公式)→ 学习算法(怎么优化)→ 适用场景与局限
  3. 手推优先:LR、SVM、PCA、LDA、BP、Viterbi、AUC 是高频手推题,务必独立推导 3 遍以上
  4. 会对比:LR vs SVM、GBDT vs XGBoost vs LightGBM、AdaBoost vs GBDT、HMM vs MEMM vs CRF、L1 vs L2、PCA vs LDA 这类对比题必考
  5. 结合场景:每一个考点想一个真实业务例子(CTR、推荐、风控、序列标注)

📚 正文各章(推导笔记/,14 个 notebook,每章 = 导读 → 原理 → 推导 → 实验 → 小结)

篇目 核心内容 对照验证
00-机器学习总览与速查 全书导读 / 第 0 章框架(三要素·偏差方差)/ 附录 A 公式速查 / 附录 B 对比总表 / 章节地图 阅读型(无代码)
01-线性回归 正规方程 / 梯度下降 / 标准化反推 / Ridge·Lasso 与软阈值 sklearn 系数一致、L1 稀疏性演示
02-逻辑回归 sigmoid 推导 / 交叉熵 / 手写 LR + softmax 回归 sklearn 决策边界一致(余弦≈1)
03-朴素贝叶斯与K-Means 高斯/多项式 NB / 拉普拉斯平滑 / K-Means / GMM·EM / DBSCAN / 层次聚类 sklearn ARI=1.0、轮廓系数 0.81
04-SVM 几何间隔 → 对偶 / 核函数 / 手写 SMO sklearn SVC 一致(支持向量数 32=32)
05-PCA 最大化方差 / 特征分解 / SVD / 图像压缩 / LDA 有监督降维 特征值一致、LDA 准确率 0.92
06-GBDT 负梯度拟合残差 / 学习率 / XGBoost 泰勒展开与正则化 / 特征重要性 树数·学习率对照表、二分类准确率 0.90
07-决策树与随机森林 信息增益 / CART·Gini 手写 / 随机森林特征子采样(max_features)/ 预剪枝 vs CCP 剪枝 sklearn DecisionTree 准确率可比
08-KNN 距离度量(欧氏/曼哈顿/余弦)/ k 选择与加权投票 / 手写 KNN / KD 树剪枝查询 / 维度灾难 手写 vs sklearn 预测一致率≈1、缩放前后准确率对比
09-AdaBoost 前向分步加法模型 / 指数损失推导 / 样本权重与 α 更新 / 手写树桩 AdaBoost / 训练误差上界 手写 vs sklearn SAMME 预测一致、M 递增准确率曲线
10-神经网络与反向传播 感知机→MLP / 前向传播 / BP 链式法则手推 / 激活函数对比 / 手写两层 MLP 学 XOR 手写 MLP vs sklearn MLPClassifier(XOR=1.0、月牙 0.9+)
11-HMM隐马尔可夫模型 三要素两假设 / 前向·后向手写 / Viterbi 手写 / Baum-Welch(EM) 手写 前向/后向 P(O) 一致(0.13022)、合成数据参数反推
12-CRF与最大熵模型 最大熵原理与骰子例子 / 最大熵→指数族 / 标注偏置 / 线性链 CRF / 手写梯度上升学特征权重 手写 CRF 学习到发射/转移权重模式、HMM/MEMM/CRF 对比表
13-特征工程与模型评估 缺失值 / 编码 / 缩放 / 离散化与交叉 / 特征选择 / 手写 AUC(秩和) / 手写 KFold / 类别不平衡五板斧 AUC 与 sklearn 一致、VarianceThreshold 对照、KFold 切分对照

📊 配图说明

示意图以 SVG 内嵌(base64 data-URI) 形式放在对应 markdown cell 里,本地 Jupyter / GitHub / nbviewer 打开 notebook 即可直接显示,无需联网:

篇目 内嵌示意图 运行生成的数据图
02-逻辑回归 — sigmoid 曲线与导数(matplotlib cell)
04-SVM 最大间隔超平面示意(自绘)+ 维基实拍图(原有) —
07-决策树与随机森林 李航例 5.1「打球」决策树 —
08-KNN KNN 分类示意(k=5 投票)+ 三种距离度量对比 KNN(k=7) 决策边界(matplotlib cell)
09-AdaBoost AdaBoost 流程(权重放大→树桩→加权投票) —
10-神经网络与反向传播 两层网络结构(蓝前向/红反向 + δ 公式) —
11-HMM隐马尔可夫模型 HMM 图模型(晴/雨隐藏链 + 观测链) —
12-CRF与最大熵模型 HMM(有向·局部归一化)vs 线性链 CRF(无向·全局归一化) —
13-特征工程与模型评估 机器学习标准流水线 ROC 曲线与 AUC 面积(matplotlib cell)

SVG 源文件保留在 figures/ 目录,想改图直接编辑 .svg 重新生成 base64 即可;matplotlib 图在 notebook 里运行对应 cell 生成。

本目录规划

02-机器学习/
├── README.md          # 本文件(书式目录 + 阅读路线)
├── 高频面试题.md      # 📝 习题册:分类面经清单(带 TODO 打勾)
├── 机器学习原理一本通.md  # 仅指引 stub(知识已迁移进书式 notebooks)
├── figures/            # 9 张 SVG 示意图源文件(已 base64 内嵌进 notebook)
└── 推导笔记/          # 📖 正文 14 篇 Jupyter notebook(00-总览 + 13 章)

验收标准

  • [x] 高频面试题.md 覆盖 LR / SVM / GBDT / PCA / BP / HMM / CRF / AUC 高频手推
  • [x] 推导笔记 14 篇(00-总览 + LR / SVM / PCA / GBDT / 决策树 / KNN / AdaBoost / MLP / HMM / CRF / 特征工程等 13 章)
  • [x] 书式结构:00-总览 搭框架 + 每章含「本章导读 → 原理 → 推导 → 实验 → 自测 → 本章小结」
  • [x] 任意模型能用"公式 + 流程 + 场景 + 局限"讲 3 分钟
  • [x] 全部 notebook 为合法 JSON(nbformat=4),代码经手写 + sklearn 双路对照设计
  • [x] 每篇含 通俗类比 / 详细推导 / 可运行代码 / 自测清单(L1 必会 8-10 问起步)

💡 手推优先级建议:LR(灵魂公式 p=σ(wᵀx) 与 ∂L/∂w)→ SVM(对偶+KKT)→ PCA(拉格朗日)→ GBDT(负梯度)→ LDA(广义瑞利商)→ BP(链式法则)→ Viterbi(动态规划)→ AUC(秩和)。

教程来源:Akun-python/autumn-recruitment。 MIT 许可证全文。