🧮 00-数学基础:算法 / 机器学习 / 大模型的数学地基¶
面试八股的「为什么」全都长在数学上。这一章不讲抽象定义,而是用大白话 + 可运行代码 + 面试问法, 把高数、线性代数、概率统计、信息论、最优化这几块地基一次补齐。
学完本模块,你应该能回答:梯度为什么反着走?SVD 为什么无处不在?熵为什么等于信息量? 交叉熵为什么当损失?拉格朗日乘子到底在干嘛?
📚 模块内容(7 篇教学 Notebook)¶
| 编号 | 内容 | 一句话定位 |
|---|---|---|
| 00 | 高数与微积分 | 极限、导数/偏导、链式法则、梯度、泰勒展开、积分——机器学习的「变化率」语言 |
| 01 | 线性代数 | 向量、矩阵、线性变换、范数、特征值分解、SVD——一切数据都是矩阵 |
| 02 | 概率论与统计 | 随机变量、常见分布、期望/方差、贝叶斯、大数定律、中心极限定理、极大似然——不确定性的语言 |
| 03 | 信息论 | 熵、条件熵、交叉熵、KL 散度、互信息、困惑度——「信息量」的度量,深度学习的损失基石 |
| 04 | 最优化与数值基础 | 凸性、梯度下降、牛顿法、拉格朗日对偶、KKT——让模型「学会」的引擎 |
| 05 | 数学基础面试八股与高频题 | 全模块公式速查 + 高频追问点——考前 30 分钟过一遍 |
| 06 | 机器人学基础 | 刚体变换/齐次矩阵、正逆运动学(DH)、雅可比与奇异位形、拉格朗日动力学——数学在具身智能/自动驾驶的落点 |
🗺️ 建议学习路线¶
第 1 遍(打地基,1 周):00 → 01 → 02 → 03 → 04(每个 notebook 跑完代码 cell,再看面试考点)
第 2 遍(对着章节用):学到哪章翻回来——
02-机器学习/SVM → 翻 01 特征值分解、02 贝叶斯
04-LLM大模型/注意力 → 翻 00 导数、01 矩阵、03 交叉熵/KL
07-强化学习/DP → 翻 02 期望、04 最优化
08-优化算法/Adam → 翻 00 梯度、04 凸优化
具身智能/自动驾驶 → 翻 06 机器人学(正逆运动学、雅可比、动力学)
第 3 遍(考前速查):只看 05 面试八股 + 06 机器人学速答 + 每篇「面试考点」小节
🔗 与其他章节的衔接¶
| 数学知识 | 用在哪 |
|---|---|
| 导数 / 链式法则 / 梯度 | 反向传播(03-深度学习)、梯度下降与 Adam(08-优化算法) |
| 泰勒展开 | 牛顿法 / 二阶优化(08-优化算法 06 篇) |
| 矩阵运算 / 特征值 / SVD | PCA(02-机器学习 05 篇)、Transformer 的 QKV(04-LLM大模型) |
| 概率 / 期望 / 条件概率 / 贝叶斯 | 朴素贝叶斯、HMM、CRF(02-机器学习)、强化学习 MDP(07-强化学习) |
| 熵 / 交叉熵 / KL 散度 | 分类损失、Transformer 训练、RLHF/DPO 的 KL 约束(04、07、12) |
| 凸性 / 拉格朗日 / KKT | SVM 对偶(02-机器学习)、拉格朗日对偶与 KKT(08-优化算法 13 篇) |
| 旋转矩阵 / 齐次变换 / 矩阵连乘 | 正运动学 DH、位姿估计、SLAM/里程计(06 机器人学基础) |
| 雅可比 / 微分运动学 | 逆运动学数值解、奇异位形分析、力控 τ=JᵀF(06 机器人学基础) |
✅ 自测清单(学完打勾)¶
- [ ] 能徒手写出:
∂L/∂w的反向传播链式法则展开 - [ ] 能讲清:梯度方向为什么是函数上升最快的方向
- [ ] 能讲清:SVD 和特征值分解的区别,PCA 为什么用它
- [ ] 能徒手写出:正态分布、伯努利分布的期望与方差
- [ ] 能讲清:贝叶斯公式的每一项在朴素贝叶斯里的角色
- [ ] 能讲清:KL 散度为什么 ≥ 0,交叉熵和 KL 的关系
- [ ] 能讲清:拉格朗日乘子把「带约束优化」变成了什么
- [ ] 能徒手推导:梯度下降的更新公式(含学习率)
- [ ] 能写出:2 连杆正运动学公式与解析逆解 \(\theta_2=\pm\arccos\frac{x^2+y^2-l_1^2-l_2^2}{2l_1l_2}\)
- [ ] 能讲清:旋转矩阵为什么正交、奇异位形是什么、动力学三项 \(M\ddot q+C\dot q+G=\tau\) 各指什么