跳转至

🧮 00-数学基础:算法 / 机器学习 / 大模型的数学地基

面试八股的「为什么」全都长在数学上。这一章不讲抽象定义,而是用大白话 + 可运行代码 + 面试问法, 把高数、线性代数、概率统计、信息论、最优化这几块地基一次补齐。

学完本模块,你应该能回答:梯度为什么反着走?SVD 为什么无处不在?熵为什么等于信息量? 交叉熵为什么当损失?拉格朗日乘子到底在干嘛?


📚 模块内容(7 篇教学 Notebook)

编号 内容 一句话定位
00 高数与微积分 极限、导数/偏导、链式法则、梯度、泰勒展开、积分——机器学习的「变化率」语言
01 线性代数 向量、矩阵、线性变换、范数、特征值分解、SVD——一切数据都是矩阵
02 概率论与统计 随机变量、常见分布、期望/方差、贝叶斯、大数定律、中心极限定理、极大似然——不确定性的语言
03 信息论 熵、条件熵、交叉熵、KL 散度、互信息、困惑度——「信息量」的度量,深度学习的损失基石
04 最优化与数值基础 凸性、梯度下降、牛顿法、拉格朗日对偶、KKT——让模型「学会」的引擎
05 数学基础面试八股与高频题 全模块公式速查 + 高频追问点——考前 30 分钟过一遍
06 机器人学基础 刚体变换/齐次矩阵、正逆运动学(DH)、雅可比与奇异位形、拉格朗日动力学——数学在具身智能/自动驾驶的落点

🗺️ 建议学习路线

第 1 遍(打地基,1 周):00 → 01 → 02 → 03 → 04(每个 notebook 跑完代码 cell,再看面试考点)
第 2 遍(对着章节用):学到哪章翻回来——
   02-机器学习/SVM      → 翻 01 特征值分解、02 贝叶斯
   04-LLM大模型/注意力   → 翻 00 导数、01 矩阵、03 交叉熵/KL
   07-强化学习/DP       → 翻 02 期望、04 最优化
   08-优化算法/Adam     → 翻 00 梯度、04 凸优化
   具身智能/自动驾驶     → 翻 06 机器人学(正逆运动学、雅可比、动力学)
第 3 遍(考前速查):只看 05 面试八股 + 06 机器人学速答 + 每篇「面试考点」小节

🔗 与其他章节的衔接

数学知识 用在哪
导数 / 链式法则 / 梯度 反向传播(03-深度学习)、梯度下降与 Adam(08-优化算法)
泰勒展开 牛顿法 / 二阶优化(08-优化算法 06 篇)
矩阵运算 / 特征值 / SVD PCA(02-机器学习 05 篇)、Transformer 的 QKV(04-LLM大模型)
概率 / 期望 / 条件概率 / 贝叶斯 朴素贝叶斯、HMM、CRF(02-机器学习)、强化学习 MDP(07-强化学习)
熵 / 交叉熵 / KL 散度 分类损失、Transformer 训练、RLHF/DPO 的 KL 约束(04、07、12)
凸性 / 拉格朗日 / KKT SVM 对偶(02-机器学习)、拉格朗日对偶与 KKT(08-优化算法 13 篇)
旋转矩阵 / 齐次变换 / 矩阵连乘 正运动学 DH、位姿估计、SLAM/里程计(06 机器人学基础)
雅可比 / 微分运动学 逆运动学数值解、奇异位形分析、力控 τ=JᵀF(06 机器人学基础)

✅ 自测清单(学完打勾)

  • [ ] 能徒手写出:∂L/∂w 的反向传播链式法则展开
  • [ ] 能讲清:梯度方向为什么是函数上升最快的方向
  • [ ] 能讲清:SVD 和特征值分解的区别,PCA 为什么用它
  • [ ] 能徒手写出:正态分布、伯努利分布的期望与方差
  • [ ] 能讲清:贝叶斯公式的每一项在朴素贝叶斯里的角色
  • [ ] 能讲清:KL 散度为什么 ≥ 0,交叉熵和 KL 的关系
  • [ ] 能讲清:拉格朗日乘子把「带约束优化」变成了什么
  • [ ] 能徒手推导:梯度下降的更新公式(含学习率)
  • [ ] 能写出:2 连杆正运动学公式与解析逆解 \(\theta_2=\pm\arccos\frac{x^2+y^2-l_1^2-l_2^2}{2l_1l_2}\)
  • [ ] 能讲清:旋转矩阵为什么正交、奇异位形是什么、动力学三项 \(M\ddot q+C\dot q+G=\tau\) 各指什么

配套根目录 README · 全仓库模块总览见 模块索引

教程来源:Akun-python/autumn-recruitment。 MIT 许可证全文。