00-数学基础 · 面试八股与高频题¶
编号:05 · 模块:00-数学基础 · 难度:★★☆☆☆ 一句话定位:全模块公式速查表 + 高频追问 20 问——考前 30 分钟过一遍的「压缩包」。 用法:五张速查表(导数 / 矩阵 / 分布 / 信息论 / 优化)各 5 分钟;20 问每题 30 秒(先读标准答案,再背口诀); 最后的代码 cell 用 numpy 数值验证几条最容易记错的公式,帮助「记对」而不是「背错」。
配套:本篇 1 个可选代码 cell,只用 numpy,固定随机种子,无任何联网依赖。
本节要解决的问题¶
| 要解决的问题 | 对应内容 |
|---|---|
| 考前 30 分钟到底过一遍什么? | 公式速查表 A–E(五张表) |
| 导数 / 积分 / 泰勒怎么速记? | 速查表 A:导数与微积分 |
| 矩阵转置、特征值、正定、SVD 记什么? | 速查表 B:矩阵性质 |
| 常见分布的期望方差一张表? | 速查表 C:常见分布表 |
| 熵 / 交叉熵 / KL / 互信息的关系? | 速查表 D:信息论公式 |
| 梯度下降 / KKT / 对偶 / Adam 的结论? | 速查表 E:最优化结论 |
| 面试官最爱追问哪 20 个问题? | 高频追问 20 问(分组 Q1–Q20) |
| 每问 30 秒怎么答、口诀是什么? | 30 秒标准答案 + 一句话记忆口诀 |
| 公式背没背对? | 代码实战:numpy 数值验证 |
| 本模块学完了下一步去哪? | 小结与下一章预告 |
故事引入¶
面试定在上午 9:30。你 9:00 到楼下的咖啡馆,点了一杯美式,翻开手机里这份速查——这是考前 30 分钟的唯一装备。
前 5 分钟,你扫第一张表(导数):(xⁿ)'=nxⁿ⁻¹、(eˣ)'=eˣ、链式法则……一边扫一边默念:「对了,softmax 求导的 δ 符号在这,差点忘了」。第二个 5 分钟扫矩阵表:看到「对称矩阵必可正交对角化、特征值实数」时你会心一笑——昨晚刚用 SVD 把 PCA 的推导顺了一遍,脑子里那两个 U、V 正交矩阵还在转。第三个 5 分钟是分布表:伯努利、二项、泊松、指数、正态的期望方差一字排开,「二项 np、泊松 λ、指数 1/λ、正态 μσ²」这句口诀你反复念了两遍。第四个 5 分钟给信息论:熵、交叉熵、KL 的公式链条——「交叉熵 = 熵 + KL」这行你特意圈了出来,因为 90% 的面试都会从这里开刀。第五个 5 分钟扫优化结论:梯度下降、牛顿、KKT 四条、SVM 对偶、Adam 四行公式,你在心里把「为什么转对偶」又组织了一遍答案。
还剩最后 10 分钟,你点开高频追问 20 问:每问 30 秒——先看标准答案,再背一句口诀。8 分钟刷完 16 问,最后 2 分钟把最容易翻车的 4 问(KL 为什么非负、SVM 为什么对偶、Adam 公式、互补松弛)重过一遍。
9:29 你合上手机,走进面试间。面试官第一句:「说说交叉熵为什么能当分类损失?」你嘴角一扬——口诀开路,公式收尾,30 秒正好。这就是本篇存在的意义。
核心概念¶
(a) 🗂️ 考前速查全景:五张公式表 + 二十连问(五组,每组 4 问)¶
先铺一张「地图」:五张速查表是知识底座,二十个问题是从底座长出来的高频考点,最后一并汇入考场 30 秒应答。
flowchart TB
S1["🧠 速查①导数<br/>极值·泰勒·softmax"] --> S2["🧠 速查②矩阵<br/>特征·正定·SVD"]
S2 --> S3["🧠 速查③分布<br/>期望方差·CLT"]
S3 --> S4["🧠 速查④信息论<br/>熵·CE·KL·互信息"]
S4 --> S5["🧠 速查⑤优化<br/>GD·牛顿·KKT·对偶"]
S1 -.-> S6["🧠 20问·高数<br/>Q1–Q4"]
S2 -.-> S7["🧠 20问·线代<br/>Q5–Q8"]
S3 -.-> S8["🧠 20问·概率<br/>Q9–Q12"]
S4 -.-> S9["🧠 20问·信息论<br/>Q13–Q16"]
S5 -.-> S10["🧠 20问·优化<br/>Q17–Q20"]
- 速查① 导数与微积分:基本初等函数导数表 + 链式法则 + 泰勒展开 + softmax/sigmoid 导数,是反向传播和一切「为什么」的起点。
- 速查② 矩阵性质:转置/逆的运算律、迹与行列式、特征值与特征分解、正定判定、SVD、矩阵求导——PCA、SVM 对偶、注意力机制全在用它。
- 速查③ 概率分布:伯努利/二项/泊松/均匀/指数/正态的 PMF/PDF、期望、方差一张表 + 大数定律与中心极限定理,采样、评估、假设检验都靠它。
- 速查④ 信息论:熵、条件熵、交叉熵、KL 散度、互信息的定义与关系链,是分类损失(交叉熵)和 RLHF KL 约束的理论来源。
- 速查⑤ 优化结论:梯度下降更新、学习率、牛顿法、拉格朗日/KKT、对偶与 SVM、Adam 公式——「模型是怎么学会的」答案都在这里。
- 20问·高数(Q1–Q4):导数与梯度、链式法则与 BP、泰勒展开、极值判定——高频开场题,答好即建立「数学扎实」的第一印象。
- 20问·线代(Q5–Q8):特征值、对称矩阵、正定矩阵、SVD 与 PCA——中段热身的常驻题,常伴「讲个例子」追问。
- 20问·概率(Q9–Q12):期望方差、常见分布、贝叶斯与朴素贝叶斯、大数定律 vs 中心极限定理——ML 算法推导的燃料。
- 20问·信息论(Q13–Q16):熵、交叉熵损失、KL 非负性、互信息——NLP/LLM 岗位必考,损失函数与评估指标的核心。
- 20问·优化(Q17–Q20):凸函数、学习率、拉格朗日/KKT、SVM 对偶——算法岗深水区,答出「推导链路」直接升段。
速查表 A:导数与微积分¶
基本导数表(1 分钟背完)
| 函数 | 导数 | 函数 | 导数 |
|---|---|---|---|
| $x^n$ | $n x^{n-1}$ | $\ln x$ | $\dfrac{1}{x}$ |
| $e^x$ | $e^x$ | $\log_a x$ | $\dfrac{1}{x\ln a}$ |
| $a^x$ | $a^x\ln a$ | $\sin x$ | $\cos x$ |
| $\cos x$ | $-\sin x$ | $\tan x$ | $\sec^2 x$ |
四则与复合(链式法则)
$$(uv)'=u'v+uv',\qquad \left(\frac{u}{v}\right)'=\frac{u'v-uv'}{v^2},\qquad \frac{d}{dx}f\big(g(x)\big)=f'\big(g(x)\big)\,g'(x)$$
梯度与方向导数:$\nabla f=\left(\frac{\partial f}{\partial x_1},\dots,\frac{\partial f}{\partial x_n}\right)$;沿单位方向 $u$ 的方向导数 $\nabla f^\top u$,取最大当且仅当 $u$ 与 $\nabla f$ 同向——梯度是函数上升最快的方向,「反着走」就是下降最快(梯度下降)。
深度学习中三个必须会背的导数
$$\sigma(x)=\frac{1}{1+e^{-x}}:\ \sigma'=\sigma(1-\sigma);\qquad \tanh'(x)=1-\tanh^2 x.$$
$$s_i=\frac{e^{z_i}}{\sum_j e^{z_j}}\ (\text{softmax}):\quad \frac{\partial s_i}{\partial z_j}=s_i\,(\delta_{ij}-s_j)$$
泰勒展开(一阶给梯度下降,二阶给牛顿法)
$$f(x)=f(x_0)+f'(x_0)(x-x_0)+\frac{f''(x_0)}{2!}(x-x_0)^2+\dots=\sum_{k=0}^{\infty}\frac{f^{(k)}(x_0)}{k!}(x-x_0)^k$$
常用积分:$\int x^n dx=\dfrac{x^{n+1}}{n+1}+C\,(n\neq -1)$;$\int e^x dx=e^x+C$;$\int \dfrac{1}{x}dx=\ln|x|+C$;$\int_{-\infty}^{+\infty}e^{-x^2}dx=\sqrt{\pi}$(高斯积分,正态分布归一化系数来源)。
极值判定:驻点 $f'(x)=0$;$f''(x)>0$ 极小、$<0$ 极大、$=0$ 需看高阶;多元看 Hessian 正定/负定/不定。
速查表 B:矩阵性质¶
运算律(易错点集中营)
$$(AB)^\top=B^\top A^\top,\qquad (AB)^{-1}=B^{-1}A^{-1},\qquad (A^\top)^\top=A$$
$$\mathrm{tr}(AB)=\mathrm{tr}(BA),\qquad \det(AB)=\det A\cdot\det B,\qquad \det(A^\top)=\det A$$
特征值与特征分解:$Av=\lambda v$,特征值由 $\det(A-\lambda I)=0$ 求出;不变量:$\mathrm{tr}(A)=\sum_i\lambda_i$、$\det(A)=\prod_i\lambda_i$。对称矩阵 $A=A^\top$ 必可正交对角化 $A=Q\Lambda Q^\top$(Q 正交),且特征值全为实数——协方差矩阵、Hessian、邻接矩阵都是对称的。
正定矩阵判定(三选一,全等价)
- 所有特征值 $>0$;
- 顺序主子式全为正;
- 存在可逆 P 使 $A=P^\top P$(等价于 Cholesky 可分解)。
几何含义:$x^\top Ax>0\ (\forall x\neq 0)$,「二次型开口朝上」⇒ 对应凸函数的 Hessian,极小点好找。
范数与内积:$\|x\|_2=\sqrt{\sum_i x_i^2}$;$\|x\|_1=\sum_i|x_i|$;$\|x\|_\infty=\max_i|x_i|$;柯西-施瓦茨 $|a^\top b|\le \|a\|_2\|b\|_2$,等号成立当且仅当 $a,b$ 共线——它同时是「cos 相似度 ≤1」和「对偶范数」的证明基石。
矩阵求导速记:$\dfrac{\partial(a^\top x)}{\partial x}=a$;$\dfrac{\partial\|x\|^2}{\partial x}=2x$;$\dfrac{\partial(x^\top Ax)}{\partial x}=(A+A^\top)x$,A 对称时 $=2Ax$(岭回归解析解 $w=(X^\top X+\lambda I)^{-1}X^\top y$ 就靠它推出)。
SVD:任意矩阵 $A_{m\times n}=U_{m\times m}\Sigma_{m\times n}V^\top_{n\times n}$,U、V 正交,Σ 对角放奇异值。与特征分解的区别:特征分解只对方阵且未必可正交化;SVD 对任意矩阵。PCA 不用「协方差矩阵特征分解」而用 SVD 的原因:数值更稳定、避免显式算协方差、可直接对非方阵(如中心化数据矩阵)操作。
速查表 C:常见分布表¶
| 分布 | 参数 | PMF / PDF | 期望 E | 方差 Var | 一句话记忆 |
|---|---|---|---|---|---|
| 伯努利 B(p) | p | $P(X=1)=p$ | $p$ | $p(1-p)$ | 掷一次硬币 |
| 二项 B(n,p) | n, p | $C_n^k p^k(1-p)^{n-k}$ | $np$ | $np(1-p)$ | n 次独立重复试验 |
| 泊松 Pois(λ) | λ | $\dfrac{e^{-\lambda}\lambda^k}{k!}$ | $\lambda$ | $\lambda$ | 稀有事件计数(n 大 p 小逼近二项) |
| 均匀 U(a,b) | a, b | $\dfrac{1}{b-a}$ | $\dfrac{a+b}{2}$ | $\dfrac{(b-a)^2}{12}$ | 随机数的理想模型 |
| 指数 Exp(λ) | λ | $\lambda e^{-\lambda x},\ x\ge0$ | $\dfrac{1}{\lambda}$ | $\dfrac{1}{\lambda^2}$ | 无记忆性:$P(X>s+t\mid X>s)=P(X>t)$;等待时间 |
| 正态 N(μ,σ²) | μ, σ² | $\dfrac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$ | $\mu$ | $\sigma^2$ | 误差与 CLT 的极限分布 |
| 标准正态 N(0,1) | — | $\varphi(x)=\dfrac{1}{\sqrt{2\pi}}e^{-x^2/2}$ | 0 | 1 | 标准化 $Z=(X-\mu)/\sigma$ 后查表 |
正态的性质(高频):正态变量的线性组合还是正态;独立正态和 $X+Y\sim N(\mu_1+\mu_2,\ \sigma_1^2+\sigma_2^2)$;3σ 法则 ≈99.7% 落在 $(\mu-3\sigma,\mu+3\sigma)$。
两大极限定理(区分清)
- 大数定律(LLN):样本均值 $\bar X_n \xrightarrow{p} \mu$——「说得准」:估计值收敛到真值;
- 中心极限定理(CLT):$\dfrac{\bar X_n-\mu}{\sigma/\sqrt{n}}\xrightarrow{d} N(0,1)$——「抖得正态」:不管原分布是啥,均值标准化后逼近正态。误差服从高斯、置信区间、蒙特卡洛估计全是它的推论。
贝叶斯公式(ML 的骨架)
$$P(A\mid B)=\frac{P(B\mid A)\,P(A)}{P(B)}\quad\Longleftrightarrow\quad \text{后验}=\frac{\text{似然}\times\text{先验}}{\text{证据}}$$
朴素贝叶斯额外假设:给定类别 A 时各特征条件独立,于是 $P(x\mid A)=\prod_i P(x_i\mid A)$——这就是「朴素」二字的来源。
其他常考:期望线性 $E[aX+bY]=aE[X]+bE[Y]$;方差 $Var[aX+b]=a^2 Var[X]$,方差没有线性性只有平方缩放;$Var[X]=E[X^2]-E[X]^2$;全期望公式 $E[X]=E[E[X\mid Y]]$。
速查表 D:信息论公式¶
基本量(默认对数底 2,单位 bit)
- 自信息:$I(x)=-\log p(x)$(越稀有,信息量越大;确定事件信息量为 0);
- 熵:$H(X)=-\sum_x p(x)\log p(x)$,范围 $0\le H\le \log n$:均匀分布熵最大(最不确定),确定分布熵为 0;
- 联合熵 / 条件熵:$H(X,Y)=-\sum_{x,y}p(x,y)\log p(x,y)$,$H(Y\mid X)=H(X,Y)-H(X)$;
- 链式法则:$H(X,Y)=H(X)+H(Y\mid X)$(类比概率的乘法公式);
- 条件熵递减:$H(X\mid Y)\le H(X)$——知道 Y 不会增加对 X 的不确定性。
交叉熵与 KL 散度(损失函数的核心关系)
$$H(p,q)=-\sum_x p(x)\log q(x)=H(p)+KL(p\,\|\,q),\qquad KL(p\,\|\,q)=\sum_x p(x)\log\frac{p(x)}{q(x)}$$
- KL 散度非负(Jensen 不等式推出),$KL(p\|q)=0\iff p=q$;但不对称:$KL(p\|q)\ne KL(q\|p)$,不满足三角不等式,所以不是距离(叫「散度」);
- 二分类交叉熵损失:$L=-\frac1N\sum_i\big[y_i\log \hat y_i+(1-y_i)\log(1-\hat y_i)\big]$;
- 多分类 softmax + 交叉熵:$L=-\sum_i y_i\log \hat y_i$;固定真实分布 p 时,最小化交叉熵 = 最小化 KL(p‖q)(因为 H(p) 是常数);
- 交叉熵 vs 均方误差当分类损失:CE 梯度不含 $\sigma'$ 因子、收敛更快且与最大似然等价;MSE 在 sigmoid 饱和区梯度消失。
互信息(衡量「知道 Y 对 X 有多少帮助」)
$$I(X;Y)=H(X)-H(X\mid Y)=H(X)+H(Y)-H(X,Y)=\sum_{x,y}p(x,y)\log\frac{p(x,y)}{p(x)p(y)}\ \ge 0$$
对称、非负,$I(X;Y)=0\iff X\perp Y$(独立)。
常考推论:$H(p,q)\ge H(p)$(交叉熵 ≥ 熵,因为 KL≥0);困惑度 $PPL=2^{H}$(语言模型评估);$\log$ 底不同只差常数倍(换底公式),面试说 bit/nat 均可但要自洽。
速查表 E:最优化结论¶
一阶方法:梯度下降与学习率
$$x_{k+1}=x_k-\eta\,\nabla f(x_k)$$
- 由来:一阶泰勒展开,$\nabla f^\top d$ 最小 ⇒ $d=-\nabla f$(方向);
- 一维二次 $f(x)=a x^2$:解析最优步长 $\eta^\*=\dfrac{1}{2a}$,一步收敛;收敛条件 $0<\eta<\dfrac{1}{a}$;
- 收敛率:凸 + L-光滑梯度 ⇒ $f(x_k)-f^\* \le O(1/k)$;强凸 ⇒ 线性收敛 $O(\rho^k)$;
- 学习率选择:线搜索(精确 / 回溯 Armijo)、学习率衰减、自适应方法(AdaGrad / RMSProp / Adam)。
二阶方法:牛顿法与拟牛顿
$$\Delta x=-H^{-1}\nabla f\qquad(\text{牛顿});\qquad B_{k+1}s_k=y_k\ \text{割线方程}\qquad(\text{拟牛顿 BFGS})$$
牛顿对二次函数一步收敛、附近二次收敛,但 O(n²) 存 H、O(n³) 求逆;BFGS/L-BFGS 用梯度差 $(s_k,y_k)$ 逼近 Hessian 或它的逆,代价降到 O(n)。
约束优化:拉格朗日 → KKT → 对偶
- 等式约束:$L(x,\lambda)=f(x)+\lambda h(x)$,最优点处 $\nabla f+\lambda\nabla h=0$(梯度平行);
- 不等式约束 KKT 四条:① 平稳性 $\nabla f+\sum\lambda_i\nabla g_i+\sum\mu_j\nabla h_j=0$;② 原始可行 $g_i\le0,\ h_j=0$;③ 对偶可行 $\lambda_i\ge0$;④ 互补松弛 $\lambda_i g_i=0$;
- 对偶:$d(\lambda)=\inf_x L(x,\lambda)\le p^\*$(弱对偶),凸 + Slater ⇒ 强对偶 $d^\*=p^\*$;
- SVM:$\min\tfrac12\|w\|^2\ \text{s.t.}\ y_i(w^\top x_i+b)\ge1$ ⇒ 对偶 $\max\sum\alpha_i-\tfrac12\sum_{i,j}\alpha_i\alpha_j y_i y_j x_i^\top x_j$,得核技巧 + 支持向量稀疏性。
Adam 四行公式(默认 β₁=0.9, β₂=0.999, ε=1e−8)
$$m_k=\beta_1 m_{k-1}+(1-\beta_1)g_k,\quad v_k=\beta_2 v_{k-1}+(1-\beta_2)g_k^2,\quad \hat m_k=\frac{m_k}{1-\beta_1^k},\ \hat v_k=\frac{v_k}{1-\beta_2^k},\quad x_{k+1}=x_k-\eta\frac{\hat m_k}{\sqrt{\hat v_k}+\varepsilon}$$
几条拿走就用的结论:LR 负对数似然是凸的(梯度下降保证全局最优);深度网络非凸(只能找好局部解);条件数 $\lambda_{\max}/\lambda_{\min}$ 越大固定步长越难收敛 ⇒ 特征归一化/白化;L1 正则给稀疏解、L2(岭)给平滑解;岭回归闭式解 $w=(X^\top X+\lambda I)^{-1}X^\top y$。
高频追问 20 问(每题 30 秒:先答案,后口诀)¶
使用说明:每题先默背「30 秒标准答案」(结论 + 半句推导 + 一个例子),再念一遍「记忆口诀」。 面试时按「口诀开场 → 公式收尾」的结构答,30 秒刚好。 五组:高数(Q1–Q4)· 线代(Q5–Q8)· 概率(Q9–Q12)· 信息论(Q13–Q16)· 优化(Q17–Q20)。
组 1:高数四问(Q1–Q4)¶
Q1:什么是导数?什么是梯度?为什么沿负梯度下降?¶
30 秒标准答案:导数是瞬时变化率 $f'(x)=\lim_{h\to0}\frac{f(x+h)-f(x)}h$,衡量函数在一点的「斜率」;梯度是多元函数对所有变量的偏导组成的向量,指向函数上升最快的方向。一阶泰勒展开 $f(x+\eta d)\approx f(x)+\eta\nabla f^\top d$,想让函数下降最多,就让 $\nabla f^\top d$ 最小,即 d 与 ∇f 反向——所以梯度下降沿负梯度走。
记忆口诀:梯度指上升,下山反着走;泰勒一展开,反走最划算。
Q2:链式法则是什么?反向传播怎么用它?¶
30 秒标准答案:链式法则 $(f(g(x)))'=f'(g(x))g'(x)$,复合函数导数 = 外层导数 × 内层导数。反向传播从输出层开始,按计算图从后往前,把「损失对中间变量」的偏导逐层累乘传递;由于中间结果被复用,整体复杂度是 O(网络参数数) 而不是对每个参数重算一遍(本质是动态规划)。
记忆口诀:外层乘内层,BP 倒着传;一次算完存,参数全复用。
Q3:泰勒展开有什么用?一阶、二阶分别对应什么优化算法?¶
30 秒标准答案:泰勒展开把复杂函数在某点附近用多项式近似:一阶项 $f(x_0)+(x-x_0)f'(x_0)$ 对应梯度下降(只走最速下降方向);二阶项 $+\tfrac12(x-x_0)^2f''(x_0)$ 对应牛顿法(用曲率信息直接求二次近似的极小点);对二次函数,二阶展开是精确的,所以牛顿法一步收敛。
记忆口诀:一阶走梯度,二阶走牛顿;近似越精细,收敛越迅猛。
Q4:驻点和极值怎么判定?多元呢?¶
30 秒标准答案:驻点满足 $f'(x)=0$(可能极值点候选);一元看二阶导:$f''>0$ 极小、$f''<0$ 极大、$f''=0$ 需更高阶判断。多元看在驻点处的 Hessian:正定 ⇒ 局部极小,负定 ⇒ 局部极大,不定 ⇒ 鞍点。凸函数(Hessian 半正定)时局部极小就是全局极小。
记忆口诀:一阶找候选,二阶定性质;海森正定极小、负定极大、不定鞍点。
组 2:线代四问(Q5–Q8)¶
Q5:什么是特征值和特征向量?有什么物理意义?¶
30 秒标准答案:$Av=\lambda v$:特征向量 v 是矩阵 A 作用下方向不变、只伸缩的向量,伸缩倍数就是特征值 λ。求解 $|A-\lambda I|=0$ 得到特征值,再回代求特征向量。意义:特征值刻画矩阵在该方向上的「放大/缩小」能力;$\mathrm{tr}(A)=\sum\lambda_i$,$\det(A)=\prod\lambda_i$,谱半径就是最大特征值绝对值——它决定迭代/动力系统是否稳定(梯度下降收敛条件也跟它有关)。
记忆口诀:方向不变只伸缩,倍数就叫特征值;迹是求和,行列式是求积。
Q6:对称矩阵有什么特殊性质?为什么总遇到它?¶
30 秒标准答案:$A=A^\top$ 时:① 特征值全是实数;② 可以正交对角化 $A=Q\Lambda Q^\top$(Q 是正交矩阵,$Q^\top Q=I$),特征向量两两正交——这比一般矩阵的 $A=P\Lambda P^{-1}$ 强得多。ML 里协方差矩阵、Hessian、二次型核矩阵都是对称的,正交对角化让 PCA/白化/二次优化都变得干净。
记忆口诀:对称必正交对角化,特征值实数不虚发。
Q7:什么是正定矩阵?怎么判断?为什么重要?¶
30 秒标准答案:正定 ⇔ 对任意 $x\ne0$ 有 $x^\top Ax>0$ ⇔ 特征值全为正 ⇔ 顺序主子式全为正(三选一)。它保证二次函数 $x^\top Ax$ 开口朝上,即函数凸、有唯一极小点;判断 Hessian 正定就能断定驻点是极小点。半正定(特征值 ≥0)对应凸函数。
记忆口诀:特征值全正即正定,二次型开口向上扬。
Q8:SVD 和特征分解的区别?PCA 为什么用 SVD?¶
30 秒标准答案:特征分解 $A=Q\Lambda Q^{-1}$ 只对方阵定义,且一般 Q 不正交;SVD $A=U\Sigma V^\top$ 对任意矩阵(含长方形)成立,U、V 都是正交矩阵,Σ 对角线是奇异值(= $AA^\top$ 特征值的平方根)。PCA 要的是协方差矩阵的主方向(特征向量),但实际计算用 SVD 对数据中心化矩阵直接分解:数值更稳定(不用显式构造协方差、避免平方损失精度)、对非方阵同样适用、小奇异值更可控。
记忆口诀:方阵才特征分解,任意矩阵用 SVD;PCA 求主方向,SVD 更稳当。
组 3:概率四问(Q9–Q12)¶
Q9:期望和方差怎么算?有什么性质?¶
30 秒标准答案:期望 $E[X]=\sum_x x\,p(x)$(离散)/ $\int x f(x)dx$(连续),是「概率加权平均」;方差 $Var[X]=E[(X-\mu)^2]=E[X^2]-E[X]^2$,是「与均值的平均平方距离」。性质:$E[aX+bY]=aE[X]+bE[Y]$(线性);$Var[aX+b]=a^2Var[X]$(平移不变、缩放平方,注意方差不线性)。
记忆口诀:期望线性走,方差平方缩;平移不影响,加减靠均值。
Q10:常见分布的期望方差怎么记?¶
30 秒标准答案:伯努利 (p, p(1−p));二项 (np, np(1−p));泊松 (λ, λ)——方差=期望是它的招牌;均匀 ((a+b)/2, (b−a)²/12);指数 (1/λ, 1/λ²) 且有无记忆性;正态 (μ, σ²)。记忆链条:二项 = n 个伯努利;泊松 = n 大 p 小的二项极限;指数 = 泊松过程的等待时间,方差恰是期望的平方。
记忆口诀:二项 np,泊松 λ,指数 1/λ,正态 μσ²。
Q11:贝叶斯公式是什么?朴素贝叶斯「朴素」在哪?¶
30 秒标准答案:$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$——后验 = 似然×先验 / 证据,是「用观测更新信念」的机制。朴素贝叶斯做分类时假设给定类别后各特征条件独立,于是似然分解成各特征似然的乘积 $P(x|y)=\prod_i P(x_i|y)$,计算量从组合爆炸降到线性;「朴素」就是这种强假设(现实中常不成立,但简单数据上效果依然很好)。
记忆口诀:似然乘先验除以证据;条件独立才叫朴素。
Q12:大数定律和中心极限定理有什么区别?¶
30 秒标准答案:大数定律说样本均值依概率收敛到期望 μ(n→∞ 时估计越来越准,回答「收敛到哪」);中心极限定理说标准化的均值 $\frac{\bar X-\mu}{\sigma/\sqrt n}$ 分布上收敛到标准正态(不管原始分布长什么样,回答「波动长得像什么」),因此能构造置信区间。一个管「点子」,一个管「误差的形状」。
记忆口诀:大数管收敛值,CLT 管分布形;均值归 μ,波动归正态。
组 4:信息论四问(Q13–Q16)¶
Q13:熵是什么?取值范围?什么时候最大?¶
30 秒标准答案:熵 $H(X)=-\sum_x p(x)\log p(x)$ 度量随机变量的不确定性(平均信息量)。单位 bit(log₂)或 nat(ln)。取值范围 $0\le H\le\log n$:确定分布(某个事件概率为 1)熵为 0;均匀分布熵最大——所有可能等概率时最难猜,不确定性最高。
记忆口诀:熵是不确定度,均匀最大、确定为零。
Q14:交叉熵为什么能当分类损失?和 KL 什么关系?¶
30 秒标准答案:交叉熵 $H(p,q)=-\sum p\log q$,其中 p 是真实分布(one-hot 标签)、q 是模型预测。$H(p,q)=H(p)+KL(p\|q)$,而真实分布固定时 H(p) 是常数,所以最小化交叉熵 = 最小化 KL(p‖q),即让预测分布逼近真实分布;且梯度不含 sigmoid 饱和因子、训练更快,与最大似然估计等价(负对数似然)。
记忆口诀:交叉熵等于熵加 KL;最小化它,就是让预测贴向真实。
Q15:KL 散度为什么非负?什么时候等于 0?它是距离吗?¶
30 秒标准答案:$KL(p\|q)=\sum_x p(x)\log\frac{p(x)}{q(x)}$,非负性由 Jensen 不等式给出:log 是凹函数,$E[\log\frac{p}{q}]\le\log E[\frac{p}{q}]=\log\sum q=0$ 两边取负即 $KL\ge0$,且等号成立当且仅当 $p=q$(几乎处处)。但 KL 不对称($KL(p\|q)\ne KL(q\|p)$)也不满足三角不等式,所以不是距离度量,只是一个散度(伪度量)。
记忆口诀:Jensen 一出保非负,p=q 才归零;左右不对称,不是距离是散度。
Q16:互信息是什么?和条件熵什么关系?¶
30 秒标准答案:互信息 $I(X;Y)=H(X)-H(X|Y)$,度量「知道 Y 之后,X 的不确定性减少了多少」,也就是 Y 携带了多少关于 X 的信息。它对称($I(X;Y)=I(Y;X)$)、非负,$I=0$ 当且仅当 X、Y 独立。由链式法则还可写 $I(X;Y)=H(X)+H(Y)-H(X,Y)$。特征选择、决策树用信息增益(=互信息)选特征就是它的直接应用。
记忆口诀:互信息是不确定性的减少;对称非负,独立才为零。
组 5:优化四问(Q17–Q20)¶
Q17:凸函数怎么判断?凸优化为什么好?¶
30 秒标准答案:凸函数判定三件套:定义 $f(\theta x+(1-\theta)y)\le\theta f(x)+(1-\theta)f(y)$(弦在图像上方);可微时一阶条件 $f(y)\ge f(x)+\nabla f(x)^\top(y-x)$(切线在图像下方);二阶可微时 Hessian 半正定(一元 f''≥0)。凸优化好:局部最优 = 全局最优,KKT 是充要条件,收敛性有理论保证——所以 LR、SVM、岭回归这类凸问题能找到全局最优。
记忆口诀:弦在弧上方,海森半正定;凸里局部即全局。
Q18:学习率太大/太小会怎样?怎么选?¶
30 秒标准答案:太大:越过谷底来回震荡甚至发散(|1−ηλ|≥1 时误差放大);太小:收敛极慢。一维二次 f=ax² 的最优步长可解析求出 η*=1/(2a),收敛需 0<η<1/a。选法:线搜索(精确/回溯 Armijo)、固定步长 + 衰减调度、自适应方法(AdaGrad/RMSProp/Adam)。实践上先试对数网格,观察损失曲线形状再调。
记忆口诀:大步震荡小步磨,线搜索、自适应都能救。
Q19:拉格朗日乘子和 KKT 是干嘛的?¶
30 秒标准答案:把带约束的优化变成无约束问题的工具。等式约束:构造 $L=f+\lambda h$,最优处 $\nabla f+\lambda\nabla h=0$(目标梯度与约束梯度平行,λ 是平行比例/对偶变量)。不等式约束升级为 KKT 四条件:平稳性、原始可行、对偶可行(λ≥0)、互补松弛(λg=0)——最后一条意味着「要么约束贴边(活跃,λ>0),要么约束悬空(不活跃,λ=0)」。
记忆口诀:等式拉拉格朗日,不等式加 KKT;活跃才出力,悬空就归零。
Q20:SVM 为什么转对偶?核技巧怎么来的?¶
30 秒标准答案:SVM 原问题是凸二次规划,转对偶后:① 目标里只剩内积 $x_i^\top x_j$,可以换成核函数 $K(x_i,x_j)$ 实现隐式升维、免算高维显式特征;② 互补松弛推出 α_i>0 的只有支持向量,模型稀疏;③ 对偶变量约束简单($\sum\alpha_iy_i=0,\ \alpha\ge0$),可用 SMO 高效求解。核函数本质是「高维空间内积的廉价计算器」,常用线性核、多项式核、高斯 RBF 核。
记忆口诀:对偶出稀疏支持向量,核函数免高维内积。
代码实战¶
1 个可选 cell:用 numpy(固定随机种子 2024)数值验证五条最容易记错的公式—— ① 期望方差恒等式 $E[X^2]=Var[X]+E[X]^2$;② KL 散度非负;③ 均匀分布熵最大; ④ 矩阵转置 $(AB)^\top=B^\top A^\top$;⑤ softmax 雅可比 $\partial s_i/\partial z_j=s_i(\delta_{ij}-s_j)$(数值差分对照)。 全部通过则输出核对结果。
# ---- matplotlib 中文字体(防图内中文乱码)----
import matplotlib
matplotlib.rcParams['font.sans-serif'] = ['Microsoft YaHei', 'SimHei', 'Songti SC', 'Arial Unicode MS', 'DejaVu Sans']
matplotlib.rcParams['axes.unicode_minus'] = False
# -------------------------------------------
# ══════════════════════════════════════════════════════════
# 代码实战:numpy 数值验证关键公式(固定随机种子,可复现)
# ① E[X²]=Var+E[X]² ② KL≥0 ③ 均匀熵最大
# ④ (AB)ᵀ=BᵀAᵀ ⑤ softmax 雅可比(数值差分核对)
# ══════════════════════════════════════════════════════════
import sys, io
try:
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8', errors='replace')
except Exception:
pass # Jupyter 内核下无需包装
import numpy as np
rng = np.random.default_rng(2024) # 固定随机种子
ok = []
# ① E[X²] = Var[X] + E[X]² 对标准正态数值验证
x = rng.normal(0.0, 2.0, 500_000) # N(0, 4)
lhs = np.mean(x**2) # 左边:E[X²] ≈ σ² + μ² = 4
rhs = np.var(x) + np.mean(x)**2
ok.append(abs(lhs - rhs) < 1e-3)
print(f"① E[X²]={lhs:.4f} ≈ Var+E²={rhs:.4f}(理论=4) 通过={ok[-1]}")
# ② KL 散度非负(随机生成两个概率分布,直接用求和公式)
p = rng.dirichlet(np.ones(6)) # 随机非负且和为 1
q = rng.dirichlet(np.ones(6))
kl = float(np.sum(p * np.log(p / q)))
print(f"② 随机 p,q 的 KL(p||q)={kl:.6f} ≥ 0 通过={kl >= 0}")
ok.append(kl >= 0)
# ③ 熵:均匀分布熵最大(比较均匀 vs 偏斜分布)
def entropy(a):
return -float(np.sum(a * np.log(a))) # 自然对数底
uniform = np.full(6, 1/6)
skewed = np.array([0.7, 0.1, 0.05, 0.05, 0.05, 0.05])
print(f"③ 熵: 均匀={entropy(uniform):.4f}(最大=ln6={np.log(6):.4f}), 偏斜={entropy(skewed):.4f}")
ok.append(entropy(uniform) >= entropy(skewed))
# ④ 矩阵转置性质 (AB)ᵀ = BᵀAᵀ
A = rng.normal(size=(3, 4)); B = rng.normal(size=(4, 5))
lhs = (A @ B).T; rhs = B.T @ A.T
err = float(np.max(np.abs(lhs - rhs)))
print(f"④ ‖(AB)ᵀ - BᵀAᵀ‖∞ = {err:.2e} ≈ 0 通过={err < 1e-12}")
ok.append(err < 1e-12)
# ⑤ softmax 雅可比:∂s_i/∂z_j = s_i(δ_ij - s_j),用中心差分核对
def softmax(z):
e = np.exp(z - z.max()) # 减最大值防溢出
return e / e.sum()
z = rng.normal(size=4)
s = softmax(z)
J_num = np.zeros((4, 4))
eps = 1e-6
for j in range(4):
zp = z.copy(); zp[j] += eps
zm = z.copy(); zm[j] -= eps
J_num[:, j] = (softmax(zp) - softmax(zm)) / (2 * eps)
J_true = s[:, None] * (np.eye(4) - s[None, :]) # s_i(δ_ij - s_j)
err5 = float(np.max(np.abs(J_num - J_true)))
print(f"⑤ softmax 雅可比最大误差 = {err5:.2e}(理论公式 vs 数值差分) 通过={err5 < 1e-6}")
ok.append(err5 < 1e-6)
print(f"\n汇总:{sum(ok)}/5 条公式验证通过")
assert all(ok)
print("✅ 五条关键公式全部数值验证通过 err=0")
① E[X²]=4.0157 ≈ Var+E²=4.0157(理论=4) 通过=True ② 随机 p,q 的 KL(p||q)=0.991672 ≥ 0 通过=True ③ 熵: 均匀=1.7918(最大=ln6=1.7918), 偏斜=1.0791 ④ ‖(AB)ᵀ - BᵀAᵀ‖∞ = 0.00e+00 ≈ 0 通过=True ⑤ softmax 雅可比最大误差 = 2.90e-11(理论公式 vs 数值差分) 通过=True 汇总:5/5 条公式验证通过 ✅ 五条关键公式全部数值验证通过 err=0
面试考点:临场 30 秒战术¶
本篇本身就是速查 + 20 问,这里再补 5 条「怎么答」的战术,比多背一道题更值钱。
- 不知道完整答案时,先给定义再举例子:任何公式答不上来,就从「它的定义是什么」开始说——定义能拿 30% 分,例子再拿 30%,推导链再补 40%。
- 公式记不住,就说「我能现场推」:背不出 KL≥0 的证明,就说「由 Jensen 不等式,log 凹函数 …」然后写出第一行 $E[\log\tfrac{p}{q}]\le\log E[\tfrac{p}{q}]=0$——面试官要的是思路。
- 80% 追问集中在 5 个点上,重点背:① 梯度为什么反着走;② 交叉熵为什么当分类损失;③ KL 为什么 ≥0;④ SVM 为什么转对偶;⑤ Adam 四行公式。这五个点本篇都有口诀。
- 「为什么」比「是什么」值钱:答完定义一定补一句动机(例:「KKT 的互补松弛不是装饰,它决定了 SVM 只有支持向量参与预测」)。
- 30 秒结构 = 结论 + 半句推导 + 一个例子:口诀开场把结论钉住,公式收尾显专业,不要超纲展开——追问自然会来,到时候再深挖。
小结与下一章预告¶
本篇小结(30 秒版)
- 五张速查表:导数(链式、泰勒、softmax)、矩阵(特征分解、正定、SVD)、分布(六张表一行一个)、信息论(熵、CE、KL、互信息的链条)、优化(GD、牛顿、KKT、对偶、Adam);
- 二十个高频追问:全部配了 30 秒标准答案 + 一句话口诀,按「结论 → 推导 → 例子」的结构答;
- 一个代码 cell:numpy 固定种子数值验证了 5 条最容易记错的公式($E[X^2]=Var+E[X]^2$、KL≥0、均匀熵最大、$(AB)^\top=B^\top A^\top$、softmax 雅可比)。
本模块(00-数学基础)完结 🎉 —— 五个 notebook 的顺序是:00 高数 → 01 线代 → 02 概率 → 03 信息论 → 04 最优化 → 05 速查冲刺。复习建议三遍法:第一遍按顺序跑代码;第二遍学 02-机器学习 / 08-优化算法 时按需回翻(见章节 README 的「建议学习路线」);第三遍考前一天只看本篇 05 加各篇「面试考点」。
如何进入 01 章(数据结构与算法)
在仓库根目录 /01-数据结构与算法/ 下,「教学」目录从 00-排序算法 开始:复杂度分析会用到本篇的对数与求和公式(二分 O(log n)、归并/快排 O(n log n)),概率与期望会用到哈希与随机化的分析(期望 O(1) 查找),最优化里「收敛 = 不断缩小误差」的直觉会和二分答案、三分法直接呼应。数学地基已经打好,放心开卷。