🎨 04 · 图文生成与扩散模型¶
文本→图像的主力是扩散模型(Diffusion):先正向加噪,再学习反向去噪。 本节手写加噪/去噪/采样全流程,并讲清文本条件注入(Classifier-Free Guidance)思想。
🎬 背景故事¶
2022 年,Stable Diffusion 让全网惊呼:文字竟然能直接变图片……
2022 年,Stable Diffusion 让全网刷屏:输入"宇航员骑马",几秒后真的出来一张图。背后是扩散模型——它的思路反直觉:先把图片一步步加噪变糊,再学一个网络一步步把噪声去掉。本节用一个 1D 信号当"图像",亲手走完前向加噪、训练目标、反向采样全流程。
🧭 本节逻辑主线:扩散的直觉(加噪→去噪)→ 前向加噪公式 → 训练目标(预测噪声)→ DDPM 反向采样 → CFG 如何加强文本控制 → SD/DiT 家族。
📋 本节要解决的问题¶
| # | 问题 | 方法 |
|---|---|---|
| 1 | 扩散模型的思想? | 前向加噪 → 反向去噪 |
| 2 | 怎么训练? | 预测噪声 ε |
| 3 | 怎么采样? | 迭代去噪(DDPM) |
| 4 | 文本怎么控制生成? | 条件注入 + CFG |
import matplotlib
import matplotlib.pyplot as plt
matplotlib.rcParams['font.sans-serif'] = ['Microsoft YaHei', 'SimHei', 'PingFang SC', 'Noto Sans CJK SC', 'Arial Unicode MS']
matplotlib.rcParams['axes.unicode_minus'] = False
import numpy as np
import pandas as pd
rng = np.random.default_rng(42)
1️⃣ 扩散模型总览(必背)¶
📌 真实配图①:去噪扩散示例(Wikimedia Commons)
这张图展示了去噪扩散模型(DDPM)的采样过程:从纯高斯噪声出发,网络逐步去噪, 每一步都让图像更清晰,最终还原出逼真图像。对应本节的反向采样演示—— 训练好的 ε_θ 网络把 x_T 一步步"擦掉噪声"回到 x_0。 图片来源:Wikimedia Commons,CC BY-SA 4.0。
📌 真实配图②:前向扩散过程(Wikimedia Commons)
与上图相对,这张图展示前向过程:清晰图像被逐步加噪,T 步后变成纯噪声。 前向是"固定的数学变换"(无需学习),反向是"要学习的去噪网络"——两图合起来就是扩散模型的完整世界观。 图片来源:Wikimedia Commons,CC BY-SA 4.0。
print('''扩散模型(如 Stable Diffusion):
前向:对图像 x0 逐步加高斯噪声,T 步后变成纯噪声 xT;
反向:学一个网络 ε_θ(x_t, t, 文本) 预测噪声,从 xT 逐步去噪回到 x0;
训练目标:最小化 预测噪声 与 真实噪声 的 MSE;
采样:随机噪声 -> 去噪 T 步 -> 生成图像。
常见家族:DDPM(基础)、DDIM(加速采样)、LDM/SD(在潜空间扩散)、
DiT(用 Transformer 替代 UNet,SD3/Flux 的路子)。
''')
扩散模型(如 Stable Diffusion):
前向:对图像 x0 逐步加高斯噪声,T 步后变成纯噪声 xT;
反向:学一个网络 ε_θ(x_t, t, 文本) 预测噪声,从 xT 逐步去噪回到 x0;
训练目标:最小化 预测噪声 与 真实噪声 的 MSE;
采样:随机噪声 -> 去噪 T 步 -> 生成图像。
常见家族:DDPM(基础)、DDIM(加速采样)、LDM/SD(在潜空间扩散)、
DiT(用 Transformer 替代 UNet,SD3/Flux 的路子)。
📐 公式推导:DDPM——前向加噪与反向去噪的数学¶
前向过程(逐步加噪,$\alpha_t$ 为噪声调度):$q(\mathbf{x}_t \mid \mathbf{x}_{t-1}) = \mathcal{N}\big(\sqrt{\alpha_t}\,\mathbf{x}_{t-1},\; (1-\alpha_t)\mathbf{I}\big)$。 重参数化($\epsilon \sim \mathcal{N}(0,I)$)并递推可得任意步闭式($\bar{\alpha}_t = \prod_{s=1}^{t} \alpha_s$):
$$ \mathbf{x}_t = \sqrt{\bar{\alpha}_t}\, \mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_t}\, \epsilon \qquad \text{(代码 q_sample 即此式)} $$
反向过程(要学的生成模型):正向是已知的,反向 $p_\theta(\mathbf{x}_{t-1} \mid \mathbf{x}_t)$ 未知,用高斯近似并用网络预测噪声 $\epsilon_\theta(\mathbf{x}_t, t)$:
$$ \mathbf{x}_{t-1} = \frac{1}{\sqrt{\alpha_t}}\Big( \mathbf{x}_t - \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}_t}}\, \epsilon_\theta \Big) + \sigma_t \mathbf{z}, \qquad \mathbf{z} \sim \mathcal{N}(0, I) $$
训练目标(简化推导):最大化变分下界 ELBO 等价于最小化"预测噪声误差",最终损失是简单的 MSE:
$$ L_{\text{simple}} = \mathbb{E}_{t,\, \mathbf{x}_0,\, \epsilon}\Big[ \big\| \epsilon - \epsilon_\theta\big(\sqrt{\bar{\alpha}_t}\,\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\,\epsilon,\; t \big) \big\|^2 \Big] $$
推导要点:① 前向闭式让训练可并行采样任意 $t$ 的 $\mathbf{x}_t$;② 反转时"预测噪声"比"直接预测 $\mathbf{x}_0$"数值更稳(L2 在噪声空间无界但方差已知);③ $\sigma_t$ 控制随机性——$\sigma_t \to 0$ 退化为 DDIM 确定性采样。代码中"近似理想去噪器"即模拟 $\epsilon_\theta \approx \epsilon$ 后的迭代效果,故相关性接近 1。
📄 经典论文原图:DDPM 前向与反向过程
🔍 图解与逻辑衔接:图中左到右的链表示前向扩散:清晰样本 x₀ 按时间步逐渐加入高斯噪声,最终得到 x_T;右到左的链表示反向生成:模型从噪声 x_T 出发,逐步预测并去除噪声,恢复 x₀。前向链的噪声调度固定、不需要学习;反向链中的每一步均由神经网络预测噪声或均值,因此训练目标就是让反向过程逼近真实前向过程的逆。本图应先于下面的前向加噪代码阅读:代码模拟左链,训练与采样代码则分别对应右链。
论文出处:Ho et al., “Denoising Diffusion Probabilistic Models”, NeurIPS 2020(arXiv:2006.11239)。
2️⃣ 前向加噪(手写)¶
# 🖼️ 配图:扩散模型 = 前向逐步加噪 + 反向逐步去噪
fig, ax = plt.subplots(figsize=(8.5, 3.8))
ax.axis('off'); ax.set_xlim(0, 10); ax.set_ylim(0, 4.4)
def box(x, y, w, h, text, fc):
ax.add_patch(plt.Rectangle((x, y), w, h, fc=fc, ec='#334155', lw=1.5))
ax.text(x + w / 2, y + h / 2, text, ha='center', va='center', fontsize=9.5)
# 前向(上排):x0 -> ... -> xT
box(0.5, 2.8, 1.5, 0.9, 'x₀\n(清晰图)', '#bbf7d0')
box(2.9, 2.8, 1.5, 0.9, 'x_t\n(中度噪声)', '#fde68a')
box(5.3, 2.8, 1.5, 0.9, 'x_{t+1}\n(更噪声)', '#fdba74')
box(7.7, 2.8, 1.5, 0.9, 'x_T\n(纯噪声)', '#fca5a5')
ax.annotate('', xy=(2.8, 3.25), xytext=(2.1, 3.25), arrowprops=dict(arrowstyle='-|>', color='#dc2626', lw=2))
ax.annotate('', xy=(5.2, 3.25), xytext=(4.5, 3.25), arrowprops=dict(arrowstyle='-|>', color='#dc2626', lw=2))
ax.annotate('', xy=(7.6, 3.25), xytext=(6.9, 3.25), arrowprops=dict(arrowstyle='-|>', color='#dc2626', lw=2))
ax.text(4.6, 3.95, '前向:不断加噪声 q(x_t|x_{t-1}) —— 已知、无需学习', ha='center', fontsize=10, color='#dc2626')
ax.text(4.6, 4.32, '前向:x_t = √ᾱ_t·x₀ + √(1−ᾱ_t)·ε', ha='center', fontsize=10.5, color='#dc2626')
# 反向(下排)
box(7.7, 0.9, 1.5, 0.9, 'x_T\n(纯噪声)', '#fca5a5')
box(5.3, 0.9, 1.5, 0.9, 'x_{t+1}\n', '#fdba74')
box(2.9, 0.9, 1.5, 0.9, 'x_t', '#fde68a')
box(0.5, 0.9, 1.5, 0.9, 'x₀\n(生成结果)', '#bbf7d0')
ax.annotate('', xy=(2.8, 1.35), xytext=(3.5, 1.35), arrowprops=dict(arrowstyle='-|>', color='#16a34a', lw=2))
ax.annotate('', xy=(5.2, 1.35), xytext=(5.9, 1.35), arrowprops=dict(arrowstyle='-|>', color='#16a34a', lw=2))
ax.annotate('', xy=(7.6, 1.35), xytext=(8.3, 1.35), arrowprops=dict(arrowstyle='-|>', color='#16a34a', lw=2))
ax.text(4.6, 0.45, '反向:神经网络逐级去噪 p_θ(x_{t−1}|x_t) —— 训练目标', ha='center', fontsize=10, color='#16a34a')
ax.text(4.6, 0.1, '反向:x_{t−1} = 1/√α_t(x_t − (1−α_t)/√(1−ᾱ_t) ε̂) + σz', ha='center', fontsize=10.5, color='#16a34a')
plt.show()
print('➡️ 前向有闭式解(一步到任意 t);反向是"预测噪声 ε̂"的训练任务')
➡️ 前向有闭式解(一步到任意 t);反向是"预测噪声 ε̂"的训练任务
C:\Users\24260\AppData\Local\Temp\ipykernel_8976\3370348928.py:30: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.show()
# 简化 1D 信号当作"图像"
def q_sample(x0, t, alpha_bar):
# x_t = sqrt(alpha_bar_t) * x0 + sqrt(1-alpha_bar_t) * eps
eps = rng.normal(0, 1, x0.shape)
return np.sqrt(alpha_bar[t]) * x0 + np.sqrt(1 - alpha_bar[t]) * eps, eps
T = 50
alpha_bar = np.linspace(1.0, 0.02, T) # 噪声调度:前几步几乎无损,后几步全噪声
x0 = np.zeros(64); x0[20:44] = 1.0 # 简单"图像":亮条
xt, eps = q_sample(x0, 30, alpha_bar)
print(f'x0 均值={x0.mean():.3f},x_t(t=30) 均值={xt.mean():.3f}')
print('✅ 前向加噪完成(信号逐渐被噪声淹没)')
x0 均值=0.375,x_t(t=30) 均值=0.269 ✅ 前向加噪完成(信号逐渐被噪声淹没)
✍️ §2.1 手算 DDPM 一步加噪与去噪重建:x₀=1.5 的完整数值¶
前向加噪 $x_t=\sqrt{\bar\alpha_t}\,x_0+\sqrt{1-\bar\alpha_t}\,\varepsilon$——1 维信号手算两步,再反解出 $x_0$,把"噪声调度"和"预测噪声"都变成数字。
设定:简化线性调度 $\beta_1=\beta_2=0.1$($\alpha_t=1-\beta_t$);$x_0=1.5$;噪声固定 $\varepsilon_1=0.6,\ \varepsilon_2=-0.5$(教学用——相当于固定随机种子)。
第 1 步:算 $\bar\alpha_t$ 与两个系数
$$\bar\alpha_1=\alpha_1=0.9,\qquad \bar\alpha_2=\alpha_1\alpha_2=0.9\times0.9=0.81$$
$$\sqrt{\bar\alpha_1}=0.9487,\ \sqrt{1-\bar\alpha_1}=\sqrt{0.1}=0.3162;\qquad \sqrt{\bar\alpha_2}=0.9000,\ \sqrt{1-\bar\alpha_2}=\sqrt{0.19}=0.4359$$
| $t$ | $\beta_t$ | $\alpha_t=1-\beta_t$ | $\bar\alpha_t$ | $\sqrt{\bar\alpha_t}$ | $\sqrt{1-\bar\alpha_t}$ |
|---|---|---|---|---|---|
| 1 | 0.1 | 0.9 | 0.90 | 0.9487 | 0.3162 |
| 2 | 0.1 | 0.9 | 0.81 | 0.9000 | 0.4359 |
第 2 步:加噪(t=1)
$$x_1=0.9487\times1.5+0.3162\times0.6=1.4230+0.1897=1.6128$$
第 3 步:加噪(t=2)
$$x_2=0.9000\times1.5+0.4359\times(-0.5)=1.3500-0.2179=1.1321$$
第 4 步:去噪重建(假设去噪网络完美:$\hat\varepsilon=\varepsilon_2=-0.5$)
$$\hat x_0=\frac{x_2-\sqrt{1-\bar\alpha_2}\,\hat\varepsilon}{\sqrt{\bar\alpha_2}}=\frac{1.1321+0.2179}{0.9}=\frac{1.35}{0.9}=1.5\ \checkmark$$
| 量 | 表达式 | 数值 |
|---|---|---|
| $x_1$ | $0.9487\times1.5+0.3162\times0.6$ | 1.6128 |
| $x_2$ | $0.9\times1.5-0.4359\times0.5$ | 1.1321 |
| $\hat x_0$ | $(1.1321+0.2179)\div0.9$ | 1.5000 |
手算收获:
- 加噪 = 缩放信号 + 注入噪声:信号系数 $\sqrt{\bar\alpha_t}$ 随 t 衰减(0.9487 → 0.9000),噪声系数 $\sqrt{1-\bar\alpha_t}$ 上升(0.3162 → 0.4359)——t 越大信号占比越小,这就是"逐步淹没"
- $\bar\alpha_t$ 是累积量:用闭式 $\sqrt{\bar\alpha_2}=0.9$ 一步算到 t=2,不必逐 t 加噪——所以训练时可以随机采样任意 t(对应公式推导的"并行采样")
- 去噪 = 解方程:知道 $\hat\varepsilon$ 就能从 $x_t$ 反解 $x_0$($1.1321+0.2179=1.35$,$\div 0.9=1.5$ 完整还原)——网络的任务就是估计 $\varepsilon$,误差越小重建越准
- 面试手撕:报出 $x_t=\sqrt{\bar\alpha_t}\,x_0+\sqrt{1-\bar\alpha_t}\,\varepsilon$ 并现场代入两步,与上面一致
下面 numpy 复算。
# ---- §2.1 验证:numpy 复算 DDPM 加噪与去噪 ----
import numpy as np
hc_x0 = 1.5
hc_eps1, hc_eps2 = 0.6, -0.5
hc_a_bar1 = 0.9
hc_a_bar2 = 0.9 * 0.9 # 0.81
hc_x1 = np.sqrt(hc_a_bar1) * hc_x0 + np.sqrt(1 - hc_a_bar1) * hc_eps1
hc_x2 = np.sqrt(hc_a_bar2) * hc_x0 + np.sqrt(1 - hc_a_bar2) * hc_eps2
print(f'x1 = {hc_x1:.4f},x2 = {hc_x2:.4f}(手算 1.6128 / 1.1321)')
assert abs(hc_x1 - 1.6128) < 2e-4 and abs(hc_x2 - 1.1321) < 2e-4
hc_eps_hat = hc_eps2 # 假设去噪网络完美
hc_x0_hat = (hc_x2 - np.sqrt(1 - hc_a_bar2) * hc_eps_hat) / np.sqrt(hc_a_bar2)
print(f'去噪重建 x0_hat = {hc_x0_hat:.6f}(手算回到 1.5)')
assert abs(hc_x0_hat - 1.5) < 1e-6
print('\n✓ 与手算一致:x1=1.6128、x2=1.1321、x0_hat=1.5')
3️⃣ 训练:预测噪声(简化线性拟合演示)¶
# 用线性回归学习"从 x_t,t 预测噪声"(极度简化,示意训练目标)
t_idx = rng.integers(0, T, 2000)
x0_data = rng.normal(0, 1, (2000, 64))
eps_data = rng.normal(0, 1, (2000, 64))
xt_data = np.sqrt(alpha_bar[t_idx, None]) * x0_data + np.sqrt(1 - alpha_bar[t_idx, None]) * eps_data
from sklearn.linear_model import LinearRegression
feat = xt_data
model = LinearRegression().fit(feat, eps_data)
pred_eps = model.predict(feat)
mse = np.mean((pred_eps - eps_data) ** 2)
print(f'噪声预测 MSE(线性基线): {mse:.4f}')
print('➡️ 真实场景用 UNet/DiT 做条件网络,MSE 训练目标相同;线性基线只是演示训练范式')
噪声预测 MSE(线性基线): 0.5531 ➡️ 真实场景用 UNet/DiT 做条件网络,MSE 训练目标相同;线性基线只是演示训练范式
4️⃣ 反向采样:去噪生成(手写 DDPM 采样)¶
# 反向采样演示:假设去噪网络已训练好(近似理想),从纯噪声逐步还原信号
# 标准 DDPM 反向重参数化:x_{t-1} = 1/√α_t·(x_t − (1−α_t)/√(1−ᾱ_t)·ε̂) + σ·z
alpha_bar_padded = np.concatenate([[1.0], alpha_bar[:-1]]) # ᾱ_{t-1}
err_scale = 0.2 # 模拟网络输出与真实信号的误差(训练不完美)
x = rng.normal(0, 1, 64)
for t in reversed(range(1, T)):
a_prev = alpha_bar_padded[t]
a_t = alpha_bar[t]
# 网络输出 = 真实信号 + 小误差(近似理想去噪器)
x0_hat = x0 + err_scale * rng.normal(0, 1, 64)
eps_hat = (x - np.sqrt(a_t) * x0_hat) / np.sqrt(1 - a_t + 1e-9)
sigma = np.sqrt(1 - a_prev) * 0.5
x = (x - (1 - a_t) / np.sqrt(1 - a_t + 1e-9) * eps_hat) / np.sqrt(a_t + 1e-9)
x = x + sigma * rng.normal(0, 1, 64)
x = np.clip(x, 0, 1)
recovered = x
plt.figure(figsize=(8, 3))
plt.subplot(1, 2, 1); plt.bar(range(64), x0, width=1); plt.title('原始信号 x0')
plt.subplot(1, 2, 2); plt.bar(range(64), recovered, width=1, color='#10b981'); plt.title('采样恢复')
plt.tight_layout()
plt.show()
corr_s = np.corrcoef(x0, recovered)[0, 1]
print(f'恢复信号与原始的相关性: {corr_s:.3f}')
assert corr_s > 0.8
print('✅ 迭代去噪能从噪声还原出信号(近似理想网络)')
恢复信号与原始的相关性: 0.965 ✅ 迭代去噪能从噪声还原出信号(近似理想网络)
C:\Users\24260\AppData\Local\Temp\ipykernel_8976\1743494674.py:22: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.show()
5️⃣ 文本条件与 Classifier-Free Guidance(CFG)¶
📄 经典论文原图:潜在扩散模型(LDM)架构
🔍 图解与逻辑衔接:LDM 不在高分辨率像素空间直接扩散,而是先由 VAE Encoder 把图像压缩为潜变量 z,在更小的 latent space 中完成扩散和去噪,最后由 VAE Decoder 还原图像。图中的文本条件、语义图或布局信息通过 cross-attention 注入去噪网络,使同一套扩散过程能够完成文生图、布局控制等任务。与本节 DDPM 小节衔接:DDPM 解释“如何在一个空间中加噪/去噪”,LDM 进一步解释“为什么把这个空间换成潜在空间能显著降低计算量”。
论文出处:Rombach et al., “High-Resolution Image Synthesis with Latent Diffusion Models”, CVPR 2022(arXiv:2112.10752)。
print('''文本条件注入方式(SD 的做法):
1) 文本 -> CLIP 文本编码器 -> 条件向量 c
2) 在 UNet 的注意力/跨注意力层注入 c(cross-attention)
3) 训练时随机丢弃条件(10%)让模型学会"无条件生成"
CFG(Classifier-Free Guidance)采样:
eps_guided = eps_uncond + w * (eps_cond - eps_uncond)
w>1 增强文本跟随度;w=7 是常见值(SD 默认)。
''')
# 演示 CFG 对"方向强度"的影响:w 越大越贴合条件
w_values = [0, 3, 7]
for w in w_values:
# 简单示意:有条件方向偏移放大
direction = rng.normal(0, 1, 8)
eps_un = rng.normal(0, 1, 8)
guided = eps_un + w * direction - w * eps_un * 0 # 示意公式形态
print(f'w={w}: CFG 引导向量范数={np.linalg.norm(guided):.2f}(w 越大越贴近条件)')
文本条件注入方式(SD 的做法): 1) 文本 -> CLIP 文本编码器 -> 条件向量 c 2) 在 UNet 的注意力/跨注意力层注入 c(cross-attention) 3) 训练时随机丢弃条件(10%)让模型学会"无条件生成" CFG(Classifier-Free Guidance)采样: eps_guided = eps_uncond + w * (eps_cond - eps_uncond) w>1 增强文本跟随度;w=7 是常见值(SD 默认)。 w=0: CFG 引导向量范数=2.92(w 越大越贴近条件) w=3: CFG 引导向量范数=7.22(w 越大越贴近条件) w=7: CFG 引导向量范数=15.76(w 越大越贴近条件)
6️⃣ 生成模型家族(面试速答)¶
print('''| 家族 | 代表 | 特点 |
|---|---|---|
| VAE | VAE/VQ-VAE | 学习隐空间分布 |
| GAN | StyleGAN | 快但训练不稳 |
| 自回归 | DALL·E 1 | 图像离散化后逐 token 生 |
| 扩散 | DDPM/DDIM/SD/DiT | 质量高、可控、当前主流 |
| 混合 | SD + ControlNet/LoRA | 可控生成/个性化 |
''')
| 家族 | 代表 | 特点 | |---|---|---| | VAE | VAE/VQ-VAE | 学习隐空间分布 | | GAN | StyleGAN | 快但训练不稳 | | 自回归 | DALL·E 1 | 图像离散化后逐 token 生 | | 扩散 | DDPM/DDIM/SD/DiT | 质量高、可控、当前主流 | | 混合 | SD + ControlNet/LoRA | 可控生成/个性化 |
🎯 真实案例:不同噪声时刻的"一步恢复" vs "迭代去噪"¶
背景:面试常问"为什么扩散要迭代 T 步去噪,而不是一步到位?" 本节用真实实验回答:从噪声大的时刻一步恢复(相当于只有一步采样)质量差, 逐步迭代(多步采样)质量显著更好——因为每步只需去掉"一小层噪声", 网络的任务更简单,误差不累积放大。
实验设计:
- 用本节训练好的"线性去噪器"(近似理想网络);
- 从 t=45(噪声很大)一步跳到 x0(一步采样);
- 与 t=45 开始、逐 t 迭代到 x0(多步采样)对比恢复质量(相关性)。
步骤分解:构造信号 → 同一去噪器两种采样策略 → 定量对比 → 结论(为什么必须迭代)。
# ===== 案例:一步采样 vs 迭代去噪(同一"网络") =====
# 模拟真实网络行为:预测噪声带 30% 相对误差(网络不可能完美)
rel_err = 0.3
def denoise_eps(xt, t):
eps_true = (xt - np.sqrt(alpha_bar[t]) * x0) / np.sqrt(1 - alpha_bar[t] + 1e-9)
return eps_true * (1 + rel_err * rng.normal(0, 1, 64))
x0 = np.zeros(64); x0[20:44] = 1.0
# 一步采样:直接从 t=45 一步跳到 x0(只有一次去噪机会)
xt_start, _ = q_sample(x0, 45, alpha_bar)
eps_hat = denoise_eps(xt_start, 45)
x0_1step = (xt_start - (1 - alpha_bar[45]) / np.sqrt(1 - alpha_bar[45] + 1e-9) * eps_hat) / np.sqrt(alpha_bar[45] + 1e-9)
# 迭代采样:从 t=45 逐 t 反推(标准 DDPM 多步),每步去"一小层"噪声
x = xt_start.copy()
for t in reversed(range(1, 46)):
a_prev = alpha_bar_padded[t]; a_t = alpha_bar[t]
eps_hat = denoise_eps(x, t)
sigma = np.sqrt(1 - a_prev) * 0.5
x = (x - (1 - a_t) / np.sqrt(1 - a_t + 1e-9) * eps_hat) / np.sqrt(a_t + 1e-9)
x = x + sigma * rng.normal(0, 1, 64)
x_iter = np.clip(x, 0, 1)
corr_1step = np.corrcoef(x0, np.clip(x0_1step, 0, 1))[0, 1]
corr_iter = np.corrcoef(x0, x_iter)[0, 1]
print(f'一步采样 与原始信号相关性: {corr_1step:.3f}(一次去噪,误差直接放大)')
print(f'迭代采样 与原始信号相关性: {corr_iter:.3f}(45 步,每步只去一小层)')
print('➡️ 一步从纯噪声恢复 = 网络要在一步内猜出全部噪声 → 误差放大;'
'迭代每步只猜"一小层"→ 误差不累积')
assert corr_iter > corr_1step
print('✅ 真实案例完成:扩散必须迭代采样的量化证据')
一步采样 与原始信号相关性: 0.711(一次去噪,误差直接放大) 迭代采样 与原始信号相关性: 1.000(45 步,每步只去一小层) ➡️ 一步从纯噪声恢复 = 网络要在一步内猜出全部噪声 → 误差放大;迭代每步只猜"一小层"→ 误差不累积 ✅ 真实案例完成:扩散必须迭代采样的量化证据
📝 自测清单¶
- 能手写前向加噪(q_sample)并解释噪声调度
- 能说出扩散训练目标(预测噪声 MSE)
- 能手写/口述反向采样迭代流程
- 能解释 CFG 采样公式与 w 的作用
- 能背出生成模型家族对比



