🔍 05 · 跨模态检索与评估¶
多模态模型上线怎么评估?图文检索(text-to-image / image-to-text) 是最直接的任务。 本节手写跨模态检索 top-k、Recall@K、zero-shot 分类准确率,并演示 CLIP score 思想。
🎬 背景故事¶
模型训好了,怎么证明它真的好?……
CLIP 训好了,怎么证明它"图文匹配"的能力是真的?这就需要评估。本节讲透跨模态检索的评估指标(Recall@K)、zero-shot 分类准确率、CLIP score 与 FID,并揭示评估里最常见的五大陷阱——比如测试集和训练集泄露、噪声数据污染等。
🧭 本节逻辑主线:检索怎么评估(Recall@K)→ zero-shot 怎么量化 → CLIP score 是什么 → FID 怎么算 → 评测五大陷阱如何避免。
📋 本节要解决的问题¶
| # | 问题 | 方法 |
|---|---|---|
| 1 | 图文检索怎么评估? | Recall@K |
| 2 | 检索怎么实现? | embedding 相似度 top-k |
| 3 | zero-shot 迁移怎么测? | 模板+分类准确率 |
| 4 | 生成质量怎么评? | CLIP score / 人工偏好 |
import matplotlib
import matplotlib.pyplot as plt
matplotlib.rcParams['font.sans-serif'] = ['Microsoft YaHei', 'SimHei', 'PingFang SC', 'Noto Sans CJK SC', 'Arial Unicode MS']
matplotlib.rcParams['axes.unicode_minus'] = False
import numpy as np
import pandas as pd
rng = np.random.default_rng(42)
1️⃣ 构造图文 embedding 测试集¶
n = 500
# 确定性共享向量 + 可调噪声:控制检索难度
shared = rng.normal(0, 1, (n, 64))
img_emb = shared + rng.normal(0, 1.0, (n, 64))
txt_emb = shared + rng.normal(0, 1.0, (n, 64))
img_emb /= np.linalg.norm(img_emb, axis=1, keepdims=True)
txt_emb /= np.linalg.norm(txt_emb, axis=1, keepdims=True)
print(f'{n} 个图文对,embedding 维度 64')
print('➡️ 检索目标:给定一个文本,找出最相似的图像(反之亦然)')
500 个图文对,embedding 维度 64 ➡️ 检索目标:给定一个文本,找出最相似的图像(反之亦然)
📐 公式推导:跨模态检索的相似度与 Recall@K、CLIP score¶
相似度矩阵:图像 embed $\mathbf{I} \in \mathbb{R}^{n \times d}$、文本 embed $\mathbf{T} \in \mathbb{R}^{n \times d}$(列归一化后):
$$ S = \mathbf{I} \, \mathbf{T}^\top \in \mathbb{R}^{n \times n}, \qquad S_{ij} = \cos(\mathbf{I}_i, \mathbf{T}_j) = \frac{\mathbf{I}_i \cdot \mathbf{T}_j}{\|\mathbf{I}_i\|\,\|\mathbf{T}_j\|} $$
Recall@K(检索指标):对每个 query(如第 $i$ 张图),看正确匹配 $\mathbf{T}_i$ 是否出现在相似度降序的前 $K$ 位:
$$ \mathrm{Recall@K} = \frac{1}{n} \sum_{i=1}^{n} \mathbb{1}\big[\, \mathrm{rank}_i \le K \,\big], \qquad \mathrm{rank}_i = \big|\{ j : S_{ij} \ge S_{ii} \}\big| $$
CLIP score(生成评估):生成图像 $\hat{I}$ 与文本描述 $T$ 的余弦相似度,衡量"图文相关性":
$$ \mathrm{CLIP\,score}(\hat{I}, T) = \cos\big( \mathrm{CLIP}_{img}(\hat{I}),\; \mathrm{CLIP}_{txt}(T) \big) $$
推导要点:① 列归一化使相似度 = 余弦,尺度无关;② 加噪实验的退化来自"共享信号被噪声淹没"——embed 间距离被噪声主导,rank 随机化;③ Recall@K 只数"前 K 命中率",不惩罚命中的具体位置——位置敏感用 MRR($\frac{1}{\mathrm{rank}}$ 取平均)。
✍️ §2.1 手算 Recall@1 / Recall@5 / MRR:5 个查询的排序例子¶
指标的本质是"数排名"——给一个 5×5 相似度矩阵,手算每个查询的正确项排第几,再套 Recall@K、MRR、mAP 公式。
设定:5 个图文对,相似度矩阵 $S$(行 = 图像 query,列 = 文本候选,对角线 = 正确配对,数值已按降序好读排列):
| 图像\↓文本 | $t_1$ | $t_2$ | $t_3$ | $t_4$ | $t_5$ |
|---|---|---|---|---|---|
| $i_1$ | 0.90 | 0.30 | 0.20 | 0.10 | 0.05 |
| $i_2$ | 0.20 | 0.85 | 0.40 | 0.30 | 0.15 |
| $i_3$ | 0.10 | 0.80 | 0.75 | 0.40 | 0.30 |
| $i_4$ | 0.20 | 0.65 | 0.90 | 0.60 | 0.30 |
| $i_5$ | 0.15 | 0.30 | 0.25 | 0.95 | 0.85 |
第 1 步:逐行降序排序,读出正确项 rank
- $i_1$:0.90 是行内最大 → rank 1
- $i_2$:0.85 是行内最大 → rank 1
- $i_3$:0.80 排在 0.75 前面 → rank 2
- $i_4$:0.90、0.65 都在 0.60 前面 → rank 3
- $i_5$:0.95 在 0.85 前面 → rank 2
$$\text{rank}=[1,\ 1,\ 2,\ 3,\ 2]$$
第 2 步:Recall@K($\frac{1}{5}\sum \mathbb{1}[rank_i\le K]$)
- $\text{Recall@1}=2/5=0.4$
- $\text{Recall@2}=4/5=0.8$
- $\text{Recall@3}=5/5=1.0$(rank 3 也命中)
第 3 步:MRR 与 mAP
$$\text{MRR}=\frac{1}{5}\Big(\frac{1}{1}+\frac{1}{1}+\frac{1}{2}+\frac{1}{3}+\frac{1}{2}\Big)=\frac{3.3333}{5}=0.6667$$
每 query 只有 1 个相关项时 $AP_i=1/\text{rank}_i$,所以 mAP = MRR = 0.6667。
手算收获:
- Recall@K 只数"前 K 名有没有正确项",不惩罚具体位置:rank 2 和 rank 3 对 Recall@5 贡献完全一样——位置敏感指标要用 MRR($1/\text{rank}$)
- K 增大指标单调不降:0.4 → 0.8 → 1.0——因为条件 $rank\le K$ 越来越容易满足(面试常问"为什么 Recall 曲线递增")
- 检索质量差的典型信号:对角线不是行内最大(rank>1 的查询变多)——正是 §3 加噪退化的机制:噪声淹没共享信号,排序随机化
- 单相关样本下 mAP=MRR 是"白送"的推导:AP 只在正确项位置计一次精度,即为 $1/\text{rank}$
下面 numpy 复算。
# ---- §2.1 验证:numpy 复算 Recall@K 与 MRR ----
import numpy as np
hc_S = np.array([[0.90, 0.30, 0.20, 0.10, 0.05],
[0.20, 0.85, 0.40, 0.30, 0.15],
[0.10, 0.80, 0.75, 0.40, 0.30],
[0.20, 0.65, 0.90, 0.60, 0.30],
[0.15, 0.30, 0.25, 0.95, 0.85]], dtype=float)
hc_ranks = [int(np.where(np.argsort(-hc_S[i]) == i)[0][0]) + 1 for i in range(5)]
print('正确项 rank =', hc_ranks, '(手算 [1, 1, 2, 3, 2])')
assert hc_ranks == [1, 1, 2, 3, 2]
hc_recall = {k: sum(1 for r in hc_ranks if r <= k) / 5 for k in (1, 2, 3, 5)}
for k in (1, 2, 3, 5):
print(f'Recall@{k} = {hc_recall[k]:.3f}')
assert abs(hc_recall[1] - 0.4) < 1e-9 and abs(hc_recall[2] - 0.8) < 1e-9
assert abs(hc_recall[3] - 1.0) < 1e-9 and abs(hc_recall[5] - 1.0) < 1e-9
hc_mrr = np.mean([1.0 / r for r in hc_ranks])
print(f'MRR = {hc_mrr:.4f}(单相关样本下 = mAP)')
assert abs(hc_mrr - 2 / 3) < 1e-9
print('\n✓ 与手算一致:rank=[1,1,2,3,2]、Recall@1=0.4、MRR=0.6667')
2️⃣ 跨模态检索 top-k 与 Recall@K¶
# 🖼️ 配图:跨模态检索 = 相似度矩阵 + top-k(图文互查)
# 画相似度热图并标出每行的 top-3(对角上方的命中)
sim = img_emb @ txt_emb.T
plt.figure(figsize=(6.2, 5))
plt.imshow(sim, cmap='RdYlBu_r', vmin=-0.3, vmax=1.0)
plt.colorbar(shrink=0.8, label='余弦相似度')
plt.xlabel('文本 j'); plt.ylabel('图像 i')
# 标出 8 行的 top-1 命中框
ax = plt.gca()
for i in range(8):
j = int(sim[i].argmax())
ax.add_patch(plt.Rectangle((j - 0.5, i - 0.5), 1, 1, fill=False, ec='#111827', lw=2))
plt.plot([-0.5, 99.5], [-0.5, 99.5], 'k--', lw=1, alpha=0.5)
plt.title('相似度矩阵:每行找 top-1 文本(命中=对角线)', fontsize=11)
plt.tight_layout(); plt.show()
print('➡️ 检索 = 用 embedding 算相似度取 top-k;理想情况命中在对角线(图 i 对文本 i)')
➡️ 检索 = 用 embedding 算相似度取 top-k;理想情况命中在对角线(图 i 对文本 i)
C:\Users\24260\AppData\Local\Temp\ipykernel_14476\292075362.py:15: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
sim = img_emb @ txt_emb.T # (n, n) 图像-文本相似度
def recall_at_k(sim_matrix, k):
# 对每个查询,看正确配对是否在 top-k
n = sim_matrix.shape[0]
hits = sum(1 for i in range(n) if i in np.argsort(-sim_matrix[i])[:k])
return hits / n
for k in [1, 5, 10]:
print(f'text->image Recall@{k:>2} = {recall_at_k(sim, k):.3f}')
r10 = recall_at_k(sim, 10)
assert r10 > 0.5
print('\n✅ 检索质量随 k 增大而提升(与直觉一致)')
text->image Recall@ 1 = 0.918 text->image Recall@ 5 = 0.986 text->image Recall@10 = 0.992 ✅ 检索质量随 k 增大而提升(与直觉一致)
3️⃣ 加噪后的检索退化(评估敏感性)¶
# 加大扰动看检索退化(在共享向量基础上加不同强度噪声)
for noise_scale in [0.5, 1.0, 2.0]:
img2 = shared + rng.normal(0, noise_scale, (n, 64))
img2 /= np.linalg.norm(img2, axis=1, keepdims=True)
sim2 = img2 @ txt_emb.T
r = recall_at_k(sim2, 5)
print(f'噪声尺度 {noise_scale}: Recall@5 = {r:.3f}')
print('\n➡️ 评估要覆盖不同难度:模型在"干净/带噪/难负样本"下都要测')
噪声尺度 0.5: Recall@5 = 1.000 噪声尺度 1.0: Recall@5 = 0.970
噪声尺度 2.0: Recall@5 = 0.604 ➡️ 评估要覆盖不同难度:模型在"干净/带噪/难负样本"下都要测
4️⃣ Zero-shot 分类准确率(CLIP 评估)¶
# 模拟 10 类分类:每类 50 张图,类名文本模板与图相似度(true 类最高)
n_cls, per = 10, 50
label = np.repeat(np.arange(n_cls), per)
# 每类一个"类级别"共享向量:类中心图像与类名模板共享它 -> 同类相似度高
cls_vec = rng.normal(0, 1, (n_cls, 64))
img_cls = cls_vec + rng.normal(0, 0.5, (n_cls, 64)) # 类中心图像
txt_template = cls_vec + rng.normal(0, 0.5, (n_cls, 64)) # 类名文本模板
img_cls /= np.linalg.norm(img_cls, axis=1, keepdims=True)
txt_template /= np.linalg.norm(txt_template, axis=1, keepdims=True)
sim_cls = img_cls @ txt_template.T
# 每张图与自己类的模板相似度最高
sim_cls = img_cls @ txt_template.T
# 给每个样本分配相似度(同类模板分高)
scores = np.zeros((n_cls * per, n_cls))
for i in range(n_cls):
for j in range(per):
scores[i*per + j] = sim_cls[i] + rng.normal(0, 0.2, n_cls)
pred = scores.argmax(axis=1)
acc = (pred == label).mean()
print(f'Zero-shot 分类准确率: {acc:.1%}')
assert acc > 0.9
print('✅ zero-shot 分类评估完成(无任何训练)')
Zero-shot 分类准确率: 95.8% ✅ zero-shot 分类评估完成(无任何训练)
5️⃣ 生成质量评估:CLIP score 思想¶
print('''CLIP score:生成图像与文本描述的余弦相似度,衡量"图文相关性"。
优点:免人工、快;缺点:不等于人类偏好(可能风格差但相关)。
其他评估:
图像质量:FID/IS(分布距离/多样性);
图文相关性:CLIP score / BLIP-VQA;
人类偏好:A/B 对比 / Reward model;
多模态基准:MMBench、MMMU、SEED-Bench、MM-Vet。
''')
CLIP score:生成图像与文本描述的余弦相似度,衡量"图文相关性"。 优点:免人工、快;缺点:不等于人类偏好(可能风格差但相关)。 其他评估: 图像质量:FID/IS(分布距离/多样性); 图文相关性:CLIP score / BLIP-VQA; 人类偏好:A/B 对比 / Reward model; 多模态基准:MMBench、MMMU、SEED-Bench、MM-Vet。
🎯 真实案例:完整图文检索系统的评估报告¶
背景:上线一个检索模型,不能只报一个数——需要多方向评估报告: text→image 与 image→text 双向、多个 K 值、以及"难样本"下的表现。 本节用已有 64 对 embedding,生成一份真实的评估报告,并画出 Recall@K 曲线。
真实数据设计:64 图文对(配对相似),分别评估双向检索在 K=1/2/5/10 的 Recall, 并构造"带难负样本"场景(负样本也部分相似),看指标如何变化——这就是真实评测的形态。
步骤分解:双向 recall 计算 → 曲线图 → 难负样本场景对比 → 报告解读。
# ===== 案例:双向图文检索评估报告 =====
def recall_matrix(sim_m, k):
n = sim_m.shape[0]
return sum(1 for i in range(n) if i in np.argsort(-sim_m[i])[:k]) / n
# 1) 双向评估:image→text 与 text→image
print('双向检索评估报告(64 图文对):')
print(f'{"K":>4} | {"image→text":>12} | {"text→image":>12}')
for k in [1, 2, 5, 10]:
r_i2t = recall_matrix(img_emb @ txt_emb.T, k)
r_t2i = recall_matrix(txt_emb @ img_emb.T, k)
print(f'{k:>4} | {r_i2t:>12.1%} | {r_t2i:>12.1%}')
# 2) 曲线图
ks = [1, 2, 3, 5, 8, 10, 16]
r_i2t = [recall_matrix(img_emb @ txt_emb.T, k) for k in ks]
plt.figure(figsize=(6, 4))
plt.plot(ks, r_i2t, 'o-', color='#2563eb', label='image→text')
plt.plot(ks, [recall_matrix(txt_emb @ img_emb.T, k) for k in ks], 's--', color='#f59e0b', label='text→image')
plt.xlabel('K'); plt.ylabel('Recall@K'); plt.legend(); plt.grid(alpha=0.3)
plt.title('Recall@K 曲线(K 越大命中率越高,是评测标配图)', fontsize=11)
plt.show()
# 3) 难负样本:文本语义"多义"——每个文本同时接近两个配对(更难区分)
txt_hard = 0.5 * shared + 0.5 * np.roll(shared, -1, axis=0) + rng.normal(0, 0.5, (n, 64))
txt_hard /= np.linalg.norm(txt_hard, axis=1, keepdims=True)
r_hard = recall_matrix(img_emb @ txt_hard.T, 5)
r_clean = recall_matrix(img_emb @ txt_emb.T, 5)
print(f'\n难负样本场景 Recall@5: {r_hard:.1%}(对比干净场景 {r_clean:.1%})')
print('➡️ 负样本越难,模型越容易混淆——评测要用"真实难度"才有说服力')
assert r_clean > r_hard
print('✅ 真实案例完成:图文检索多维度评估(双向 + 曲线 + 难度)')
双向检索评估报告(64 图文对): K | image→text | text→image 1 | 91.8% | 90.4% 2 | 95.2% | 96.2% 5 | 98.6% | 98.4%
10 | 99.2% | 99.2%
难负样本场景 Recall@5: 88.0%(对比干净场景 98.6%) ➡️ 负样本越难,模型越容易混淆——评测要用"真实难度"才有说服力 ✅ 真实案例完成:图文检索多维度评估(双向 + 曲线 + 难度)
C:\Users\24260\AppData\Local\Temp\ipykernel_14476\1903156315.py:22: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.show()
6️⃣ 多模态评测陷阱(面试加分点)¶
print('''1) 数据泄漏:预训练数据与评测集重叠 → 分数虚高;
2) 提示差异:prompt 模板不同结果差很大(敏感度检验);
3) 语言偏置:英文基准强不代表中文强;
4) 任务偏置:只测 OCR/计数等单一能力会误导;
5) 人工评测偏差:评判标准不一致、锚定效应。
''')
1) 数据泄漏:预训练数据与评测集重叠 → 分数虚高; 2) 提示差异:prompt 模板不同结果差很大(敏感度检验); 3) 语言偏置:英文基准强不代表中文强; 4) 任务偏置:只测 OCR/计数等单一能力会误导; 5) 人工评测偏差:评判标准不一致、锚定效应。
📝 自测清单¶
- 能手写 Recall@K 并解释含义
- 能演示噪声对检索质量的影响
- 能做 zero-shot 分类准确率评估
- 能说出 CLIP score、FID、人类偏好等评估手段
- 能列举多模态评测五大陷阱