🎬 03 · 视频多模态与音视频理解¶
视频 = 帧序列 + (可能)音频。本节讲视频多模态的三种建模路线(帧拼接/时间池化/时序注意力)、 音视频对齐思想,并手写一个简化"帧序列 → 时序聚合 → 分类"流程。
🎬 背景故事¶
一张图好懂,可视频是每秒 30 帧——机器怎么"看"视频?……
一张图好懂,可视频每秒 30 帧,还配着音频。机器要"看"懂一段视频,第一步就得回答:怎么把这么多帧喂给模型? 全喂进去 token 爆炸,只喂一帧又丢了时序。本节讲视频建模三条路线(帧拼接/时间池化/时序注意力),并延伸到音视频对齐和长视频处理。
🧭 本节逻辑主线:视频的困难(帧多+时序)→ 三条建模路线 → 帧位置编码/时序聚合手写 → 音视频对齐(对比学习)→ 长视频 token 爆炸怎么破。
📋 本节要解决的问题¶
| # | 问题 | 方法 |
|---|---|---|
| 1 | 视频怎么喂给模型? | 采样帧 → 帧级编码 → 时序建模 |
| 2 | 时序信息怎么聚合? | 拼接 / 平均池化 / 时序注意力 |
| 3 | 音频怎么对进来? | 音频 embedding 与视频对齐 |
| 4 | VideoLLM 怎么理解长视频? | 关键帧 / 分段 / 记忆 |
import matplotlib
import matplotlib.pyplot as plt
matplotlib.rcParams['font.sans-serif'] = ['Microsoft YaHei', 'SimHei', 'PingFang SC', 'Noto Sans CJK SC', 'Arial Unicode MS']
matplotlib.rcParams['axes.unicode_minus'] = False
import numpy as np
import pandas as pd
rng = np.random.default_rng(42)
1️⃣ 视频建模三种路线(必背)¶
print('''路线1:帧拼接(early fusion)
每帧过 ViT -> 帧 token 直接拼接成长序列 -> 过 LLM/Transformer
优点:全信息;缺点:序列长、计算贵、难以长视频。
路线2:时间池化/平均(late fusion)
每帧独立编码 -> 做帧平均/最大池化 -> 单向量
优点:轻量;缺点:丢失时序关系(顺序打乱结果一样)。
路线3:时序注意力(推荐,VideoLLM 主流)
帧 token 后加位置编码 -> 时序 Transformer / Q-Former
优点:保留顺序关系、可控压缩;代表:Video-LLaMA、Qwen2-VL。
''')
路线1:帧拼接(early fusion) 每帧过 ViT -> 帧 token 直接拼接成长序列 -> 过 LLM/Transformer 优点:全信息;缺点:序列长、计算贵、难以长视频。 路线2:时间池化/平均(late fusion) 每帧独立编码 -> 做帧平均/最大池化 -> 单向量 优点:轻量;缺点:丢失时序关系(顺序打乱结果一样)。 路线3:时序注意力(推荐,VideoLLM 主流) 帧 token 后加位置编码 -> 时序 Transformer / Q-Former 优点:保留顺序关系、可控压缩;代表:Video-LLaMA、Qwen2-VL。
2️⃣ 手写:视频帧采样与帧级编码¶
# 🖼️ 配图:视频建模三条路线(帧拼接 / 时空 token / 双流)
fig, ax = plt.subplots(figsize=(8, 4.6))
ax.axis('off'); ax.set_xlim(0, 10); ax.set_ylim(0, 5)
def box(x, y, w, h, text, fc):
ax.add_patch(plt.Rectangle((x, y), w, h, fc=fc, ec='#334155', lw=1.5))
ax.text(x + w / 2, y + h / 2, text, ha='center', va='center', fontsize=9)
def arrow(x1, y1, x2, y2):
ax.annotate('', xy=(x2, y2), xytext=(x1, y1),
arrowprops=dict(arrowstyle='-|>', color='#64748b', lw=1.5))
# 输入视频帧
for i in range(5):
ax.add_patch(plt.Rectangle((0.4 + i * 0.6, 4.0), 0.5, 0.5, fc='#cbd5e1', ec='#475569'))
ax.text(2.0, 4.55, '视频帧 f1..fT', fontsize=9.5, ha='center')
# 路线1
box(0.8, 2.3, 3.0, 1.1, '路线1 帧拼接\n每帧过 ViT → 拼接 token\n(长度 = T×256)', '#bfdbfe')
arrow(1.7, 4.0, 1.7, 3.4)
# 路线2
box(4.9, 2.3, 3.0, 1.1, '路线2 时空 token\n3D patch 切块 (S×T)\n→ Video Transformer', '#fde68a')
arrow(4.6, 4.0, 6.0, 3.4)
# 路线3
box(7.0, 0.7, 2.7, 1.1, '路线3 双流\n空间流+时间流\n晚融合', '#fbcfe8')
arrow(4.2, 4.0, 8.1, 1.8)
box(0.6, 0.7, 2.7, 1.1, '难点:帧多 → token 爆炸\n采样可控制计算量', '#fef9c3')
plt.title('视频建模三路线:拼接 / 时空 token / 双流', fontsize=11)
plt.show()
print('➡️ 面试答"视频怎么做":先说三路线 + 各自 token 量,再说"采样控预算"')
➡️ 面试答"视频怎么做":先说三路线 + 各自 token 量,再说"采样控预算"
C:\Users\24260\AppData\Local\Temp\ipykernel_43192\2605348724.py:29: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.show()
# 模拟:30 秒视频,每 2 秒采 1 帧 = 15 帧,每帧由 ViT 编码为 1024 维
n_frames = 15
frame_feat = rng.normal(0, 1, (n_frames, 1024))
print('帧特征:', frame_feat.shape, '(15 帧 × 1024 维)')
print('➡️ 实际做法:抽帧(均匀/关键帧)+ 每帧过 ViT 得到 token 序列')
帧特征: (15, 1024) (15 帧 × 1024 维) ➡️ 实际做法:抽帧(均匀/关键帧)+ 每帧过 ViT 得到 token 序列
📐 公式推导:视频时序聚合——位置编码 / 池化 / 时序注意力¶
帧位置编码(给帧特征 $\mathbf{f}_t \in \mathbb{R}^d$、$t=0..T{-}1$ 注入顺序信息;简化用归一化时间戳):
$$ \mathbf{f}_t' = \mathbf{f}_t + \epsilon_t \cdot \frac{t}{T}, \qquad \epsilon_t \sim \mathcal{N}(0,\; \sigma^2 I) $$
平均池化(路线2,丢弃顺序):$\bar{\mathbf{f}} = \frac{1}{T} \sum_{t=1}^{T} \mathbf{f}_t'$ 时序自注意力(路线3,保留全局时序关系):与 ViT 同构,但 $Q,K,V$ 作用于帧序列——第 $t$ 帧的输出是所有帧的加权组合:
$$ \mathbf{o}_t = \sum_{t'=1}^{T} \mathrm{softmax}_{t'}\Big( \frac{\mathbf{f}_t'^\top W_Q^\top W_K \mathbf{f}_{t'}'}{\sqrt{d_k}} \Big) \, W_V \mathbf{f}_{t'}' $$
推导要点:① 平均池化损失顺序信息,适合"场景无关"任务;② 时序注意力让模型学习"哪些帧该互相关注"——注意力矩阵 $\alpha \in \mathbb{R}^{T \times T}$ 的行和为 1(softmax 性质),对角线强表示"帧主要靠自己"、非对角线强表示"帧间关联";③ 代码断言 attn 行和 = 1 正是验证 softmax 归一化。
✍️ §2.1 手算 视频帧采样与 token 预算:16 帧 = 3136 个 token¶
视频比图像贵在"时间轴"——手算采样率、token 数、压缩比,再顺手算一个音视频对齐分数,把 §2 与 §4 串起来。
第 1 步:均匀采样
10 秒、30 fps 的视频共 $30\times10=300$ 帧;均匀采样 16 帧:
$$\text{间隔}=\frac{300}{16}=18.75\ \text{帧}\approx \text{每 } \frac{18.75}{30}=0.625\ \text{s 采 1 帧}$$
第 2 步:token 预算(224×224、patch 16)
每帧 $14\times14=196$ 个 patch token(+CLS 为 197):
- 16 帧:$196\times16=$ 3136 token(含 CLS 为 3152)
- 全量 300 帧:$196\times300=$ 58800 token(显存直接爆掉)
第 3 步:压缩比 = 时间采样比(自洽校验)
$$\frac{58800}{3136}=18.75=\frac{300}{16}\ \checkmark$$
token 数按采样比例线性下降——这就是 VideoLLM 必须抽帧的原因(16 帧就够理解,全量帧不可行)。
第 4 步:音视频对齐分数(3 段,音频/视频均为单位向量)
$$a_1=(1,0),\ a_2=\big(\tfrac{1}{\sqrt2},\tfrac{1}{\sqrt2}\big),\ a_3=(0,1);\qquad v_1=(1,0),\ v_2=(0.6,0.8),\ v_3=(0,1)$$
| 音频\↓视频 | $v_1$ | $v_2$ | $v_3$ |
|---|---|---|---|
| $a_1$ | 1.000 | 0.600 | 0.000 |
| $a_2$ | 0.7071 | 0.9899 | 0.7071 |
| $a_3$ | 0.000 | 0.800 | 1.000 |
对角线均最大(top-1 命中 3/3),平均对齐分数 $=(1.000+0.9899+1.000)/3\approx$ 0.9966。
手算收获:
- 采样间隔 = 总帧数 ÷ 采样帧数,token 压缩比 = 采样率:抽帧是"时间维降采样",是省显存最直接的手段
- 视频 token 数 = 帧数 × 每帧 token(196/帧 直接复用 01 的结论)——长视频必须抽帧或压缩(Q-Former / 池化,见 02)
- 音视频对齐与图文对齐完全同构:分数矩阵对角线最高即"对准",0.9966 的均值说明 3 对都命中——任务不同、数学相同
- 面试速答:30 秒视频 900 帧,理解任务抽 8~16 帧足够;token 预算按"帧数 × 帧内 token"口算
下面 numpy 复算。
# ---- §2.1 验证:numpy 复算 视频帧采样与 token 预算 ----
import numpy as np
hc_total = 30 * 10 # 300 帧
hc_n_sample = 16
hc_interval = hc_total / hc_n_sample # 18.75 帧
print(f'300 帧采样 {hc_n_sample} 帧 → 每 {hc_interval} 帧取 1(≈{hc_interval / 30:.3f} s/帧)')
hc_tok_per_frame = 14 * 14 # 224/16 patch 网格
hc_tok16 = hc_tok_per_frame * hc_n_sample
hc_tok_all = hc_tok_per_frame * hc_total
print(f'每帧 {hc_tok_per_frame} token:16 帧 = {hc_tok16},全量 = {hc_tok_all}')
assert hc_tok16 == 3136 and hc_tok_all == 58800
print(f'token 压缩比 = {hc_tok_all / hc_tok16}(= 时间采样比 {hc_interval})')
assert abs(hc_tok_all / hc_tok16 - hc_interval) < 1e-9
hc_a = np.array([[1.0, 0.0], [1 / np.sqrt(2), 1 / np.sqrt(2)], [0.0, 1.0]])
hc_v = np.array([[1.0, 0.0], [0.6, 0.8], [0.0, 1.0]])
hc_Sav = hc_a @ hc_v.T
print('音视频相似度 =\n', np.round(hc_Sav, 4))
hc_hits = sum(1 for i in range(3) if np.argmax(hc_Sav[i]) == i)
hc_sync = np.mean(np.diag(hc_Sav))
print(f'top-1 命中 {hc_hits}/3,平均对齐分数 = {hc_sync:.4f}')
assert hc_hits == 3 and abs(hc_sync - 0.9966) < 2e-4
print('\n✓ 与手算一致:3136 token、压缩比 18.75、对齐分数 0.9966')
3️⃣ 三种时序聚合对比(含可视化)¶
# 帧位置编码(让模型知道顺序)
pos = np.arange(n_frames)[:, None] / n_frames
frame_feat2 = frame_feat + rng.normal(0, 0.05, frame_feat.shape) * pos
# 路线2:平均池化
avg_pool = frame_feat2.mean(axis=0)
print('平均池化输出:', avg_pool.shape)
# 路线3:时序自注意力(简化)
def temporal_attention(x):
Wq = rng.normal(0, 0.1, (1024, 128)); Wk = rng.normal(0, 0.1, (1024, 128))
Wv = rng.normal(0, 0.1, (1024, 128))
Q = x @ Wq; K = x @ Wk; V = x @ Wv
scores = Q @ K.T / np.sqrt(128)
attn = np.exp(scores - scores.max(axis=1, keepdims=True))
attn = attn / attn.sum(axis=1, keepdims=True)
return attn @ V, attn
attn_out, attn_mat = temporal_attention(frame_feat2)
print('时序注意力输出:', attn_out.shape)
assert attn_mat.shape == (n_frames, n_frames) and np.allclose(attn_mat.sum(axis=1), 1)
print('✅ 时序注意力行归一化正确')
plt.figure(figsize=(6, 5))
plt.imshow(attn_mat, cmap='plasma')
plt.xlabel('被关注的帧'); plt.ylabel('查询帧')
plt.title('帧间时序注意力(相邻帧关注更强为佳)')
plt.colorbar()
plt.show()
print('✅ 三种聚合路线均可执行')
平均池化输出: (1024,) 时序注意力输出: (15, 128) ✅ 时序注意力行归一化正确 ✅ 三种聚合路线均可执行
C:\Users\24260\AppData\Local\Temp\ipykernel_43192\1759029484.py:29: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.show()
4️⃣ 音视频对齐(简化)¶
# 音频:过声学编码器成向量;视频:过视觉编码器;对齐 = 对比学习/拼接
n_seg = 10
aud_feat = rng.normal(0, 1, (n_seg, 512))
vid_feat = rng.normal(0, 1, (n_seg, 1024))
# 简化:投影到共同空间后算相似度
W_aud = rng.normal(0, 0.1, (512, 256)); W_vid = rng.normal(0, 0.1, (1024, 256))
a_emb = aud_feat @ W_aud; v_emb = vid_feat @ W_vid
sim_av = a_emb @ v_emb.T
print('音视频相似度矩阵:', sim_av.shape)
print('➡️ 对齐任务:音频片段与其对应视频片段相似度最高(对比学习)')
音视频相似度矩阵: (10, 10) ➡️ 对齐任务:音频片段与其对应视频片段相似度最高(对比学习)
🎯 真实案例:音视频片段对齐检索¶
背景:影视/短视频里"这段声音配哪段画面"是基础需求(自动字幕、素材检索)。 训练好的音视频对齐模型(本质是对比学习)可以用声音找画面:给一段音频 embedding, 在视频库中找最匹配的画面片段。
真实数据设计:10 段"音-视频对"(共享信号 + 独立噪声),随机挑 1 段音频做查询, 用对齐后的相似度找回正确视频片段,再批量统计"音频→视频"检索命中率。
步骤分解:构造音视频对 → 投影对齐 → 单查询演示 → 批量 Recall@1 评估。
# ===== 案例:音频→视频 片段检索 =====
# 让"配对"的音视频片段共享底层信号(模拟同一段内容的声画)
shared = rng.normal(0, 1, (n_seg, 64))
aud = shared + rng.normal(0, 0.5, (n_seg, 64))
vid = shared + rng.normal(0, 0.5, (n_seg, 64))
# 归一化后余弦相似度即检索打分(训练好的对齐模型 = 相似度量)
a_emb = aud / np.linalg.norm(aud, axis=1, keepdims=True)
v_emb = vid / np.linalg.norm(vid, axis=1, keepdims=True)
# 单查询:音频段 3 → 找对应视频段
q = 3
sim_q = a_emb[q] @ v_emb.T
order = np.argsort(-sim_q)
print(f'查询:音频段 #{q},正确对应视频段 #{q}')
print('相似度 Top-3 视频段:')
for r, j in enumerate(order[:3], 1):
mark = '✅ 正确' if j == q else ''
print(f' {r}. 视频段 #{j}: score={sim_q[j]:.3f} {mark}')
# 批量:10 段音频都找视频,统计 Recall@1
hit = np.mean([int(np.argmax(a_emb[i] @ v_emb.T) == i) for i in range(n_seg)])
print(f'\n音频→视频检索 Recall@1: {hit:.1%}')
assert hit > 0.9
print('✅ 真实案例完成:音视频对齐模型能做跨模态检索(声画匹配)')
查询:音频段 #3,正确对应视频段 #3 相似度 Top-3 视频段: 1. 视频段 #3: score=0.830 ✅ 正确 2. 视频段 #0: score=0.124 3. 视频段 #1: score=0.084 音频→视频检索 Recall@1: 100.0% ✅ 真实案例完成:音视频对齐模型能做跨模态检索(声画匹配)
5️⃣ 长视频处理(面试追问)¶
print('''长视频(>10 分钟)在 VideoLLM 里的挑战与方案:
1) token 太多:抽关键帧 / 分段处理 / 视觉 token 压缩;
2) 上下文超限:滑动窗口 + 分段摘要 + 记忆池;
3) 时序理解:位置编码 / 分段重叠;
4) 音频+字幕:多模态融合(音频/OCR 字幕辅助理解);
5) 评测:视频问答(VideoQA)/ 事件定位 / 摘要质量。
''')
长视频(>10 分钟)在 VideoLLM 里的挑战与方案: 1) token 太多:抽关键帧 / 分段处理 / 视觉 token 压缩; 2) 上下文超限:滑动窗口 + 分段摘要 + 记忆池; 3) 时序理解:位置编码 / 分段重叠; 4) 音频+字幕:多模态融合(音频/OCR 字幕辅助理解); 5) 评测:视频问答(VideoQA)/ 事件定位 / 摘要质量。
📝 自测清单¶
- 能说出视频建模三条路线及取舍
- 能手写帧采样→编码→时序聚合流程
- 能解释帧位置编码的必要性
- 能讲清音视频对齐的对比学习思路
- 能回答长视频 token 爆炸的解决方向