🎤 语音转换与歌声转换 SVC:把 A 的声音变成 B¶
从入门到精通 · 白话 + 公式拆解 + 可执行代码
本章定位:声纹识别(06)说“谁在说话”,本章反过来——改变说话人音色。
你将学到:
- 任务拆解:语音转换(VC)vs 歌声转换(SVC)、“内容/音色/韵律”三方分离;
- 经典方法:VTLN / 频谱搬移 / DTW 对齐;
- 神经方法:VQ-VAE(离散化)、AutoVC(信息瓶颈)、StarGAN-VC(循环一致性);
- 内容表示:HuBERT 自监督特征(SVC 的关键);
- SVC 实战管线:So-VITS-SVC 拆解(内容→音高→音色→波形);
- 音高(F0)搬移:对数域操作与代码。
与其它章节关系:用 00 的频谱/包络、06 的音色向量;声码器部分复用 03(TTS/VITS)。
# ---- matplotlib 中文字体(防图内中文乱码)----
import matplotlib
matplotlib.rcParams['font.sans-serif'] = ['Microsoft YaHei', 'SimHei', 'Songti SC', 'Arial Unicode MS', 'DejaVu Sans']
matplotlib.rcParams['axes.unicode_minus'] = False
# -------------------------------------------
import numpy as np
import matplotlib.pyplot as plt
from scipy import signal, stats
rng = np.random.RandomState(0)
np.set_printoptions(precision=4, suppress=True)
print('numpy', np.__version__, '| scipy OK')
numpy 2.4.3 | scipy OK
🍵 白话开篇:转换 = 把“说的话”重新“包装”¶
一段语音里有三样东西叠在一起:
- 内容:说了什么(音节/字词)——想保留;
- 音色:谁在说(声道形状)——想换掉;
- 韵律:怎么说(音高/语速/重音)——可选保留或搬运。
语音转换(VC):把 A 的内容用 B 的音色说出来(变声器); 歌声转换(SVC):把 A 唱的歌用 B 的音色重唱——音高搬移要求更高(歌是有调的!)。
为什么难(对比 TTS):TTS 是“文本→语音”全程可控; 转换是“语音→语音”,必须先分清楚哪些信息是内容、哪些是音色—— 分不清就会“内容也变了”(口音串味)或“音色没变”(白转换)。
一句话:VC/SVC = “内容-音色解耦”问题;所有方法都是某种解耦手段。
🔍 公式拆解 ①:F0 与音高搬移(歌声转换的第一步)¶
$$F0 = \text{基频(Hz)},\qquad \text{搬移:}\ F0' = k\cdot F0,\quad \log F0' = \log F0 + \log k$$
逐符号解释:
- F0:声带振动频率(男性 ~85-180Hz,女性 ~165-255Hz,歌声更高);
- $k$:搬移因子(1.2 = 高 20%;0.8 = 低 20%)——音程感知是对数的,所以用对数域加减;
- 半音换算:$k=2^{\text{semitones}/12}$(升 12 半音 = 翻倍 = 高八度);
- 歌声转换几乎必做 F0 搬移:A 和 B 音域不同,不改 F0 唱不上去/下不来。
为什么歌声比说话难:说话 F0 变化小(韵律起伏);歌声 F0 是旋律(每个音准都要对), 搬移错了就“跑调”。所以 SVC 要精确提 F0 + 精确搬移。
一句话:F0 搬移 = 对数域的“转调”——简单,但听感成败一半在它。
✍️ §1.1 手算 F0 音高搬移:半音域平移 +7 半音(×2^{7/12})¶
公式 $F0'=k\cdot F0$、$k=2^{s/12}$——3 帧音高手算搬移,把"对数域转调"变成看得见的数字。
设定:源歌手一帧歌声的 F0(基频),搬移 $\Delta s=+7$ 半音(纯五度升调):
$$F0_{\text{源}}=[196.00,\ 220.00,\ 246.94]\ \text{Hz}\ (G_3,\ A_3,\ B_3)$$
第 1 步:Hz → 半音表示($s=69+12\log_2(F0/440)$,A4=440Hz=69 半音,1 个八度 = 12 半音)
$$196.00\ \text{Hz}:\ 69+12\log_2(196/440)=69-14=55\ (G_3)$$ $$220.00\ \text{Hz}:\ 69+12\log_2(220/440)=69-12=57\ (A_3)$$ $$246.94\ \text{Hz}:\ 69+12\log_2(246.94/440)=69-10=59\ (B_3)$$
第 2 步:对数域线性平移(搬移 = 加减,不是乘除)
$$[55,\ 57,\ 59]+7=[62,\ 64,\ 66]\ (D_4,\ E_4,\ F^\sharp_4)$$
第 3 步:半音 → Hz 转回($F0'=440\cdot 2^{(s'-69)/12}$,等价 $F0'=F0\cdot 2^{7/12}$)
$$196.00\times1.498=293.67\ \text{Hz},\qquad 220.00\times1.498=329.63\ \text{Hz},\qquad 246.94\times1.498=369.99\ \text{Hz}$$
($2^{7/12}=1.4983$:升 7 半音 ≈ 频率 ×1.498,接近纯五度的 3/2=1.5)
结果表格:
| 帧 | 源 F0 (Hz) | 半音 $s$ | 搬移后 $s'=s+7$ | 目标 F0' (Hz) | 倍率 $F0'/F0$ |
|---|---|---|---|---|---|
| 1 | 196.00 | 55 | 62 | 293.67 | 1.498 |
| 2 | 220.00 | 57 | 64 | 329.63 | 1.498 |
| 3 | 246.94 | 59 | 66 | 369.99 | 1.498 |
关键性质:三帧放大倍数完全相同(1.498)——因为 $F0'=F0\cdot 2^{7/12}$ 是全局等比缩放;在对数域看就是整条旋律线向上平移 7 个半音(音程关系一个不变,只整体转调)。
手算收获:
- 半音表示 $s=69+12\log_2(f/440)$ 把"指数缩放"变成"线性平移":搬移 $\Delta s$ 半音 = 对数域加 $\Delta s$、频率域乘 $2^{\Delta s/12}$——SVC 的 F0 建模都先转 log/半音域再搬
- 常用数值记牢:$2^{1/12}=1.0595$(半音)、$2^{7/12}=1.4983$(纯五度 ≈3/2)、$2^{12/12}=2$(八度)——面试口算 F0 搬移全靠这三个数
- 搬移不碰音色:F0 只管音高,声道形状(共振峰/频谱包络)不变 → 同一旋律换人唱;音色由 speaker embedding / 频谱包络决定(notebook §VQ-VAE / AutoVC / So-VITS-SVC)
- 每帧 F0 提不准会差一个八度(倍频/半频毛刺):196 Hz 若被提成 392 Hz,半音表示就从 55 变 67(差 12)——先平滑再搬移(notebook 前文 F0 中值平滑 code)是 SVC 前处理标配
- 歌声比说话难:说话 F0 起伏慢、错一点无感;歌声每个音都要"准",$\Delta s$ 差 1 半音就是明显跑调——所以 SVC 要先精确提 F0 再精确搬移
下面 numpy 复算。
# ---- §1.1 验证:numpy 复算 F0 音高搬移 ----
import numpy as np
hc_f0 = np.array([196.00, 220.00, 246.94]) # 源 F0 (Hz)
hc_ds = 7.0 # 搬移 +7 半音
hc_s = 69 + 12 * np.log2(hc_f0 / 440.0) # Hz → 半音表示
hc_s2 = hc_s + hc_ds # 对数域线性平移
hc_f0_2 = 440.0 * 2 ** ((hc_s2 - 69) / 12.0) # 半音 → Hz
hc_k = 2 ** (hc_ds / 12.0) # 频率缩放因子
print('半音表示 =', np.round(hc_s, 4), ' → 搬移后 =', np.round(hc_s2, 4))
print('目标 F0 =', np.round(hc_f0_2, 2), ' Hz 倍率 2^(7/12) =', round(hc_k, 4))
assert np.allclose(hc_s, [55, 57, 59], atol=0.05)
assert np.allclose(hc_f0_2, [293.67, 329.63, 369.99], atol=0.05)
assert abs(hc_k - 1.4983) < 1e-4
# 等价直接缩放:F0' = F0 * 2^(Δs/12)
assert np.allclose(hc_f0_2, hc_f0 * hc_k, atol=1e-6)
print('缩放等价性 F0*2^(7/12) =', np.round(hc_f0 * hc_k, 2), '✓')
# 倍频毛刺演示:196 Hz 被误提成 392 Hz → 半音差整一个八度
hc_err = 69 + 12 * np.log2(392.0 / 440.0) - hc_s[0]
print('196→392 Hz 的倍频误判 = %+.1f 半音(整整一个八度)' % hc_err)
assert abs(hc_err - 12.0) < 1e-3
print('\n✓ 与手算一致:半音域平移 +7 → 频率 ×2^(7/12)≈1.498,三帧倍率相同')
🔍 公式拆解 ⑤:F0 提取——自相关法(YIN 的思路)¶
$$r_{xx}(\tau) = \sum_{n} x[n]\,x[n-\tau],\qquad F0 = \frac{f_s}{\tau^*},\ \ \tau^* = \arg\max_{\tau\in[\tau_{min},\tau_{max}]} r_{xx}(\tau)$$
逐符号解释:
- $x[n]$:一段清音(浊音)波形;$r_{xx}(\tau)$:自相关(波形与自身错位 $\tau$ 的相似度);
- 语音是准周期的:错位一个周期 $\tau = f_s/F0$ 时自相关最大 → 找出最大处即周期;
- $\tau_{min}, \tau_{max}$:对应 F0 范围(如 60~500Hz),限制搜索区间、防倍频/半频误判;
- YIN 改进:用“差分自相关”(相邻样本差)代替原自相关——对声道共振污染更鲁棒。
歌声为什么更难:谐波丰富、颤音/滑音连续变化、伴奏混叠 → 单帧估计常错一个八度 (倍频/半频)——所以 SVC 管线里 F0 要平滑 + 手工修正。
# 音高搬移演示:谐波信号提 F0 → 对数域搬移 → 重合成,验证 F0 变化
def f0_autocorr(x, fs, lo=60, hi=500):
ac = np.correlate(x, x, 'full')[len(x)-1:]
lags = np.arange(int(fs/hi), int(fs/lo))
pk = lags[np.argmax(ac[lags]/ac[0])]
return fs/pk
fs = 16000
t = np.arange(int(0.5*fs))/fs
f0_a = 180.0
x = sum((1/(h+1))*np.sin(2*np.pi*h*f0_a*t + 0.3*h) for h in range(1, 6)) # 谐波簇(似一个音)
f0x = f0_autocorr(x, fs)
k = 2**(7/12) # 升 7 半音 ≈ ×1.498
f0_b = f0_a*k
y = sum((1/(h+1))*np.sin(2*np.pi*h*f0_b*t + 0.3*h) for h in range(1, 6))
f0y = f0_autocorr(y, fs)
print('原 F0 = %.1f Hz → 7 半音后 = %.1f Hz(实测 %.1f Hz,误差 %.2f%%)'
% (f0x, f0_a*k, f0y, 100*abs(f0y-f0_a*k)/(f0_a*k)))
plt.figure(figsize=(7.5, 2.2))
plt.specgram(x[:int(0.3*fs)], NFFT=1024, Fs=fs, noverlap=512, cmap='gray_r')
plt.ylim(0, 1200); plt.title('搬移前:谐波基频约 180Hz', fontsize=10)
plt.tight_layout(); plt.show()
plt.figure(figsize=(7.5, 2.2))
plt.specgram(y[:int(0.3*fs)], NFFT=1024, Fs=fs, noverlap=512, cmap='gray_r')
plt.ylim(0, 1200); plt.title('搬移后:整体抬高到约 270Hz(谐波间距拉大)', fontsize=10)
plt.tight_layout(); plt.show()
assert abs(f0y - f0_a*k)/(f0_a*k) < 0.03
print('✓ 谐波信号的重合成 = 教科书式音高搬移;真实歌声还要保留旋律起伏(逐帧 F0)')
原 F0 = 179.8 Hz → 7 半音后 = 269.7 Hz(实测 271.2 Hz,误差 0.55%)
✓ 谐波信号的重合成 = 教科书式音高搬移;真实歌声还要保留旋律起伏(逐帧 F0)
C:\Users\24260\AppData\Local\Temp\ipykernel_47644\1474462481.py:21: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show() C:\Users\24260\AppData\Local\Temp\ipykernel_47644\1474462481.py:25: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
# F0 中值平滑:把“提取毛刺”(倍频/半频)修平——SVC 前处理的标配
fs = 16000
t7s = np.arange(int(0.5*fs))/fs
f0_true = 200 + 30*np.sin(2*np.pi*3*t7s) # 平滑旋律(带颤音)
f0_raw = f0_true.copy()
rng7 = np.random.RandomState(9)
bad = rng7.rand(len(f0_raw)) < 0.08 # 8% 帧被“提错”
f0_raw[bad] *= rng7.choice([2.0, 0.5], bad.sum()) # 倍频/半频毛刺
def med_smooth(x, w=7):
k = w//2; y = x.copy()
for i in range(k, len(x)-k):
y[i] = np.median(x[i-k:i+k+1])
return y
f0_sm = med_smooth(f0_raw)
e_raw = np.mean(np.abs(f0_raw-f0_true)/f0_true)
e_sm = np.mean(np.abs(f0_sm-f0_true)/f0_true)
print('原始 F0 相对误差 = %.2f%% → 中值平滑后 = %.2f%%' % (100*e_raw, 100*e_sm))
plt.figure(figsize=(7.5, 2.6))
plt.plot(t7s, f0_true, 'k-', lw=1.5, label='真值')
plt.plot(t7s, f0_raw, 'o', ms=2, alpha=0.5, label='提取(带毛刺)')
plt.plot(t7s, f0_sm, 'r-', lw=1.5, label='中值平滑后')
plt.legend(fontsize=8); plt.xlabel('s'); plt.ylabel('F0 (Hz)')
plt.title('中值滤波:孤立毛刺被“邻里投票”修平,旋律整体保留', fontsize=10)
plt.tight_layout(); plt.show()
assert e_sm < e_raw
print('✓ SVC 流程里 F0 先平滑再搬移——不然搬移会把毛刺一起放大(跑调)')
原始 F0 相对误差 = 5.89% → 中值平滑后 = 0.02% ✓ SVC 流程里 F0 先平滑再搬移——不然搬移会把毛刺一起放大(跑调)
C:\Users\24260\AppData\Local\Temp\ipykernel_47644\2555643374.py:24: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
🍵 白话讲透经典方法:没有神经网络的变声器¶
方法 1:频率搬移(pitch shift 大法)
- 直接改 F0 / 把频谱整体搬移——变声软件(萝莉音/御姐音)的最简实现;
- 问题:只改“音高”,不改“音色”(声道共振峰没换)→ 听感“假”。
方法 2:VTLN(声道长度归一化)
- 观察:男女差异 ≈ 声道长度不同 → 共振峰按比例移动;
- 做法:对频谱做频率轴拉伸/压缩($\omega'=\alpha\omega$),再搬 F0—— 比单纯搬移更“像另一个人”。
方法 3:统计映射(GMM 时代)
- 用平行语料学习“A 谱→B 谱”的映射(GMM 回归),效果有限;
- 非平行语料只能靠“先分离内容再映射音色”——这正是神经方法的起点。
一句话:经典方法 = “改音高 + 挪共振峰”,能变但不彻底——“内容”没被正规处理。
# 频谱包络提取:倒谱 liftering——音色(共振峰)藏在包络里
fs = 16000; t07 = np.arange(int(0.3*fs))/fs
x07 = sum((1/(h+1))*np.sin(2*np.pi*h*180*t07 + 0.3*h) for h in range(1, 8))
X = np.fft.rfft(x07*np.hamming(len(x07)))
mag = np.abs(X)
logm = np.log(mag + 1e-9)
cep = np.fft.irfft(logm) # 倒谱:低部分=包络(慢变),高部分=激励细节(快变)
n_keep = 25
pad = np.zeros(len(cep)); pad[:n_keep] = cep[:n_keep] # 只留低阶倒谱(包络)
env = np.fft.rfft(pad)
env = np.exp(np.real(env)[:len(mag)])
f_axis = np.linspace(0, fs/2, len(mag))
plt.figure(figsize=(7.5, 2.6))
plt.semilogy(f_axis, mag, lw=0.6, alpha=0.7, label='幅度谱(梳齿=谐波)')
plt.semilogy(f_axis, env, lw=1.8, color='#b45309', label='包络(前 25 倒谱系数)')
plt.xlabel('Hz'); plt.legend(fontsize=8)
plt.title('频谱包络 ≈ 声道滤波特性(音色的来源);谐波梳齿 ≈ 声源(F0 的来源)', fontsize=9)
plt.tight_layout(); plt.show()
h_env = np.gradient(env); h_mag = np.gradient(mag)
assert np.mean(np.abs(h_env)) < np.mean(np.abs(h_mag)) # 包络确实平滑得多
print('✓ 倒谱低段=包络(音色),高段=激励(内容/音高)——经典 VC 就改包络不改谐波细节')
✓ 倒谱低段=包络(音色),高段=激励(内容/音高)——经典 VC 就改包络不改谐波细节
C:\Users\24260\AppData\Local\Temp\ipykernel_47644\836352930.py:18: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
🔍 公式拆解 ②:VTLN——频率轴缩放¶
$$X'(\omega) = X(\alpha\,\omega),\qquad \alpha=\frac{L_A}{L_B}\ \text{(声道长度比)}$$
逐符号解释:
- $X(\omega)$:原频谱;$X'(\omega)$:转换后频谱;
- $\alpha$:缩放因子(成人女→男 α≈0.8;男→女 α≈1.2 之类);
- 效果:共振峰按比例移动(声道越长共振峰越低)——音色“粗/细”变化;
- 与 F0 搬移配合:F0 管“音高基准”,VTLN 管“音色腔体”。
局限:全局单一 α(整句一个参数)——表达不了“每个人每个音的不同”; 所以现代方法用数据学“每帧的音色变换”。
一句话:VTLN = 对频谱做“等比缩放”,把声道长度差异当作转换模型。
# 音色迁移可视化:VTLN 频率轴缩放 → 共振峰“搬家”(这就是“换音色”的物理本质)
fs = 16000
f7 = np.linspace(100, 4000, 512)
def formant_env(f, centers, width=80):
env = np.zeros_like(f)
for c in centers:
env += np.exp(-0.5*((f-c)/width)**2)
return env
fa7 = [500, 1500, 2500] # 说话人 A 的共振峰(声道腔体)
alpha7 = 1.25 # 缩放因子(拉伸→更低沉)
ea7 = formant_env(f7, fa7); eb7 = formant_env(f7, [c*alpha7 for c in fa7])
def peaks(f, env):
idx = [i for i in range(1, len(env)-1)
if env[i] > env[i-1] and env[i] > env[i+1] and env[i] > 0.5]
return f[idx][:3]
pa7, pb7 = peaks(f7, ea7), peaks(f7, eb7)
print('A 共振峰 = %s Hz → 缩放 α=%.2f → B = %s Hz(理论 %s)'
% (pa7, alpha7, pb7, [c*alpha7 for c in pa7]))
plt.figure(figsize=(7.5, 2.6))
plt.plot(f7, ea7, label='A(原音色)', lw=2)
plt.plot(f7, eb7, '--', label='B(α=1.25 搬移)', lw=2)
plt.xlabel('Hz'); plt.ylabel('谱包络')
plt.legend(fontsize=8)
plt.title('共振峰位置整体右移(频率轴缩放)→ 听感“变了一个人”', fontsize=10)
plt.tight_layout(); plt.show()
assert np.allclose(np.array(pb7)/np.array(pa7), alpha7, atol=0.15)
print('✓ 包络形状没变、位置变了——这就是“音色可搬移”的物理:改腔体不改嗓子')
A 共振峰 = [ 496.8689 1496.6732 2496.4775] Hz → 缩放 α=1.25 → B = [ 626.6145 1878.2779 3122.3092] Hz(理论 [np.float64(621.0861056751468), np.float64(1870.8414872798435), np.float64(3120.59686888454)]) ✓ 包络形状没变、位置变了——这就是“音色可搬移”的物理:改腔体不改嗓子
C:\Users\24260\AppData\Local\Temp\ipykernel_47644\2716985912.py:25: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
🍵 白话讲透 VQ-VAE:用“字典”逼着内容与音色分开¶
核心矛盾:同样是“a”这个音,A 和 B 说出来的谱完全不同(音色混在里面)。 怎么把“a 的内容”单独抓出来?
想法(离散化):准备一本码本(codebook):K 个代表向量(如 512 个)。 把每一小段声学特征映射到最近的码字:
输入片段 → 编码器 → 连续向量 z → 查表:z_hat = 与 z 最近的码字
→ 解码器(z_hat) → 重建输入
为什么离散化能分离内容与音色:
- 码本只有 512 个字——“a”“i”“o”共用同一批码字,说话人细节塞不进去(容量有限);
- 被迫留下“大家都一样”的内容类信息(音素/音色无关的部分);
- 转换时:同一码序列 + 目标说话人音色 → 解码出 B 的声音。
VALL-E/HuBERT 等现代的“离散音频 token”都源于这个思想。
一句话:VQ-VAE = “逼网络用小字典写摘要”——写不下个人特色,只留下共识内容。
🔍 公式拆解 ③:VQ-VAE 三项损失¶
$$L = \underbrace{\|x - \hat x\|^2}_{\text{重建}} + \underbrace{\|\text{sg}(z)-e\|^2}_{\text{移动码字}} + \beta\underbrace{\|z-\text{sg}(e)\|^2}_{\text{提交损失}}$$
逐符号解释:
- $x$:输入;$\hat x$:重建(解码器(码字 e));第一项:重建损失(逼输出像输入);
- $e$:被选中的码字;$\text{sg}(\cdot)$:stop-gradient(梯度不穿过它);
- 第二项:字典损失——把码字“拉”向编码器输出 z(更新码本);
- 第三项:提交损失——把 z“推”向码字(更新编码器),系数 β(如 0.25)控制;
- 为什么用 sg 拆两项:码字和编码器交替追赶,避免互相打架、训练崩掉。
直觉:重建想让 z 自由;字典想让码字有用—— stop-gradient 让两边“各让一步”轮流动,学出稳定离散表示。
一句话:三项损失 = 重建(要能还原)+ 字典(码字要好用)+ 提交(编码器要听话)。
# VQ 量化演示:把连续向量投影到最近码字(信息“压缩成有限符号”)
rng7 = np.random.RandomState(1)
K, D = 64, 16
codes = rng7.randn(K, D)
codes /= np.linalg.norm(codes, axis=1, keepdims=True)
z = codes[rng7.randint(0, K, 500)] + 0.03*rng7.randn(500, D) # 连续向量(小噪声)
idx = np.argmin(((z[:, None, :] - codes[None, :, :])**2).sum(-1), axis=1) # 最近码字
zq = codes[idx]
err = np.mean((z - zq)**2)
uniq = len(set(idx.tolist()))
print('量化误差 = %.4f | 500 个向量只用了 %d 个不同的码字(信息被压缩成符号)' % (err, uniq))
plt.figure(figsize=(7, 2.4))
plt.hist(idx, bins=K, rwidth=0.8); plt.xlabel('码字索引'); plt.ylabel('次数')
plt.title('VQ 输出是“离散符号序列”而非连续向量——码本容量决定能装多少信息', fontsize=10)
plt.tight_layout(); plt.show()
assert uniq <= K and err < 0.05
print('✓ 体验:用有限符号代替连续向量——塞不下个人音色细节,这正是 VC 想要的内容表示')
量化误差 = 0.0009 | 500 个向量只用了 64 个不同的码字(信息被压缩成符号)
✓ 体验:用有限符号代替连续向量——塞不下个人音色细节,这正是 VC 想要的内容表示
C:\Users\24260\AppData\Local\Temp\ipykernel_47644\599295744.py:15: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
🍵 白话讲透 AutoVC:让网络自己学会“丢东西”¶
VQ-VAE 用“容量限制”逼内容/音色分离;AutoVC(2019)换了个更优雅的招: 信息瓶颈。
结构:
- 内容编码器:把整句话压成很窄的内容向量(几十维);
- 音色编码器:把任意一句“目标人参考语音”压成音色向量(不参与内容重建);
- 解码器:结合“窄内容 + 目标音色 + 音高”重建语音。
为什么有效:
- 内容向量这么窄,装不下音色(被迫只留内容);
- 音色单独从“参考句”来 → 转换 = 换参考句;
- 训练只需自监督重建(同样的说话人)+ 内容向量加扰动,不需要配对数据。
一句话:AutoVC = “小水管放内容,大水库放音色”——容量设计即解耦设计。
🍵 白话讲透 StarGAN-VC:循环一致的“翻译官”¶
非平行语音转换(A 说 A 的话、B 说 B 的话,没有“同一句话”配对)怎么做? StarGAN-VC(2018)用循环一致性(cycle consistency):
A 说的话 → 翻译成 B → 再翻译回 A → 应该和原来差不多(cycle 损失)
转子:万一转换瞎编?加判别器:B 音色得像 B(对抗损失)
两个损失缺一不可:
- 对抗损失:保证输出“像 B”(音色对);
- 循环损失:保证“来回翻译不丢内容”(内容对)——没有它,生成器会“怎么都行”。
优点:单生成器支持任意 A→B(多说话人一个模型);不需要平行语料。
一句话:StarGAN-VC = “生成对抗(像不像)+ 循环翻译(内容丢没丢)”双保险的非平行转换。
🔍 公式拆解 ④:循环一致性损失¶
$$L_{cyc} = \mathbb{E}_{x\sim X_A}\left[\|G_{BA}(G_{AB}(x)) - x\|_1\right]$$
逐符号解释:
- $G_{AB}$:A→B 生成器;$G_{BA}$:B→A 生成器;$x$:A 的一句话;
- 先译到 B 再译回 A,输出应与 $x$ 接近(L1 度量——对边缘噪声比 L2 宽容);
- 期望符号 $\mathbb{E}$:对所有训练句平均。
为什么 L1 不是 L2:L1 鼓励“大多数位置一致”(少被个别大误差支配), 频谱图重建常用 L1。
循环损失的隐含假设:来回翻译是“信息守恒”的—— 若 $G_{AB}$ 乱丢内容,$G_{BA}$ 不可能找回原句 → 循环误差大 → 被惩罚。
一句话:$L_{cyc}$ = “翻译过去再翻回来要基本不变”——无配对数据下的内容守门员。
🍵 白话讲透 HuBERT:歌声转换的“内容提取器”¶
2021 年之后 SVC 质变的关键:自监督语音预训练模型(HuBERT/wav2vec2.0) 提供近乎完美的内容特征。
HuBERT 干了两步:
- 自己造标签:对语音聚类(k-means),把每一帧标成“哪个簇”(= 伪音素标签,不需要文本);
- 学预测:遮住部分帧,用 Transformer 预测它们的簇标签—— 为了预测,模型学会“这一帧是什么发音”(内容),顺手丢掉音色细节。
为什么对 SVC 是革命:
- 之前的“内容”靠频谱/统计方法猜,噪声大;HuBERT 特征是纯内容(换说话人也几乎不变);
- So-VITS-SVC 时代:内容 = HuBERT 特征(或 soft 版本),音色 = 说话人向量, 再喂给 VITS 声学+声码器——转换质量直接起飞。
Speak/Soft VC 等 2023+ 方法都用推荐:内容特征选 HuBERT/wav2vec2。
一句话:HuBERT = “无监督学出的音素识别器”——给 SVC 提供干净内容输入。
# 音色向量演示:3 个说话人(不同共振峰位置),均值池化→2D 投影可分
rng7 = np.random.RandomState(3)
n_spk, n_utt = 3, 20
centers = {'A': np.array([0.5, 0.2, 1.0]), 'B': np.array([0.2, 1.2, 0.4]),
'C': np.array([1.1, 0.7, 0.9])} # 3 个“共振峰基准”
spk_names = ['A', 'B', 'C']
feats = []
labels = []
for s in spk_names:
for u in range(n_utt):
f = centers[s] + 0.1*rng7.randn(3) # 一句话 = 3 帧特征(假装 MFCC)
feats.append(f); labels.append(s)
feats = np.array(feats)
base = np.array([0.4, 0.5, 0.6])
emb = np.array([feats[i:i+3].mean(axis=0) - base for i in range(0, 60, 3)]) # 每句一个“音色向量”
ce = emb - emb.mean(axis=0) # 中心化后做 PCA(numpy SVD,不依赖 sklearn)
_, _, Vt = np.linalg.svd(ce, full_matrices=False)
proj = ce @ Vt[:2].T
colors = {'A': '#1f4e79', 'B': '#b45309', 'C': '#2f7f4f'}
plt.figure(figsize=(6.5, 3))
for i, s in enumerate(spk_names):
pts = proj[i*20:(i+1)*20]
plt.scatter(pts[:, 0], pts[:, 1], c=colors[s], label='说话人 %s' % s)
plt.legend(fontsize=8); plt.title('音色向量(均值池化+中心化)2D 投影:同人聚团,异人分开', fontsize=10)
plt.tight_layout(); plt.show()
print('✓ 音色向量 = “这句话统计上像谁”;真实 SVC 用 ECAPA/说话人编码器输出(06 章)')
✓ 音色向量 = “这句话统计上像谁”;真实 SVC 用 ECAPA/说话人编码器输出(06 章)
C:\Users\24260\AppData\Local\Temp\ipykernel_47644\2301423855.py:25: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
🍵 白话讲透 So-VITS-SVC:SVC 实战管线全拆¶
当前开源 SVC 主流(So-VITS-SVC / diff-svc)的骨架是 VITS(03 章 TTS)+ 内容特征:
输入歌声 → 提 F0 → [HuBERT 内容特征] + [目标说话人音色向量] + [F0]
→ VITS 声学模型(VQ→Flow→decoder)→ 波形(HiFi-GAN 声码器)
四个输入分工作用(背下来):
- HuBERT 内容特征:说了哪个音(内容,与音色无关);
- F0(基频):唱得多高(音高——歌声的灵魂);
- 音色向量:像谁在唱(参考语音或音色 ID);
- VITS 本体:把这三种合成“目标人的波形”。
So-VITS-SVC 细节:
- 用 VITS 的“VQ 音素字典”做内容粗对齐 + Flow 建模语音细节;
- 训练:目标说话人歌谱重建 + 对抗(HiFi-GAN 判别器);
- 推理:换音色向量/换 F0 搬移(如升 2 个半音)即完成转换。
一句话:SVC = “内容、音高、音色分开抽,再交给声学+声码器重合成”—— 质量上限由内容特征和声码器决定。
🔍 公式拆解 ⑤:HiFi-GAN 声码器损失(SVC 的音质保证)¶
$$L_G = \underbrace{L_{mel}}_{\text{谱相似}} + \lambda\underbrace{\sum_i L_{adv}(G;D_i)}_{\text{对抗逼真}} + \mu\underbrace{\sum_j L_{fm}(G;D_j)}_{\text{特征匹配稳定}}$$
逐符号解释:
- $L_{mel}$:生成波形与真实波形的 mel 谱 L1 距离(唱得像不像的粗判据);
- $D_i$:多个判别器(多分辨率 STFT 判别器——分别盯不同时长的结构);
- $L_{adv}$:对抗损失(让生成的波形“骗过”判别器 = 听起来像真唱);
- $L_{fm}$:特征匹配——判别器中间层的特征也要像(防止训练震荡);
- $\lambda, \mu$:权重(如 1 和 2)。
为什么多判别器:单判别器只顾“整体像”;多分辨率判别器同时盯“短片段节奏”“长片段结构”—— HiFi-GAN 音质的秘诀之一。
一句话:声码器损失 = “谱像 + 真假难分 + 训练稳定”三保险。
# HiFi-GAN 的 mel 损失数值演示:同样的波形误差,听感尺度(mel 域)惩罚更“人性”
fs = 16000; t07 = np.arange(int(0.3*fs))/fs
x_ref = sum((1/(h+1))*np.sin(2*np.pi*h*220*t07 + 0.3*h) for h in range(1, 6))
rng7 = np.random.RandomState(7)
def mel_spec(x, n_mel=24):
X = np.abs(np.fft.rfft(x*np.hamming(len(x))))
f = np.linspace(0, 8000, len(X))
mel = np.log10(1 + X[:, None]*np.exp(-0.5*((f[:, None]-np.linspace(100, 4000, n_mel)[None, :])/200.0)**2))
return mel.sum(axis=0)
errs = []
for noise_lv in [0.02, 0.1, 0.5]:
xb = x_ref + noise_lv*rng7.randn(len(x_ref))
l_wave = np.mean((xb-x_ref)**2)
l_mel = np.mean((mel_spec(xb)-mel_spec(x_ref))**2)
errs.append((noise_lv, l_wave, l_mel))
for nlv, lw, lm in errs:
print('噪声 %.2f → 波形L2 = %.4f | mel L1 = %.4f(mel 域对噪声更敏感→惩罚更狠)' % (nlv, lw, lm))
assert errs[0][2] < errs[-1][2]
print('✓ 声码器用 mel 损失 = 让人耳在意的失真被优先纠正(波形 L2 会纵容高频噪声)')
噪声 0.02 → 波形L2 = 0.0004 | mel L1 = 1483.4617(mel 域对噪声更敏感→惩罚更狠) 噪声 0.10 → 波形L2 = 0.0097 | mel L1 = 13939.1397(mel 域对噪声更敏感→惩罚更狠) 噪声 0.50 → 波形L2 = 0.2407 | mel L1 = 70090.1983(mel 域对噪声更敏感→惩罚更狠) ✓ 声码器用 mel 损失 = 让人耳在意的失真被优先纠正(波形 L2 会纵容高频噪声)
🍵 白话讲透 diff-svc 与 2023+ 路线¶
- diff-svc(扩散 SVC):用扩散模型(DDPM 那套)把“条件(内容+音高+音色)→ 干净声学特征”迭代去噪生成—— 音质上限高、细节自然,代价是慢(几十步采样);
- soft-VC / SpeechTokenizer:把内容表示做成“软离散”(多码本分层)—— 内容更细,转换更自然;
- SVC 大模型化:直接用生成式大模型(如 MaskGCT/VoiceCraft 一系)做“语音到语音”—— 一个模型同时管内容/音色/韵律,转换只是改输入。
路线总结(面试一句流):
- 传统统计 → VQ/AutoVC/StarGAN 神经解耦 → HuBERT 内容+SVC 声码器(现在的主流)
- → 扩散/大模型端到端(未来)。
一句话:音质在“声码器越来越强”,控制精度在“内容表示越来越细”。
🗂️ SVC 数据与评测¶
数据要求(比 TTS 更苛刻):
- 目标说话人 5~20 分钟干净演唱(So-VITS-SVC 常用 10min+);
- 尽量同音域、同风格(音域差太大,F0 搬移后声音“假”);
- 去噪去混响(05 章增强是前置);节奏/标点对齐(对齐到音素)。
评测(三件套):
- 音色相似度:目标参考 vs 转换输出的声纹相似度(06 章 cosine 分数);
- 内容保真:转换输出 ASR 识别是否还是原词(WER/字准确率);
- 自然度/音质:MOS(人工打分)+ 波形指标(PESQ 等做参考)。
常见翻车:内容特征混入音色(“口音串味”)、F0 搬移后高音发虚(声码器撑不住)、 训练语料太少过拟合(只会“模仿”不会“演唱”)。
一句话:SVC 评测 = 音色像不像 + 内容丢没丢 + 声音自不自然——三者都过才算成功。
🗂️ SVC 数据管线详细(So-VITS-SVC 实操)¶
- 收集:目标歌手干净演唱 5~20 分钟(同设备/同房间最好);
- 切分:按静音切成 3~8 秒片段(过长训练不稳、过短学不到乐句);
- 伴奏分离:UVR5/HTDemucs 提人声(伴奏混在输入会毁掉 F0 与内容特征);
- 对齐:文本(歌词)→ 音素对齐(MFA);无歌词就纯语音自监督;
- F0 提取:自相关/YIN + 中值平滑 + 人工检查“八度错”(SVC 质量的分水岭);
- 训练:VITS 声学 + HiFi-GAN 对抗;验证集留 10% 测克隆质量;
- 推理:输入歌 + 音色向量 + 目标 F0 搬移(±半音),声码器出波形。
工程坑:数据里混入伴奏 → F0 错;一个歌手多个风格 → 数据要带风格标签; 工具生态:So-VITS-SVC、diff-svc、DDSP-SVC 各擅胜场(音质/速度/可编辑)。
一句话:SVC 效果 80% 靠数据与 F0 预处理——模型只是“最后一步的厨子”。
⚠️ 本章高频踩坑¶
- 内容-音色没分开:直接学“A→B 谱映射”会连内容一起变(口音串味)——要显式解耦;
- F0 处理粗糙:歌声逐帧 F0 提取错误(倍频/半频)→ 跑调——要 robust F0(如 F0 中值滤波);
- 只搬 F0 不搬音色:听感“同一个人的高八度”,不像另一个人——音色要一起换;
- 参考句太短:音色向量不稳定——多句平均/长参考;
- 目标语料同质:一个人只唱一种风格 → 转换后只会那种风格;
- 训练集过小:VITS 系需要数据量,10 分钟以下容易“吞音”/音质糊;
- 评测只看音色相似:内容错词了没人管——三件套一起报;
- 版权/伦理:擅自转换他人声线涉及声音肖像权——工程红线,面试也可能问。
🎤 面试 8 连追问¶
Q1:VC 与 SVC 的区别? → SVC = 歌声 + 逐帧音高(旋律)必须保准;VC 韵律要求低。
Q2:为什么要内容-音色解耦? → 转换的本质是“内容不变、音色变”;解耦是保证“内容不变”的手段。
Q3:VQ-VAE 为什么能分离内容与音色? → 码本容量有限,塞不下音色细节 → 只剩内容类信息;音色由参考向量提供。
Q4:VQ-VAE 三项损失各自作用? → 重建(还原)、字典(码字好用)、提交(编码器听话);stop-gradient 防打架。
Q5:StarGAN-VC 非平行怎么训练? → 对抗损失(像不像 B)+ 循环损失(内容丢没丢)。
Q6:HuBERT 特征为什么是好的内容表示? → 自监督学的“伪音素”表示,与说话人/信道几乎无关。
Q7:So-VITS-SVC 的输入输出是什么? → 输入:HuBERT 内容 + F0 + 音色向量;输出:波形(HiFi-GAN)。
Q8:SVC 怎么评测? → 音色相似度 + 内容保真(ASR 回看)+ 自然度 MOS,三件套。
✅ 10 题自测¶
- 内容/音色/韵律各自定义,SVC 额外要保什么;
- F0 搬移公式与 12 半音=翻倍的关系;
- VTLN 做什么(共振峰搬移);
- VQ-VAE 三项损失 + stop-gradient 作用;
- AutoVC 信息瓶颈怎么工作;
- 循环一致性损失公式与意义;
- HuBERT 两步(聚类造标签 + 预测);
- So-VITS-SVC 四个输入分工作用;
- HiFi-GAN 三类损失;
- SVC 数据量与评测三件套。 (答案在对应小节,能默写即过关)
🗺️ 转换在语音全链路中的位置¶
06 声纹: 提取音色向量 ←→ 07 转换: 使用音色向量
00 特征/包络: 频谱包络=音色 ←→ 07 经典方法: 改包络+搬F0
03 TTS/VITS: 声学+声码器 ←→ 07 SVC: 复用 VITS 做“条件重建”
05 增强: 清洗目标语料 ←→ 07 数据准备: 干净演唱
一句话收束:转换 = 解耦的艺术——内容用自监督特征抽、音色用说话人向量装、音高用 F0 管, 最后交给强声码器唱出来。
下一章预告:声音已经能听、能认、能换——该看大模型怎么把语音变成通用智能了(08-语音大模型)。
🏁 本章学完清单¶
- 能区分 VC/SVC 与内容/音色/韵律;
- 能写 F0 对数搬移公式;
- 能解释 VTLN 与经典方法局限;
- 能默写 VQ-VAE 三项损失;
- 能解释 AutoVC 信息瓶颈;
- 能写循环一致性损失;
- 能讲 HuBERT 两步训练;
- 能拆解 So-VITS-SVC 管线;
- 能说出 HiFi-GAN 三类损失;
- 能设计 SVC 数据方案与评测。
完成!下一本:08-语音大模型与语音智能体。