🧬 14 · 宏基因组实战:物种分类与多样性分析(scikit-bio 生态)¶
最后一步:确定样本里有谁(物种分类)以及样本间差异(多样性, α/β、PCoA、PERMANOVA)。本节用 3 个真实基因组模拟"肠道菌群"样本文库, 用专业包 scikit-bio 完成全部统计与可视化——这是 QIIME2 等 真实流程的 Python 内核。
📋 本节要解决的问题¶
- 物种分类:16S/宏基因组 reads 怎么划分到物种?(k-mer 指纹 / Kraken2)
- α 多样性:单样本内部丰富度/均匀度(Shannon/Chao1/Simpson)
- β 多样性:样本间组成差异(Bray-Curtis/Jaccard + PCoA 可视化)
- 组间差异检验:PERMANOVA(置换检验)
1️⃣ 真实场景:模拟 3 物种宏基因组的 k-mer 物种鉴定¶
Kraken2 等的核心:把参考基因组切成 k-mer 建索引,reads 的 k-mer 在哪个基因组命中多,就属于哪个物种(精确匹配 + LCA 树校正)。 我们对 3 个真实基因组建 31-mer 指纹,模拟大肠杆菌 reads 验证分类正确率。
📖 论文配图 ④:Kraken 物种分类算法¶
图源:Wood & Salzberg (2014) Kraken: ultrafast metagenomic sequence classification using exact alignments, Genome Biology 15:R46(开放获取,CC-BY 4.0)。 图 1 是 Kraken 的核心算法:把一条序列的每个 k-mer 映射到**包含该 k-mer 的 基因组的最低共同祖先(LCA)**节点,再沿分类学树向上汇总,最终取覆盖 路径最深的节点作为分类结果。

怎么读这张图:底部叶子=参考基因组(taxonomy 树),每个 k-mer 指向它出现过的 基因组集合的 LCA(如 k-mer 同时出现在 E.coli 与 S.enterica → 归到肠杆菌科节点)。 序列的所有 k-mer 投票后,根到最深一致节点的路径即分类。 我们 §1 的 31-mer 指纹是它的单物种简化版(无 LCA 树,直接比命中数)。
import gzip, os, random
import numpy as np
random.seed(42); np.random.seed(42)
DATA = os.path.join('..', 'data')
def load_genome(fname):
with gzip.open(os.path.join(DATA, fname), 'rt') as f:
lines = f.read().splitlines()
return ''.join(l for l in lines if not l.startswith('>')).upper()
genomes = {
'E.coli': load_genome('ecoli_k12_genomic.fna.gz'),
'B.subtilis': load_genome('bsubtilis_genomic.fna.gz'),
'S.aureus': load_genome('saureus_genomic.fna.gz'),
}
print('参考基因组:', {k: len(v)//1000 for k, v in genomes.items()}, '(kb)')
K = 31
fingers = {}
for name, g in genomes.items():
fingers[name] = set(g[i:i+K] for i in range(0, len(g)-K+1, 997))
print('k-mer 指纹大小:', {k: len(v) for k, v in fingers.items()})
def classify_read(read, K=31):
best, bestcnt = None, 0
for name, fset in fingers.items():
cnt = sum(1 for i in range(0, len(read)-K+1, 11) if read[i:i+K] in fset)
if cnt > bestcnt:
best, bestcnt = name, cnt
return best, bestcnt
# 检验:取大肠杆菌真实 150bp 片段 60 段
ec = genomes['E.coli']
test = [ec[i:i+150] for i in random.sample(range(0, len(ec)-150, 997), 60)]
res = [classify_read(r)[0] for r in test]
acc = sum(x == 'E.coli' for x in res) / 60
print('模拟 E.coli reads 的物种分类正确率 = %.0f%%(60/60)' % (acc*100))
assert acc == 1.0
print('✅ k-mer 物种分类验证通过')
参考基因组: {'E.coli': 4641, 'B.subtilis': 4215, 'S.aureus': 2821} (kb)
k-mer 指纹大小: {'E.coli': 4656, 'B.subtilis': 4229, 'S.aureus': 2830}
模拟 E.coli reads 的物种分类正确率 = 100%(60/60)
✅ k-mer 物种分类验证通过
📖 论文配图 ④⁺:真实唾液宏基因组的物种分类分布¶
图源:Wood & Salzberg (2014) Kraken: ultrafast metagenomic sequence classification using exact alignments, Genome Biology 15:R46(开放获取,CC-BY 4.0)图 4。 三位个体的唾液样本 reads 经 Kraken 分类后,按门/纲/属层级展示的 分类学分布堆叠图——宏基因组"物种组成"的标准呈现方式。

怎么读这张图:每个条形是一份样本,颜色区块=不同分类单元的相对丰度。 健康人唾液宏基因组以链球菌、奈瑟菌等口腔优势菌为主,个体间组成差异明显。 我们 §1 的 k-mer 分类只是"判断 read 属于哪个物种",而完整的物种组成分析 还要把每个物种的 reads 汇总成相对丰度并堆叠展示——这正是 §2 丰度表的前身。
📖 论文配图 ⑤:宏基因组组装面对的 de Bruijn 图¶
图源:Nurk et al. (2017) metaSPAdes: a new versatile metagenomic assembler, Genome Research 27:824–834(开放获取)。 图 3 是混合菌株 de Bruijn 图示意:粗线=丰度高的菌株 1、细线=稀有菌株 2/3、 红色=R 重复区。(a) 输入 reads 建图后分支众多;(b)-(d) 逐步通过序列特征分辨 重复与菌株特异性路径——宏基因组组装的核心难点全部集中在这张图里。

怎么读这张图:单一纯培养基因组组装时 de Bruijn 图相对"直";宏基因组里有 多个菌株共存 → 共享 k-mer 让图出现大量分支与重复环,组装器必须连蒙带猜地 把每条 read 归到正确的菌株路径。这就是为什么宏基因组组装(MEGAHIT / metaSPAdes) 与单菌组装(SPAdes)策略不同:要靠覆盖度差异与连通性来拆解嵌合路径。
2️⃣ 六样本 OTU 丰度表(两分组)¶
扩增子/宏基因组下游都是丰度表:行=样本、列=OTU(分类单元)、 值=计数/相对丰度。我们构造真实风格的两组肠道菌群样本 (A 组以拟杆菌占优,B 组以厚壁菌占优),共 24 样本 × 15 OTU。
rng = np.random.RandomState(7)
pA = np.array([0.42,0.18,0.12,0.08,0.06,0.04,0.03,0.02,0.015,0.01,0.005,0.004,0.003,0.002,0.001]); pA = pA/pA.sum()
pB = np.array([0.03,0.04,0.05,0.08,0.12,0.16,0.18,0.14,0.08,0.04,0.02,0.015,0.01,0.008,0.007]); pB = pB/pB.sum()
table = np.vstack([rng.multinomial(5000, pA) for _ in range(12)] +
[rng.multinomial(5000, pB) for _ in range(12)])
ids = ['A%02d' % i for i in range(12)] + ['B%02d' % i for i in range(12)]
print('OTU 丰度表形状(样本×OTU):', table.shape)
print('总 reads/样本:', table.sum(axis=1)[:3], '...(均 5000)')
print('A 组优势 OTU:', np.argmax(pA), ' B 组优势 OTU:', np.argmax(pB))
assert table.shape == (24, 15) and (table.sum(axis=1) == 5000).all()
print('✅ 模拟 OTU 丰度表完成')
OTU 丰度表形状(样本×OTU): (24, 15) 总 reads/样本: [5000 5000 5000] ...(均 5000) A 组优势 OTU: 0 B 组优势 OTU: 6 ✅ 模拟 OTU 丰度表完成
3️⃣ α 多样性(scikit-bio 专业实现)¶
α 多样性度量单样本内部。核心指标:
- Shannon H:$H = -\sum p_i \ln p_i$(丰富度+均匀度)
- Chao1:物种总数估计(含未观测物种)
- Simpson 1-D:$1-\sum p_i^2$(突出优势种)
手算:丰度 [10, 5, 5] → p=[0.5,0.25,0.25] H = -(0.5·ln0.5 + 0.25·ln0.25 + 0.25·ln0.25) = -(-0.347-0.347-0.347) ≈ **1.0397
from skbio.diversity import alpha_diversity
sh = alpha_diversity('shannon', table, ids=ids)
chao = alpha_diversity('chao1', table, ids=ids)
simp = alpha_diversity('simpson', table, ids=ids)
print('α 多样性(前 5 样本):')
print('样本 Shannon Chao1 Simpson')
for i in range(5):
print(' %s %.4f %.1f %.4f' % (ids[i], sh[i], chao[i], simp[i]))
print()
print('A 组 Shannon 均值: %.4f | B 组: %.4f' % (sh[:12].mean(), sh[12:].mean()))
# 手算验证 Shannon
p = np.array([10, 5, 5], dtype=float); p = p/p.sum()
H_hand = -(p*np.log(p)).sum()
print('手算 Shannon([10,5,5]) = %.4f' % H_hand)
assert abs(H_hand - 1.0397) < 1e-3
assert round(float(sh[0]), 4) == round(float(alpha_diversity('shannon', [table[0]], ids=['A00'])[0]), 4)
print('✅ α 多样性(含手算对照)验证通过')
α 多样性(前 5 样本): 样本 Shannon Chao1 Simpson A00 1.8157 15.0 0.7633 A01 1.7922 15.0 0.7529 A02 1.8383 15.0 0.7677 A03 1.8220 15.0 0.7611 A04 1.7943 15.0 0.7563 A 组 Shannon 均值: 1.8137 | B 组: 2.3373 手算 Shannon([10,5,5]) = 1.0397 ✅ α 多样性(含手算对照)验证通过
4️⃣ β 多样性 + PCoA 可视化¶
β 多样性度量样本间组成差异。最常用 Bray-Curtis: $$BC = \frac{\sum|x_i - y_i|}{\sum(x_i + y_i)}$$ PCoA 把样本间距离矩阵嵌入二维平面:距离近 = 群落相似。
from skbio.diversity import beta_diversity
from skbio.stats.ordination import pcoa
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei', 'Microsoft YaHei', 'DejaVu Sans']
plt.rcParams['axes.unicode_minus'] = False
bc = beta_diversity('braycurtis', table, ids=ids)
print('Bray-Curtis 距离矩阵:', bc.shape)
print('A00 vs A01 = %.4f(同组近) | A00 vs B00 = %.4f(跨组远)' % (bc['A00','A01'], bc['A00','B00']))
assert bc['A00','A01'] < bc['A00','B00']
pcoa_res = pcoa(bc)
print('PCoA 轴解释度:', pcoa_res.proportion_explained.round(4).to_dict())
coords = pcoa_res.samples
fig, ax = plt.subplots(figsize=(6.5, 5.5))
ax.scatter(coords.loc['A00':'A11','PC1'], coords.loc['A00':'A11','PC2'],
s=50, label='A 组', color='#C44E52', alpha=.85)
ax.scatter(coords.loc['B00':'B11','PC1'], coords.loc['B00':'B11','PC2'],
s=50, label='B 组', color='#4C72B0', alpha=.85)
ax.set_xlabel('PCoA1 (%.1f%%)' % (pcoa_res.proportion_explained['PC1']*100))
ax.set_ylabel('PCoA2 (%.1f%%)' % (pcoa_res.proportion_explained['PC2']*100))
ax.set_title('PCoA:两组宏基因组样本群落差异明显')
ax.legend(); plt.tight_layout(); plt.show()
print('✅ β 距离 + PCoA 完成(两组在图上分离)')
Bray-Curtis 距离矩阵: (24, 24) A00 vs A01 = 0.0272(同组近) | A00 vs B00 = 0.6030(跨组远)
PCoA 轴解释度: {'PC1': 0.9916, 'PC2': 0.0042, 'PC3': 0.0012, 'PC4': 0.0007, 'PC5': 0.0005, 'PC6': 0.0004, 'PC7': 0.0003, 'PC8': 0.0003, 'PC9': 0.0002, 'PC10': 0.0002, 'PC11': 0.0001, 'PC12': 0.0001, 'PC13': 0.0001, 'PC14': 0.0001, 'PC15': 0.0, 'PC16': 0.0, 'PC17': 0.0, 'PC18': 0.0, 'PC19': 0.0, 'PC20': 0.0, 'PC21': 0.0, 'PC22': 0.0, 'PC23': 0.0, 'PC24': 0.0}
✅ β 距离 + PCoA 完成(两组在图上分离)
5️⃣ 组间差异检验:PERMANOVA¶
PCoA 图"看起来"分离,但统计显著吗?PERMANOVA(置换多元方差分析):
- 原假设:组间与组内距离无差异
- 统计量:pseudo-F = 组间方差/组内方差
- P 值:把样本分组标签随机打乱 999 次,看真实 F 处于置换分布的什么位置
- p < 0.05 → 组间差异显著
置换检验不假设正态性,宏基因组社区分析的标准检验(QIIME2 adonis2/PERMANOVA)。
from skbio.stats.distance import permanova
grouping = ['A']*12 + ['B']*12
res = permanova(bc, grouping, permutations=999, seed=1)
print('PERMANOVA 结果:')
print(' pseudo-F = %.2f' % res['test statistic'])
print(' p-value = %.4f' % res['p-value'])
print(' (F 越大 → 组间/组内差异越大;p<0.05 拒绝"无差异")')
assert res['p-value'] < 0.05
print('✅ 两组宏基因组组成差异显著(p<0.001)')
PERMANOVA 结果: pseudo-F = 5945.53 p-value = 0.0010 (F 越大 → 组间/组内差异越大;p<0.05 拒绝"无差异") ✅ 两组宏基因组组成差异显著(p<0.001)
6️⃣ 手算示例:Bray-Curtis 与 PERMANOVA 直觉¶
BC 手算:样本 X=[10,4,8,0,2]、Y=[3,0,12,6,0] 分子=|10-3|+|4-0|+|8-12|+|0-6|+|2-0|=23;分母=45 → BC=23/45≈0.511
PERMANOVA 直觉:若两组样本随机混放时距离结构与真实分组一样好地解释 (F 置换值经常 ≥ 观测 F),则观测分组的信息量不高 → p 大; 本例 999 次置换中几乎全部 F < 观测 F → p≈0.001 → 分组显著。
# 手算验证 BC
def bray_curtis(x, y):
x = np.array(x, dtype=float); y = np.array(y, dtype=float)
return np.abs(x-y).sum() / (x+y).sum()
X = [10,4,8,0,2]; Y = [3,0,12,6,0]
bc_hand = bray_curtis(X, Y)
print('手算 BC(X,Y) = 23/45 = %.4f' % bc_hand)
assert abs(bc_hand - 23/45) < 1e-9
# skbio 一致性检查
from skbio.diversity import beta_diversity as bd2
bc_sk = bd2('braycurtis', [X, Y], ids=['X','Y'])
print('scikit-bio BC 值 = %.4f(与手算一致)' % bc_sk['X','Y'])
assert abs(bc_sk['X','Y'] - 23/45) < 1e-6
print('✅ 手算与专业包一致')
手算 BC(X,Y) = 23/45 = 0.5111 scikit-bio BC 值 = 0.5111(与手算一致) ✅ 手算与专业包一致
✅ 自测清单¶
- 能解释 k-mer 指纹做物种分类的原理(Kraken2 思想)
- 能手算 Shannon 与 Bray-Curtis
- 能读懂 PCoA 图(距离近=相似)
- 能解释 PERMANOVA 置换检验的 p 值含义