多说话人分割聚类（Speaker Diarization）：有声书多人旁白自动区分系统搭建

1. 引言：从“谁在说话”到“谁在讲故事”

在享受一部多人演播的有声书时，你是否曾为快速识别不同角色的声音而感到困扰？或者，作为内容创作者，你是否面临海量音频素材中不同旁白者声音混杂、难以高效剪辑和管理的难题？多说话人分割聚类（Speaker Diarization） 技术正是解决这些问题的关键。

简单来说，Speaker Diarization 旨在回答一个核心问题：“谁在什么时候说了什么？” 它通过分析一段音频，自动识别出其中包含的不同说话人，并将音频流按说话人身份进行分割和聚类，为每个说话人生成独立的语音片段。

对于有声书制作、播客剪辑、会议记录、司法取证、媒体内容分析等领域，这项技术能极大提升工作效率。本文将带你从零开始，搭建一个面向“有声书多人旁白自动区分”的 Speaker Diarization 系统，涵盖核心原理、技术选型、实战代码与优化策略。

2. 核心原理：系统如何“听声辨人”？

一个典型的 Speaker Diarization 系统通常包含以下几个核心步骤，其流程如下图所示：

flowchart TD
    A[&#34;原始音频输入<br>(包含多个说话人)&#34;] --> B[语音活动检测<br>VAD]
    B --> C[&#34;纯净语音段<br>(去除静音/噪音)&#34;]
    C --> D[说话人嵌入提取<br>Speaker Embedding]
    D --> E[&#34;说话人特征向量序列&#34;]
    E --> F[聚类算法<br>Clustering]
    F --> G[&#34;说话人标签<br>(Speaker 1, Speaker 2...)&#34;]
    G --> H[时间对齐与后处理]
    H --> I[&#34;输出: 带说话人标签的片段<br>(谁, 何时开始, 何时结束)&#34;]

2.1 语音活动检测 (Voice Activity Detection, VAD)

目标：从连续音频中剔除静音和背景噪声，只保留包含人声的有效片段。 作用：减少后续步骤的计算量，并避免非人声片段干扰说话人建模。 常用工具：Silero VAD, WebRTC VAD, pyannote.audio 中的 VAD 模块。

2.2 说话人嵌入提取 (Speaker Embedding)

目标：为每个短时语音帧或片段提取一个固定长度的向量（即“声纹嵌入”），该向量能够唯一地表征说话人的声音特征。 核心思想：同一个人的不同语音片段，其嵌入向量在特征空间中应该彼此接近；不同人的嵌入向量则应彼此远离。 主流模型：

• d-vector: 早期基于深度神经网络的模型。
• x-vector: 目前工业界最常用的模型，基于时间延迟神经网络（TDNN），在 Kaldi 和 SpeechBrain 中均有实现。
• ECAPA-TDNN: 在 x-vector 基础上引入注意力机制和通道注意力，性能更优，是当前 state-of-the-art 的选择之一。
• WavLM、HuBERT 等自监督预训练模型：也可用于提取鲁棒性更强的语音表示。

2.3 聚类 (Clustering)

目标：将上一步得到的所有语音片段的嵌入向量进行分组，使得同一说话人的片段被分到同一组（簇）。 常用算法：

• 谱聚类 (Spectral Clustering)：效果较好，但计算量相对较大。
• 凝聚层次聚类 (Agglomerative Hierarchical Clustering, AHC)：经典算法，pyannote.audio 默认使用。
• K-Means：简单快速，但需要预先指定说话人数量 K。
• 基于密度的聚类 (如 HDBSCAN)：不需要预先指定簇的数量，适合说话人数量未知的场景。

2.4 时间对齐与后处理

目标：将聚类得到的说话人标签，与原始的、经过 VAD 切割的语音段的时间戳进行精细对齐，并处理一些边界情况（如非常短的片段、聚类噪声等），最终输出结构化的结果。

3. 技术选型与工具准备

我们将以 Python 为主要语言，选择当前（2025年）成熟且易用的开源工具链。

组件	推荐工具/库	说明
音频处理	librosa, soundfile, pydub	用于音频加载、格式转换、重采样等基础操作。
VAD	silero-vad	纯 PyTorch 实现，精度高，使用简单，支持 ONNX 加速。
说话人嵌入	speechbrain	提供了预训练的 ECAPA-TDNN 模型，易于提取 x-vector/ECAPA 嵌入。
聚类	scikit-learn	包含谱聚类、AHC、K-Means 等多种聚类算法。
端到端流水线	pyannote.audio (v3.1+)	强烈推荐。一个功能强大的开源工具包，封装了 VAD、嵌入、聚类、后处理的全流程，并提供了预训练模型，可以“开箱即用”。
可视化	matplotlib, plotly	用于绘制音频波形和说话人时间线。

环境安装：

# 创建虚拟环境（可选）
conda create -n speaker-diarization python=3.9
conda activate speaker-diarization

# 安装核心库
pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu118 # 根据CUDA版本选择
pip install pyannote.audio
pip install speechbrain
pip install silero-vad
pip install librosa soundfile pydub scikit-learn matplotlib plotly

重要提示：使用 pyannote.audio 的预训练模型需要先在 Hugging Face 上接受其用户协议，并获取访问令牌。

4. 实战：基于 pyannote.audio 搭建基础系统

pyannote.audio 提供了高度封装的流水线，让我们能用寥寥数行代码实现一个强大的 Diarization 系统。

4.1 基础应用：快速识别说话人

from pyannote.audio import Pipeline
import torch

# 1. 加载预训练流水线
# 你需要先设置 HF_TOKEN 环境变量，或传入 use_auth_token 参数
pipeline = Pipeline.from_pretrained(
    "pyannote/speaker-diarization-3.1",
    use_auth_token="YOUR_HF_TOKEN" # 替换为你的 Hugging Face Token
)

# 2. 将流水线移动到 GPU（如果可用）以加速
if torch.cuda.is_available():
    pipeline.to(torch.device("cuda"))

# 3. 应用流水线到音频文件
audio_file = "path/to/your/audiobook.wav"
diarization = pipeline(audio_file)

# 4. 打印结果
for turn, _, speaker in diarization.itertracks(yield_label=True):
    print(f"说话人 {speaker}: 从 {turn.start:.1f}s 到 {turn.end:.1f}s")

输出示例：

说话人 SPEAKER_00: 从 0.2s 到 5.7s
说话人 SPEAKER_01: 从 5.9s 到 12.3s
说话人 SPEAKER_00: 从 12.5s 到 18.1s
...

4.2 结果可视化

import matplotlib.pyplot as plt
import numpy as np

# 将 diarization 结果转换为可绘制的格式
def plot_diarization(diarization, duration):
    fig, ax = plt.subplots(figsize=(16, 4))
    
    # 为每个说话人分配一个颜色
    speakers = list(set([speaker for _, _, speaker in diarization.itertracks(yield_label=True)]))
    colors = plt.cm.tab10(np.linspace(0, 1, len(speakers)))
    color_map = {spk: colors[i] for i, spk in enumerate(speakers)}
    
    # 绘制每个片段
    for turn, _, speaker in diarization.itertracks(yield_label=True):
        ax.axvspan(turn.start, turn.end, alpha=0.5, color=color_map[speaker], label=speaker if turn.start < 0.1 else "")
    
    ax.set_xlim(0, duration)
    ax.set_xlabel("时间 (秒)")
    ax.set_yticks([])
    ax.set_title("说话人分割聚类结果")
    # 去重图例
    handles, labels = ax.get_legend_handles_labels()
    by_label = dict(zip(labels, handles))
    ax.legend(by_label.values(), by_label.keys(), loc='upper right')
    plt.tight_layout()
    plt.show()

# 假设已知音频时长 duration（可通过 librosa 获取）
# duration = librosa.get_duration(filename=audio_file)
# plot_diarization(diarization, duration)

5. 针对有声书场景的优化策略

基础流水线可能无法完美应对有声书的复杂场景，如：

• 旁白与角色音色相近。
• 背景音乐或音效干扰。
• 长时间单人独白导致聚类漂移。
• 需要区分“旁白A”和“旁白B”而非匿名 SPEAKER_XX。

5.1 利用先验信息（说话人注册）

如果有已知旁白者的少量纯净录音（如试音片段），可以进行说话人注册，将聚类问题转化为分类问题，提高准确率。

from pyannote.audio import Inference
from sklearn.neighbors import KNeighborsClassifier
import numpy as np

# 1. 创建嵌入提取器
embedding_model = Inference("pyannote/embedding", window="whole", use_auth_token="YOUR_HF_TOKEN")

# 2. 为已知说话人提取注册嵌入
known_speakers = {}
known_audio_files = {"旁白A": "path/to/narrator_a.wav", "旁白B": "path/to/narrator_b.wav"}

for name, file in known_audio_files.items():
    embedding = embedding_model(file) # 得到 (1, dimension) 的向量
    known_speakers[name] = embedding.flatten() # 展平为 1D 向量

# 准备训练数据
X_train = np.array(list(known_speakers.values()))
y_train = np.array(list(known_speakers.keys()))

# 3. 训练一个简单的分类器（如 KNN）
classifier = KNeighborsClassifier(n_neighbors=1)
classifier.fit(X_train, y_train)

# 4. 对未知音频片段进行分类
unknown_embedding = embedding_model("unknown_segment.wav").flatten().reshape(1, -1)
predicted_speaker = classifier.predict(unknown_embedding)
print(f"预测说话人: {predicted_speaker[0]}")

5.2 调整流水线参数

pyannote.audio 的流水线允许参数微调。

# 在加载流水线时或之后调整参数
pipeline = Pipeline.from_pretrained(
    "pyannote/speaker-diarization-3.1",
    use_auth_token="YOUR_HF_TOKEN"
)

# 示例：调整聚类阈值，影响说话人数量
# 较小的 min_cluster_size 和 threshold 可能产生更多（可能过分割）的说话人
pipeline.instantiate({
    "clustering": {
        "method": "centroid",
        "min_cluster_size": 12, # 增大此值可合并小片段
        "threshold": 0.7 # 增大此值使聚类更严格，说话人更少
    }
})

# 重新应用
diarization = pipeline(audio_file)

5.3 后处理：合并短片段与平滑边界

过短的片段可能是噪声或错误分割，可以将其合并到相邻的、最相似的说话人片段中。

from pyannote.core import Segment, Timeline, Annotation

def merge_short_segments(annotation, min_duration=0.5):
    """合并短于 min_duration 秒的片段到相邻片段"""
    merged = Annotation()
    for segment, track, label in annotation.itertracks(yield_label=True):
        if segment.duration < min_duration:
            # 寻找前后相邻的片段，这里简化处理，实际需计算相似度
            # 此处示例直接跳过（删除）过短片段
            continue
        merged[segment, track] = label
    return merged

processed_diarization = merge_short_segments(diarization, min_duration=0.7)

6. 系统评估与常见问题

6.1 如何评估效果？

使用 DER (Diarization Error Rate) 作为核心指标，它是错误时间（包括说话人混淆、漏检、误检）占总语音时间的比例。pyannote.metrics 库提供了计算工具。

from pyannote.metrics import diarization
from pyannote.core import Annotation

# reference 是人工标注的真实结果
# hypothesis 是系统预测的结果
metric = diarization.DiarizationErrorRate()
der = metric(reference, hypothesis, detailed=True)
print(f"总体 DER: {der['diarization error rate']:.2%}")
print(f"  混淆错误: {der['confusion']:.2%}")
print(f"  漏检错误: {der['missed detection']:.2%}")
print(f"  误检错误: {der['false alarm']:.2%}")

6.2 常见问题与排查

• Q: 结果中说话人数量远多于实际人数？
  • A: 可能由背景噪声、呼吸声或 VAD 过于敏感导致。尝试调高 VAD 阈值，或增加 min_cluster_size。
• Q: 同一个人的声音被分成了多个说话人？
  • A: 可能由于声音变化（如情绪、语速）或长时间音频导致的嵌入漂移。尝试使用更强大的嵌入模型（如 ECAPA-TDNN），或减小聚类阈值 threshold。
• Q: 处理速度很慢？
  • A: 确保使用 GPU 运行。可以调整 pyannote.audio 的 step 参数（滑动窗口步长），增大步长以牺牲少量精度换取速度。
• Q: 如何输出切割后的独立音频文件？
  • A: 结合 pydub 库，根据 diarization 结果的时间戳进行音频切片。

7. 总结与展望

通过本文，我们完成了一个从原理到实战的“有声书多人旁白自动区分系统”搭建。基于 pyannote.audio 等现代工具，开发者可以快速构建出可用的原型。然而，将其打造成一个高精度、高鲁棒性的生产系统，仍需在以下方面深入：

1. 数据与领域适配：在目标领域（如有声书）的数据上进行微调，能显著提升模型表现。
2. 多模态融合：结合文本信息（ASR 转录结果）可以更好地判断说话人切换边界。
3. 在线/流式处理：适应实时或准实时的音频流处理需求。
4. 更先进的模型：关注如 pyannote.audio 3.1 中引入的端到端神经 Diarization 模型，它们正在缩小与传统流水线的性能差距。

希望本文能成为你探索语音处理世界的一块坚实跳板。现在，你可以尝试用自己的有声书片段运行代码，听听系统是否能准确地区分出不同的“讲故事的人”。

下一步：尝试将系统集成到一个简单的 Web 界面中，实现音频上传、自动分割、结果可视化与片段下载的一体化操作。