WhisperLiveKit

WhisperLiveKit是什么？

WhisperLiveKit是一款开源的本地实时语音处理套件，支持语音转文字（Speech‑to‑Text）、翻译与说话人分离（Speaker Diarization），并内置服务端与网页 UI，开箱即用。融合 SimulStreaming、WhisperStreaming、Streaming Sortformer、Diart、Silero VAD 等 SOTA 技术，实现超低延迟、高精度、多语言识别与逐帧音画同步。适用于会议实时字幕、无障碍辅助、内容创作、客服质检及跨语言交流等多场景，保护隐私且支持多用户并发。

项目开源地址：https://github.com/QuentinFuxa/WhisperLiveKit

核心功能

• 实时语音转写：基于 SimulStreaming（2025）和 WhisperStreaming（2023）技术，实现超低延迟转写，支持多语言识别与自动语言检测。
• 翻译：可将实时语音直接翻译成目标语言文本
• 说话人分离：集成 Sortformer（2025）和 Diart（2021）等先进算法，实时识别不同说话人
• 本地运行：所有处理在本地完成，保护隐私，无需将音频上传云端
• 语音活动检测（VAD）：使用 Silero VAD（2024）检测语音段落，减少无声片段的处理开销
• 多用户并发：后端支持多用户同时连接，适合会议、客服等场景

应用场景

• 会议实时字幕：为线上/线下会议提供实时转写与说话人标注
• 无障碍辅助：帮助听障人士实时获取对话文字
• 内容创作：播客、视频、直播的实时字幕与翻译
• 客服质检：实时转写并区分客服与客户的发言
• 多语言交流：跨语言会议或访谈的即时翻译