建议: 集成 FunASR/SenseVoice 替代 Whisper 做语音识别

[LauraGPT]

功能建议

建议在 Digital Life Server 中集成 FunASR/SenseVoice 作为 ASR 引擎选项。

为什么适合

Digital Life Server 做数字人交互，实时性至关重要。SenseVoice 相比 Whisper 有明显优势：

• SenseVoice (234M 参数)：非自回归模型，比 Whisper 快 5 倍以上，CPU 也能 25x 实时
• 内置情感检测：可以检测说话人情绪（happy/sad/angry），数字人可以做出情感响应
• 音频事件检测：掌声、笑声、音乐等，丰富交互场景
• 支持 50+ 语言，中文识别准确率显著优于 Whisper
• 完全离线运行，无需 API Key

快速集成

from funasr import AutoModel

model = AutoModel(model="iic/SenseVoiceSmall")
result = model.generate(input="audio.wav")
text = result[0]["text"]
# 还可以获取情感标签

或使用 OpenAI 兼容 API：

pip install funasr vllm
funasr-server --device cuda
# POST /v1/audio/transcriptions

参考

• FunASR — 16K+ stars
• SenseVoice — 8K+ stars
• 数字人集成案例: Fay — 12.8K stars，已集成 FunASR