指南 / 语音识别模型
语音识别模型
共 10 个 · 数据更新于 2026-07-18
显存档为包含式:更低显存也能跑的模型一并计入。数值取 Q4 量化后估算。
| 模型 | 参数量 | 显存门槛 | 上下文 | 许可证 | 商用 | 语言 | 国内可达 | 部署 |
|---|---|---|---|---|---|---|---|---|
| GigaAM-Multilingual (ai-sage) 量化自 GigaAM-Multilingual 原生 · MLX | 220M / 600M | Q4 ~0.1GB / FP16 ~0.5GB | — | mit | 需自查 | — | 需代理 | python -c "from transformers import AutoModel; model=AutoModel.from_pretrained('ai-sage/GigaAM-Multilingual', revision='ctc', trust_remote_code=True); print(model.transcribe('example.wav'))" |
| GigaAM-Multilingual MLX INT8 (ai-babai) 量化自 gigaam-multilingual-mlx | 224M | Q4 ~0.1GB / FP16 ~0.5GB | — | MIT | 需自查 | — | 需代理 | uvx gigaam-multilingual-mlx gigaam-stt <audio> --variant int8 |
| GigaAM-Multilingual-MLX INT4 (ai-babai) 量化自 gigaam-multilingual-mlx | 161M | Q4 ~0.1GB / FP16 ~0.4GB | 不适用 | MIT | 需自查 | — | 需代理 | uv tool install gigaam-multilingual-mlx==0.2.0 && gigaam-stt audio.wav --variant int4 |
| cohere-transcribe-arabic (CohereLabs) | 2.1B | Q4 ~1.4GB / FP16 ~5GB | — | — | 需自查 | — | 需代理 | python -c "from transformers import pipeline; pipe = pipeline('automatic-speech-recognition', 'CohereLabs/cohere-transcribe-arabic-07-2026'); print(pipe('audio.wav'))" |
| Nemotron-3.5-ASR-Streaming-0.6B (NVIDIA) | 600M | — | — | NVIDIA Open Model License | 需自查 | — | 魔搭可用 | nemo_asr.models.ASRModel.from_pretrained('nvidia/nemotron-3.5-asr-streaming-0.6b') 等 2 种 |
| Mega-ASR (THU) 微调自 Qwen3-ASR-1.7B | 1.7B | — | — | apache-2.0 | 可商用 | — | 需代理 | from MegaASR.model.megaASR import MegaASR 等 3 种 |
| speaker-diarization-3.1 (pyannote) | — | — | 不适用（音频长度可分批） | mit | 可商用 | — | 需代理 | pip install pyannote.audio && from pyannote.audio import Pipeline; pipeline = Pipeline.from_pretrained('pyannote/speaker-diarization-3.1') 等 3 种 |
| Whisper Large v3 MLX (mlx-community) | 1.55B | — | 30s 音频片段 | MIT | 可商用 | — | 需代理 | mlx_whisper.transcribe(audio, path_or_hf_repo='mlx-community/whisper-large-v3-mlx') 等 2 种 |
| Whisper-large-v3-turbo (mlx-community) | 809M | — | 30s | — | — | — | 需代理 | pip install mlx-whisper && mlx_whisper audio.wav --model mlx-community/whisper-large-v3-turbo |
| XEUS (CMU WAVLab) | 577M | — | — | CC BY-NC-SA 4.0 | 不可商用 | — | 需代理 | python -c "from espnet2.tasks.ssl import SSLTask; model, _ = SSLTask.build_model_from_file(None, 'espnet/XEUS/checkpoint.pth', 'cuda')" 等 3 种 |
没有同时满足所选条件的模型,试着去掉一个筛选。
常见坑
- 英语识别质量仅为中等水平，并非所有语言都达到最佳 —— ai-babai/gigaam-multilingual-mlx-int4-g64
- 模型输出为字符级 CTC，非词级别，直接使用需注意后处理 —— ai-babai/gigaam-multilingual-mlx-int4-g64
- 英语输入场景下，英语专用版 Nemotron 效果更好 —— nvidia/nemotron-3.5-asr-streaming-0.6b
- 尚未支持说话人分离（diarization） —— nvidia/nemotron-3.5-asr-streaming-0.6b
- 演示在完美条件下表现良好，但实际复杂声学环境下的泛化能力存疑 —— zhifeixie/Mega-ASR
- 非英语场景表现不佳，有用户反馈「does not work very well」 —— pyannote/speaker-diarization-3.1
- 说话人识别效果被部分用户评价为「lackluster」 —— pyannote/speaker-diarization-3.1
- 已被社区版 community-1 大幅超越，后者在所有关键指标上显著优于 3.1 —— pyannote/speaker-diarization-3.1
展开其余 9 条
- 模型更适配英语，中文等非英语语言效果可能打折扣 —— pyannote/speaker-diarization-3.1
- 需要 GPU 才能获得较快的推理速度，纯 CPU 场景不理想 —— pyannote/speaker-diarization-3.1
- 部署配置难度为中等 —— pyannote/speaker-diarization-3.1
- 短音频(如 40 秒)处理耗时可能超过 22 秒,与音频长度不成比例 —— mlx-community/whisper-large-v3-mlx
- clip_timestamps 参数对不同长度音频的影响不一致,短音频几乎无影响但长音频仍需约 27 秒 —— mlx-community/whisper-large-v3-mlx
- 直接使用 mlx-community/whisper-large-v3-turbo 会因缺少 preprocessor_config.json 等文件而加载失败，需改用 mlx-community/whisper-large-v3-turbo-asr-fp16 —— mlx-community/whisper-large-v3-turbo
- 在 macOS 上通过 MPS 运行 Turbo 模型不如原生 MLX 模型（如 MLX large v2 8bit）快 —— mlx-community/whisper-large-v3-turbo
- 核心代码仍在合并进 ESPnet 主仓库，尚未稳定 —— espnet/xeus
- 需下游微调才能用于识别/翻译等具体任务，不可开箱即用 —— espnet/xeus