Common Voice 24 (MN)

How every measured system performs on this corpus: 59 samples, 26 systems compared on identical audio.

https://huggingface.co/datasets/btsee/common-voices-24-mn

#	Provider	WER ↑	CER	Bilis	Samples	Open source
1	Speechmatics	8.3%	2.7%	0.36×	59/59	✗	Detalye ›
2	Whisper medium MNOverlap	9.9%	3.2%	2.64×	59/59	✓	Detalye ›
3	Chimege	10.7%	4.4%	1.22×	59/59	✗	Detalye ›
4	Duudlaga FlowAmin	13.8%	5.8%	1.26×	59/59	✗	Detalye ›
5	Azure Speech	14.9%	5.6%	0.28×	59/59	✗	Detalye ›
6	Google STT	16.7%	6%	2.03×	59/59	✗	Detalye ›
7	Moonshine MNOverlap	17.3%	11.8%	7.37×	59/59	✓	Detalye ›
8	SeamlessM4T v2	17.6%	6.3%	3.59×	59/59	✓	Detalye ›
9	Whisper turbo MNOverlap	18%	6%	1.98×	59/59	✓	Detalye ›
10	Whisper large-v2 MN	18.7%	6%	0.57×	59/59	✓	Detalye ›
11	ElevenLabs Scribe v2	28.5%	10.6%	1.33×	59/59	✗	Detalye ›
12	ElevenLabs Scribe v1	30%	10.9%	2.35×	59/59	✗	Detalye ›
13	Gemma 4	32%	14.3%	0.99×	59/59	✓	Detalye ›
14	OmniASR LLM-1B	36.6%	15.5%	0.3×	59/59	✓	Detalye ›
15	wav2vec2 XLSR-53 MNOverlap	37.2%	11.4%	37.32×	59/59	✓	Detalye ›
16	MMS-1B-all	39.8%	10.4%	16.59×	59/59	✓	Detalye ›
17	Whisper large-v3 MNOverlap	40.1%	13.1%	1.51×	59/59	✓	Detalye ›
18	Dolphin small	46.6%	14.8%	1.25×	59/59	✓	Detalye ›
19	OmniASR CTC-1B	50.7%	13.7%	0.7×	59/59	✓	Detalye ›
20	GPT-4o Transcribe	61.3%	31.1%	2.73×	59/59	✗	Detalye ›
21	Gladia	90.5%	39.5%	0.74×	59/59	✗	Detalye ›
22	Whisper large-v3	91.2%	38.8%	0.72×	59/59	✓	Detalye ›
23	VibeVoice ASR	98.9%	59.2%	0.56×	57/59	✓	Detalye ›
24	Whisper large-v3-turbo	100.3%	56.2%	0.86×	59/59	✓	Detalye ›
25	OpenAI Whisper	104%	63.4%	1.95×	59/59	✗	Detalye ›
26	Qwen3-ASR-Flash	105.2%	90%	2.81×	59/59	✗	Detalye ›

Same scoring as the main leaderboard (punctuation stripped, lowercased). Click a column to sort; Details opens the full per-sample breakdown.

Resulta kada sample

Compare transcripts side by side: every selected system's output for the same sentence, errors highlighted in red. Add or remove systems with the chips; the table scrolls horizontally.

SpeechmaticsWhisper medium MNChimege

#	Inaasahan (ground truth)	Resulta ng Speechmatics(8.3%)	Resulta ng Whisper medium MN(9.9%)	Resulta ng Chimege(10.7%)
1	Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье.	Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье. WER 0.0%	гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье WER 0.0%	Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэл. WER 12.5%
2	Надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү?	Надад заяасан Аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү? WER 0.0%	надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү WER 0.0%	Надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү? WER 0.0%
3	Одоо бид өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе.	Одоо тэд өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе. WER 14.3%	одоо бид өөрсдөө өвчин эмгээгүйсээ салахыг хичээцгээ WER 28.6%	Одоо бид өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе. WER 0.0%
4	Би бол голдуу хээрээр гэр, хэцээр дэр хийж явдаг хүн.	Би бол голдуу хээрээр гэр, хэцээр дэр хийж явдаг хүн. WER 0.0%	би бол голдуу хээрээр гэр хэцээр дэр хийж явдаг хүн WER 0.0%	Би бол голдуу хээрээр гэр цээр дэр хийж явдаг. WER 20.0%
5	Хан хурмаст уурлаж, Болдоггүй Бор өвгөнийг хор луугаараа ниргүүлэхээр явуулжээ.	Хан хурмаст уурлаж болдоггүй Бор өвгөн хоёр зуугаар нь эргүүлэхээр явуулж. WER 60.0%	хан хурмаст уурлаж болдоггүй бор өвгөнийг хоёр луугаараа ниргүүлэхээр явуулжээ WER 10.0%	Хан хурмаст уурлаж болдоггүй бор өвгөн 2 луугаар эргүүлэхээр явжээ. WER 50.0%
6	Алив наашаа ороод ир гээд гэртээ оров.	Алив наашаа ороод ир гээд гэртээ оров. WER 0.0%	алив наашаа ороод ир гээд гэртээ оров WER 0.0%	Алив наашаа ороод ир гээд гэртээ ор. WER 14.3%
7	Өө өндөр дээдэс таны тухайд би баталж чадахгүй.	Өө өндөр дээдэс таны тухайд би баталж чадахгүй. WER 0.0%	өө өндөр дээдэс таны тухайд би баталж чадахгүй WER 0.0%	Өө өндөр дээдэс таны тухайд би баталж чадахгүй. WER 0.0%
8	Харин гурав дахь удаагаас эхлэн хүмүүсийг сонирхож эхлэв.	Харин гурав дахь удаагаа эхлэн хүмүүсийг сонирхож эхлэв. WER 12.5%	харин гурав дахь удаагаас эхлэх хүмүүсийг сонирхож эхлэв WER 12.5%	Харин 3 дахь удаагаасаа эхлэн хүмүүсийг сонирхож эхлэв. WER 25.0%
9	Та нар очингуутаа шөл л өгч үз.	Та нар очингуутаа шөл л өгч үз. WER 0.0%	та нар очингуутаа шөлөл өгч үз WER 28.6%	Та нар очингуутаа шөл л өгч үз. WER 0.0%
10	Ерөөсөө литр үйлдвэрээсээ салаагүй явсан юм чинь.	Ерөөсөө л үйлдвэрээсээ салаагүй явсан юм чинь. WER 14.3%	ирвэс уйлдвэрлэсээ салаагүй явсан юм чинь WER 42.9%	Ерөөсөө л үйлдвэрээсээ салаагүй явсан юм чинь. WER 14.3%

Pahina 1 ng 6