Common Voice 24 (MN)

이 코퍼스에서 측정된 각 시스템의 성능: 샘플 59개, 동일한 오디오로 비교한 시스템 26개.

https://huggingface.co/datasets/btsee/common-voices-24-mn

#	공급자	WER ↑	CER	속도	샘플	오픈소스
1	Speechmatics	8.3%	2.7%	0.36×	59/59	✗	상세 ›
2	Whisper medium MN중복	9.9%	3.2%	2.64×	59/59	✓	상세 ›
3	Chimege	10.7%	4.4%	1.22×	59/59	✗	상세 ›
4	Duudlaga Flow자사	13.8%	5.8%	1.26×	59/59	✗	상세 ›
5	Azure Speech	14.9%	5.6%	0.28×	59/59	✗	상세 ›
6	Google STT	16.7%	6%	2.03×	59/59	✗	상세 ›
7	Moonshine MN중복	17.3%	11.8%	7.37×	59/59	✓	상세 ›
8	SeamlessM4T v2	17.6%	6.3%	3.59×	59/59	✓	상세 ›
9	Whisper turbo MN중복	18%	6%	1.98×	59/59	✓	상세 ›
10	Whisper large-v2 MN	18.7%	6%	0.57×	59/59	✓	상세 ›
11	ElevenLabs Scribe v2	28.5%	10.6%	1.33×	59/59	✗	상세 ›
12	ElevenLabs Scribe v1	30%	10.9%	2.35×	59/59	✗	상세 ›
13	Gemma 4	32%	14.3%	0.99×	59/59	✓	상세 ›
14	OmniASR LLM-1B	36.6%	15.5%	0.3×	59/59	✓	상세 ›
15	wav2vec2 XLSR-53 MN중복	37.2%	11.4%	37.32×	59/59	✓	상세 ›
16	MMS-1B-all	39.8%	10.4%	16.59×	59/59	✓	상세 ›
17	Whisper large-v3 MN중복	40.1%	13.1%	1.51×	59/59	✓	상세 ›
18	Dolphin small	46.6%	14.8%	1.25×	59/59	✓	상세 ›
19	OmniASR CTC-1B	50.7%	13.7%	0.7×	59/59	✓	상세 ›
20	GPT-4o Transcribe	61.3%	31.1%	2.73×	59/59	✗	상세 ›
21	Gladia	90.5%	39.5%	0.74×	59/59	✗	상세 ›
22	Whisper large-v3	91.2%	38.8%	0.72×	59/59	✓	상세 ›
23	VibeVoice ASR	98.9%	59.2%	0.56×	57/59	✓	상세 ›
24	Whisper large-v3-turbo	100.3%	56.2%	0.86×	59/59	✓	상세 ›
25	OpenAI Whisper	104%	63.4%	1.95×	59/59	✗	상세 ›
26	Qwen3-ASR-Flash	105.2%	90%	2.81×	59/59	✗	상세 ›

메인 순위표와 동일한 채점 방식입니다(문장부호 제거, 소문자 변환). 열을 클릭하면 정렬되고, 자세히를 누르면 샘플별 상세 내역이 열립니다.

샘플별 결과

전사 결과를 나란히 비교합니다. 같은 문장에 대한 선택된 각 시스템의 출력을 보여주고 오류는 빨간색으로 표시합니다. 칩으로 시스템을 추가하거나 뺄 수 있으며, 표는 가로로 스크롤됩니다.

SpeechmaticsWhisper medium MNChimege

#	기대(정답)	Speechmatics 결과(8.3%)	Whisper medium MN 결과(9.9%)	Chimege 결과(10.7%)
1	Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье.	Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье. WER 0.0%	гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье WER 0.0%	Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэл. WER 12.5%
2	Надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү?	Надад заяасан Аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү? WER 0.0%	надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү WER 0.0%	Надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү? WER 0.0%
3	Одоо бид өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе.	Одоо тэд өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе. WER 14.3%	одоо бид өөрсдөө өвчин эмгээгүйсээ салахыг хичээцгээ WER 28.6%	Одоо бид өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе. WER 0.0%
4	Би бол голдуу хээрээр гэр, хэцээр дэр хийж явдаг хүн.	Би бол голдуу хээрээр гэр, хэцээр дэр хийж явдаг хүн. WER 0.0%	би бол голдуу хээрээр гэр хэцээр дэр хийж явдаг хүн WER 0.0%	Би бол голдуу хээрээр гэр цээр дэр хийж явдаг. WER 20.0%
5	Хан хурмаст уурлаж, Болдоггүй Бор өвгөнийг хор луугаараа ниргүүлэхээр явуулжээ.	Хан хурмаст уурлаж болдоггүй Бор өвгөн хоёр зуугаар нь эргүүлэхээр явуулж. WER 60.0%	хан хурмаст уурлаж болдоггүй бор өвгөнийг хоёр луугаараа ниргүүлэхээр явуулжээ WER 10.0%	Хан хурмаст уурлаж болдоггүй бор өвгөн 2 луугаар эргүүлэхээр явжээ. WER 50.0%
6	Алив наашаа ороод ир гээд гэртээ оров.	Алив наашаа ороод ир гээд гэртээ оров. WER 0.0%	алив наашаа ороод ир гээд гэртээ оров WER 0.0%	Алив наашаа ороод ир гээд гэртээ ор. WER 14.3%
7	Өө өндөр дээдэс таны тухайд би баталж чадахгүй.	Өө өндөр дээдэс таны тухайд би баталж чадахгүй. WER 0.0%	өө өндөр дээдэс таны тухайд би баталж чадахгүй WER 0.0%	Өө өндөр дээдэс таны тухайд би баталж чадахгүй. WER 0.0%
8	Харин гурав дахь удаагаас эхлэн хүмүүсийг сонирхож эхлэв.	Харин гурав дахь удаагаа эхлэн хүмүүсийг сонирхож эхлэв. WER 12.5%	харин гурав дахь удаагаас эхлэх хүмүүсийг сонирхож эхлэв WER 12.5%	Харин 3 дахь удаагаасаа эхлэн хүмүүсийг сонирхож эхлэв. WER 25.0%
9	Та нар очингуутаа шөл л өгч үз.	Та нар очингуутаа шөл л өгч үз. WER 0.0%	та нар очингуутаа шөлөл өгч үз WER 28.6%	Та нар очингуутаа шөл л өгч үз. WER 0.0%
10	Ерөөсөө литр үйлдвэрээсээ салаагүй явсан юм чинь.	Ерөөсөө л үйлдвэрээсээ салаагүй явсан юм чинь. WER 14.3%	ирвэс уйлдвэрлэсээ салаагүй явсан юм чинь WER 42.9%	Ерөөсөө л үйлдвэрээсээ салаагүй явсан юм чинь. WER 14.3%

1 / 6 페이지