Common Voice 24 (MN)

इस कॉर्पस पर मापे गए हर सिस्टम का प्रदर्शन: 59 सैंपल, 26 सिस्टम एक ही ऑडियो पर तुलना किए गए।

https://huggingface.co/datasets/btsee/common-voices-24-mn

#	प्रदाता	WER ↑	CER	गति	सैंपल	ओपन सोर्स
1	Speechmatics	8.3%	2.7%	0.36×	59/59	✗	विवरण ›
2	Whisper medium MNओवरलैप	9.9%	3.2%	2.64×	59/59	✓	विवरण ›
3	Chimege	10.7%	4.4%	1.22×	59/59	✗	विवरण ›
4	Duudlaga Flowहमारा	13.8%	5.8%	1.26×	59/59	✗	विवरण ›
5	Azure Speech	14.9%	5.6%	0.28×	59/59	✗	विवरण ›
6	Google STT	16.7%	6%	2.03×	59/59	✗	विवरण ›
7	Moonshine MNओवरलैप	17.3%	11.8%	7.37×	59/59	✓	विवरण ›
8	SeamlessM4T v2	17.6%	6.3%	3.59×	59/59	✓	विवरण ›
9	Whisper turbo MNओवरलैप	18%	6%	1.98×	59/59	✓	विवरण ›
10	Whisper large-v2 MN	18.7%	6%	0.57×	59/59	✓	विवरण ›
11	ElevenLabs Scribe v2	28.5%	10.6%	1.33×	59/59	✗	विवरण ›
12	ElevenLabs Scribe v1	30%	10.9%	2.35×	59/59	✗	विवरण ›
13	Gemma 4	32%	14.3%	0.99×	59/59	✓	विवरण ›
14	OmniASR LLM-1B	36.6%	15.5%	0.3×	59/59	✓	विवरण ›
15	wav2vec2 XLSR-53 MNओवरलैप	37.2%	11.4%	37.32×	59/59	✓	विवरण ›
16	MMS-1B-all	39.8%	10.4%	16.59×	59/59	✓	विवरण ›
17	Whisper large-v3 MNओवरलैप	40.1%	13.1%	1.51×	59/59	✓	विवरण ›
18	Dolphin small	46.6%	14.8%	1.25×	59/59	✓	विवरण ›
19	OmniASR CTC-1B	50.7%	13.7%	0.7×	59/59	✓	विवरण ›
20	GPT-4o Transcribe	61.3%	31.1%	2.73×	59/59	✗	विवरण ›
21	Gladia	90.5%	39.5%	0.74×	59/59	✗	विवरण ›
22	Whisper large-v3	91.2%	38.8%	0.72×	59/59	✓	विवरण ›
23	VibeVoice ASR	98.9%	59.2%	0.56×	57/59	✓	विवरण ›
24	Whisper large-v3-turbo	100.3%	56.2%	0.86×	59/59	✓	विवरण ›
25	OpenAI Whisper	104%	63.4%	1.95×	59/59	✗	विवरण ›
26	Qwen3-ASR-Flash	105.2%	90%	2.81×	59/59	✗	विवरण ›

मुख्य लीडरबोर्ड जैसी ही गणना (विराम चिह्न हटाकर, छोटे अक्षरों में)। क्रम बदलने के लिए कॉलम पर क्लिक करें; „विवरण“ हर सैंपल का पूरा ब्यौरा खोलता है।

प्रति-नमूना परिणाम

ट्रांसक्रिप्ट साथ-साथ रखकर तुलना करें: एक ही वाक्य के लिए हर चुने गए सिस्टम का आउटपुट, गलतियाँ लाल रंग में। चिप्स से सिस्टम जोड़ें या हटाएँ; तालिका आड़ी स्क्रॉल होती है।

SpeechmaticsWhisper medium MNChimege

#	अपेक्षित (आधार सत्य)	Speechmatics परिणाम(8.3%)	Whisper medium MN परिणाम(9.9%)	Chimege परिणाम(10.7%)
1	Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье.	Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье. WER 0.0%	гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье WER 0.0%	Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэл. WER 12.5%
2	Надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү?	Надад заяасан Аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү? WER 0.0%	надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү WER 0.0%	Надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү? WER 0.0%
3	Одоо бид өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе.	Одоо тэд өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе. WER 14.3%	одоо бид өөрсдөө өвчин эмгээгүйсээ салахыг хичээцгээ WER 28.6%	Одоо бид өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе. WER 0.0%
4	Би бол голдуу хээрээр гэр, хэцээр дэр хийж явдаг хүн.	Би бол голдуу хээрээр гэр, хэцээр дэр хийж явдаг хүн. WER 0.0%	би бол голдуу хээрээр гэр хэцээр дэр хийж явдаг хүн WER 0.0%	Би бол голдуу хээрээр гэр цээр дэр хийж явдаг. WER 20.0%
5	Хан хурмаст уурлаж, Болдоггүй Бор өвгөнийг хор луугаараа ниргүүлэхээр явуулжээ.	Хан хурмаст уурлаж болдоггүй Бор өвгөн хоёр зуугаар нь эргүүлэхээр явуулж. WER 60.0%	хан хурмаст уурлаж болдоггүй бор өвгөнийг хоёр луугаараа ниргүүлэхээр явуулжээ WER 10.0%	Хан хурмаст уурлаж болдоггүй бор өвгөн 2 луугаар эргүүлэхээр явжээ. WER 50.0%
6	Алив наашаа ороод ир гээд гэртээ оров.	Алив наашаа ороод ир гээд гэртээ оров. WER 0.0%	алив наашаа ороод ир гээд гэртээ оров WER 0.0%	Алив наашаа ороод ир гээд гэртээ ор. WER 14.3%
7	Өө өндөр дээдэс таны тухайд би баталж чадахгүй.	Өө өндөр дээдэс таны тухайд би баталж чадахгүй. WER 0.0%	өө өндөр дээдэс таны тухайд би баталж чадахгүй WER 0.0%	Өө өндөр дээдэс таны тухайд би баталж чадахгүй. WER 0.0%
8	Харин гурав дахь удаагаас эхлэн хүмүүсийг сонирхож эхлэв.	Харин гурав дахь удаагаа эхлэн хүмүүсийг сонирхож эхлэв. WER 12.5%	харин гурав дахь удаагаас эхлэх хүмүүсийг сонирхож эхлэв WER 12.5%	Харин 3 дахь удаагаасаа эхлэн хүмүүсийг сонирхож эхлэв. WER 25.0%
9	Та нар очингуутаа шөл л өгч үз.	Та нар очингуутаа шөл л өгч үз. WER 0.0%	та нар очингуутаа шөлөл өгч үз WER 28.6%	Та нар очингуутаа шөл л өгч үз. WER 0.0%
10	Ерөөсөө литр үйлдвэрээсээ салаагүй явсан юм чинь.	Ерөөсөө л үйлдвэрээсээ салаагүй явсан юм чинь. WER 14.3%	ирвэс уйлдвэрлэсээ салаагүй явсан юм чинь WER 42.9%	Ерөөсөө л үйлдвэрээсээ салаагүй явсан юм чинь. WER 14.3%

पृष्ठ 1 / 6