मंगोलियाई स्पीच-टू-टेक्स्ट लीडरबोर्ड
मंगोलियाई के लिए स्पीच-टू-टेक्स्ट प्रदाताओं के शब्द त्रुटि दर, गति और मूल्य की तुलना करें। हर अंक वास्तविक मंगोलियाई ऑडियो पर मापा गया — मार्केटिंग नहीं।
इस्तेमाल किए गए डेटासेट
हर प्रदाता के परीक्षण में इस्तेमाल किए गए सार्वजनिक स्पीच कॉर्पस। डेटासेट का विवरण, लाइसेंस और डाउनलोड देखने के लिए स्रोत लिंक खोलें।
- Common Voice 24 (MN)›https://huggingface.co/datasets/btsee/common-voices-24-mn
- Shunya Labs Mongolian Speech›https://huggingface.co/datasets/shunyalabs/mongolian-speech-dataset
- Common Voice 20 (MN)›https://huggingface.co/datasets/warmestman/common-voice-20-mn-normalized
- Modern Voice›इस बेंचमार्क के लिए ख़ुद रिकॉर्ड किया गया — ऑडियो साझा नहीं किया जाता, सिर्फ़ आँकड़े।
WER बनाम गति
प्रत्येक बिंदु एक प्रदाता है। आदर्श स्थान निचले-दाएँ (कम त्रुटि, तेज़) है। वास्तविक मंगोलियाई ऑडियो पर मापा गया।
प्रदाता तुलना
किसी भी कॉलम को क्रमबद्ध करें। किसी प्रदाता के प्रति-नमूना विवरण, मूल्य और कार्यप्रणाली के लिए विवरण पर क्लिक करें।
| प्रदाता | WER ↑ | CER | सटीकता | गति | विलंबता | मूल्य / 1000 मिनट | |
|---|---|---|---|---|---|---|---|
Speechmatics | 14.4% | 7.4% | 85.6% | 0.51× | 13.8s | $8.5 | विवरण |
Duudlaga Flowहमारा | 14.6% | 7.6% | 85.4% | 1.47× | 5.2s | $19.4 | विवरण |
Chimege | 14.6% | 6.6% | 85.4% | 1.51× | 4.7s | $11.1 | विवरण |
Google STT | 16.9% | 7.4% | 83.1% | 1.98× | 3.7s | $16 | विवरण |
Whisper large-v2 MN | 20.7% | 8.3% | 79.3% | 0.53× | 13.5s | $0 | विवरण |
Azure Speech | 20.8% | 9.7% | 79.2% | 0.39× | 17.3s | $16.7 | विवरण |
Whisper medium MNओवरलैप | 22.5% | 8.9% | 77.5% | 2.7× | 2.7s | $0 | विवरण |
SeamlessM4T v2 | 24% | 11.1% | 76% | 0.39× | 26.3s | $0 | विवरण |
Whisper turbo MNओवरलैप | 25.7% | 9.2% | 74.3% | 2.43× | 3.0s | $0 | विवरण |
ElevenLabs Scribe v1 | 27.1% | 10.8% | 72.9% | 2.14× | 3.3s | $6.7 | विवरण |
ElevenLabs Scribe v2 | 27.1% | 10.6% | 72.9% | 1.51× | 4.7s | $3.7 | विवरण |
Gemma 4 | 30.2% | 14.7% | 69.8% | 1× | 7.3s | $0 | विवरण |
OmniASR LLM-1B | 33.8% | 14.2% | 66.2% | 0.27× | 26.6s | $0 | विवरण |
Whisper large-v3 MNओवरलैप | 39.4% | 14.9% | 60.6% | 1.57× | 4.5s | $0 | विवरण |
MMS-1B-all | 41.7% | 12.3% | 58.3% | 19.2× | 0.4s | $0 | विवरण |
wav2vec2 XLSR-53 MNओवरलैप | 45% | 16.4% | 55% | 42.32× | 0.2s | $0 | विवरण |
Dolphin small | 49.1% | 19.2% | 50.9% | 1.73× | 4.1s | $0 | विवरण |
OmniASR CTC-1B | 51.2% | 15.5% | 48.8% | 0.6× | 11.7s | $0 | विवरण |
GPT-4o Transcribe | 53% | 27.6% | 47% | 2.11× | 3.7s | $6 | विवरण |
Moonshine MNओवरलैप | 58.8% | 45.2% | 41.2% | 8.44× | 0.8s | $0 | विवरण |
Whisper large-v3 | 89.5% | 37.4% | 10.5% | 1.29× | 6.0s | $0 | विवरण |
Gladia | 90.1% | 38.9% | 9.9% | 0.75× | 9.4s | $10.2 | विवरण |
Whisper large-v3-turbo | 99% | 54.4% | 1% | 0.91× | 8.7s | $0 | विवरण |
Qwen3-ASR-Flash | 103.7% | 86.4% | -3.7% | 2.19× | 3.2s | $2.1 | विवरण |
OpenAI Whisper | 105.2% | 63.7% | -5.2% | 1.5× | 4.5s | $6 | विवरण |
VibeVoice ASR | 107% | 61% | -7% | 0.53× | 12.1s | $0 | विवरण |
Gemini Flash | बेंचमार्क जल्द आ रहा है | ||||||
सभी परिणाम वास्तविक मंगोलियाई डेटासेट पर मापे गए हैं। गति × रियल-टाइम है (अधिक = तेज़)। कम WER बेहतर है।
ओवरलैप— इस बैज वाले मॉडल ऐसे डेटा पर प्रशिक्षित हुए हैं जो बेंचमार्क कॉर्पस से मेल खाता है (मंगोलियाई Common Voice — 173 में से 113 सैंपल — या Shunya Labs का सार्वजनिक कॉर्पस)। ओवरलैप वाले कॉर्पस के अंक रटने की वजह से बढ़े हुए आते हैं; इन मॉडलों को विवरण पृष्ठ की डेटासेट-वार तालिका से आँकें, ख़ासकर उन कॉर्पस से जिन पर वे प्रशिक्षित नहीं हुए।
Duudlaga Voice Set
92 samples · 10.2 min · 28 systemsA second corpus recorded first-party for this benchmark, covering what the public Mongolian datasets barely contain: modern loanwords, English/Mongolian code-switching, numbers, dates, and commands. Every system is measured on the same 92 recordings.
| प्रदाता | WER | CER | सटीकता | गति |
|---|---|---|---|---|
1Duudlaga Flowहमारा | 9.5% | 5.3% | 90.5% | 1.27× |
2Google STT | 11.7% | 5.5% | 88.3% | 2.28× |
3Chimege | 14.5% | 6.8% | 85.5% | 1.48× |
4Speechmatics | 15.3% | 7.6% | 84.7% | 0.5× |
5Gemini 3.5 Flash | 19.5% | 11.4% | 80.5% | 0.06× |
6SeamlessM4T v2ओपन सोर्स | 22.9% | 10.4% | 77.1% | 4.32× |
7Whisper large-v2 MNओपन सोर्स | 23.2% | 10.9% | 76.8% | 0.55× |
8ElevenLabs Scribe v1 | 23.4% | 9.3% | 76.6% | 2.09× |
9ElevenLabs Scribe v2 | 24.6% | 9.8% | 75.4% | 1.47× |
10Azure Speech | 26.1% | 10.9% | 73.9% | 0.32× |
11Gemma 4ओपन सोर्स | 27.7% | 13.2% | 72.3% | 1.04× |
12OmniASR LLM-1Bओपन सोर्स | 34.5% | 14.5% | 65.5% | 0.27× |
13Whisper medium MNओपन सोर्सओवरलैप | 35.1% | 14.8% | 64.9% | 2.71× |
14Whisper turbo MNओपन सोर्सओवरलैप | 37.6% | 14.1% | 62.4% | 2.59× |
15Whisper large-v3 MNओपन सोर्सओवरलैप | 41% | 17.1% | 59% | 1.58× |
16GPT-4o Transcribe | 44.3% | 23.7% | 55.7% | 2.62× |
17MMS-1B-allओपन सोर्स | 45.3% | 15.1% | 54.7% | 20.52× |
18Dolphin smallओपन सोर्स | 46.1% | 19% | 53.9% | 1.69× |
19W2v-BERT 2.0 MNओपन सोर्सओवरलैप | 46.3% | 18.2% | 53.7% | 28.12× |
20OmniASR CTC-1Bओपन सोर्स | 54.9% | 18.9% | 45.1% | 0.59× |
21wav2vec2 XLSR-53 MNओपन सोर्सओवरलैप | 56.3% | 23.9% | 43.7% | 45.7× |
22Whisper large-v3ओपन सोर्स | 87.3% | 36.6% | 12.7% | 1.55× |
23Gladia | 88.1% | 39.9% | 11.9% | 0.74× |
24Moonshine MNओपन सोर्सओवरलैप | 96.2% | 75.7% | 3.8% | 8.36× |
25Whisper large-v3-turboओपन सोर्स | 98.1% | 57.1% | 1.9% | 1.19× |
26Qwen3-ASR-Flash | 103.6% | 89.9% | -3.6% | 2.07× |
27OpenAI Whisper | 104.6% | 63.8% | -4.6% | 1.32× |
28VibeVoice ASRओपन सोर्स | 110.1% | 64% | -10.1% | 0.4× |
इस बेंचमार्क के लिए ख़ुद रिकॉर्ड किया गया — ऑडियो साझा नहीं किया जाता, सिर्फ़ आँकड़े।