Монгол яриа таних үйлчилгээний эрэмбэ
Modern Voice
Энэ өгөгдлийн багц дээрх гүйцэтгэл: 92 жишээ, 26 системийг ижил аудиогоор харьцууллаа.
Энэ бенчмаркт зориулж өөрсдөө бичсэн — аудио нийтлээгүй, зөвхөн үзүүлэлттэй.
| # | Үйлчилгээ үзүүлэгч | WER ↑ | CER | Хурд | Жишээ | Нээлттэй эх | |
|---|---|---|---|---|---|---|---|
| 1 | Duudlaga FlowБиднийх | 18.1% | 10.2% | 1.66× | 92/92 | ✗ | Дэлгэрэнгүй › |
| 2 | Google STT | 18.7% | 9.9% | 2.06× | 92/92 | ✗ | Дэлгэрэнгүй › |
| 3 | Chimege | 21.1% | 10.8% | 1.46× | 92/92 | ✗ | Дэлгэрэнгүй › |
| 4 | Speechmatics | 22.4% | 13.6% | 0.49× | 91/92 | ✗ | Дэлгэрэнгүй › |
| 5 | Whisper large-v2 MN | 26.8% | 13.3% | 0.54× | 92/92 | ✓ | Дэлгэрэнгүй › |
| 6 | ElevenLabs Scribe v1 | 28.3% | 12.4% | 2.06× | 92/92 | ✗ | Дэлгэрэнгүй › |
| 7 | ElevenLabs Scribe v2 | 29.8% | 13% | 1.45× | 92/92 | ✗ | Дэлгэрэнгүй › |
| 8 | Azure Speech | 30.9% | 16.1% | 0.34× | 91/92 | ✗ | Дэлгэрэнгүй › |
| 9 | SeamlessM4T v2 | 30.9% | 16.7% | 4.26× | 92/92 | ✓ | Дэлгэрэнгүй › |
| 10 | Gemma 4 | 33.1% | 16.9% | 1.02× | 92/92 | ✓ | Дэлгэрэнгүй › |
| 11 | OmniASR LLM-1B | 36.9% | 15.8% | 0.26× | 92/92 | ✓ | Дэлгэрэнгүй › |
| 12 | Whisper medium MNДавхцал | 37.7% | 16.3% | 2.68× | 92/92 | ✓ | Дэлгэрэнгүй › |
| 13 | Whisper turbo MNДавхцал | 40.1% | 15.7% | 2.56× | 92/92 | ✓ | Дэлгэрэнгүй › |
| 14 | Whisper large-v3 MNДавхцал | 44.9% | 19.3% | 1.56× | 92/92 | ✓ | Дэлгэрэнгүй › |
| 15 | GPT-4o Transcribe | 47.4% | 25.5% | 2.59× | 92/92 | ✗ | Дэлгэрэнгүй › |
| 16 | MMS-1B-all | 48.3% | 17% | 20.25× | 92/92 | ✓ | Дэлгэрэнгүй › |
| 17 | Dolphin small | 52.2% | 24.2% | 1.67× | 92/92 | ✓ | Дэлгэрэнгүй › |
| 18 | OmniASR CTC-1B | 56.4% | 19.7% | 0.58× | 92/92 | ✓ | Дэлгэрэнгүй › |
| 19 | wav2vec2 XLSR-53 MNДавхцал | 58% | 24.3% | 45.1× | 92/92 | ✓ | Дэлгэрэнгүй › |
| 20 | Whisper large-v3 | 87.7% | 37.2% | 1.53× | 92/92 | ✓ | Дэлгэрэнгүй › |
| 21 | Gladia | 88.3% | 39.8% | 0.73× | 92/92 | ✗ | Дэлгэрэнгүй › |
| 22 | Moonshine MNДавхцал | 95.4% | 74.1% | 8.25× | 92/92 | ✓ | Дэлгэрэнгүй › |
| 23 | Whisper large-v3-turbo | 96.8% | 55.6% | 1.18× | 92/92 | ✓ | Дэлгэрэнгүй › |
| 24 | OpenAI Whisper | 103% | 61.9% | 1.3× | 92/92 | ✗ | Дэлгэрэнгүй › |
| 25 | Qwen3-ASR-Flash | 103.2% | 89.1% | 2.04× | 92/92 | ✗ | Дэлгэрэнгүй › |
| 26 | VibeVoice ASR | 109.4% | 63.4% | 0.43× | 90/92 | ✓ | Дэлгэрэнгүй › |
Үндсэн эрэмбийн хүснэгттэй ижил аргаар үнэлсэн (цэг, тэмдэгтийг хасаж, жижиг үсэгт шилжүүлсэн). Багана дээр дарж эрэмбэлнэ; Дэлгэрэнгүйгээс жишээ бүрийн задаргааг үзнэ.
Жишээ тус бүрийн үр дүн
Бичвэрүүдийг зэрэгцүүлж харьцуулна: ижил өгүүлбэрт сонгосон систем бүрийн гаргасан бичвэрийг харж, алдааг улаанаар ялгана. Сонголтын товчоор систем нэмж, хасна; хүснэгтийг хөндлөн гүйлгэнэ.
Duudlaga FlowGoogle STTChimege
| # | Жишиг бичвэр | Duudlaga Flow-ийн үр дүн(18.1%) | Google STT-ийн үр дүн(18.7%) | Chimege-ийн үр дүн(21.1%) |
|---|---|---|---|---|
| 1 | Үүний Гэлүг гэдэг урсгал нь 11, 12-р зуунаас Монголд Түвдээр дамжин орж ирсэн байна. | Үүнийг гэлүү гэдэг урсгал нь 11-12 дугаар зуунаас Монголд төвд дамжин орж ирсэн байна. WER 26.7% | Үүнийг Гэлүү гэдэг урсгал нь 11-12 дугаар зуунаас Монголд төв дээр дамжин орж ирсэн байна. WER 33.3% | Үүний гэлүү гэдэг урсгал нь 11 12 дугаар зуунаас Монголд төв дээр дамжин орж ирсэн байна. WER 26.7% |
| 2 | Үүний зэрэгцээ нэрний франц хэлээрх товчлол FIBA өөрчлөгдөөгүй гэдгийг тэмдэглэх нь зүйтэй. | Үүний зэрэгцээ нэрний Франц хэлээрх товчлол, FIBA, өөрчлөгдөөгүй гэдгийг тэмдэглэх нь зүйтэй. WER 0.0% | Үүний зэрэгцээ нэрний Франц хэлээрх товчлол, FIBA, өөрчлөгдөөгүй гэдгийг тэмдэглэх нь зүйтэй. WER 0.0% | Үүний зэрэгцээ нэрний франц хэлээрх товчлол фи ба өөрчлөгдөөгүй гэдгийг тэмдэглэх нь зүйтэй. WER 16.7% |
| 3 | Байрны түрээс сард нэг сая хоёр зуун мянган төгрөг гэвэл арай өндөр байна. | Байрны түрээс сард 1 200 000 төгрөг гэвэл арай өндөр байна. WER 38.5% | Байрны түрээс сард 1 200 000 төгрөг гэвэл арай өндөр байна. WER 38.5% | Байрны түрээс сард 1 сая 200 мянган төгрөг гэвэл арай өндөр байна. WER 23.1% |
| 4 | Гол дүрд Кедар Капуур Changez Khan, 1958 онд Пакистан услад хийсэн. | Гол дүрд Kedar Kapur, Чингис хаан 1958 онд Пакистан улсад хийсэн. WER 45.5% | Гол дүрд Кедар Капур, Чингис хаан 1958 онд Пакистан улсад хийсэн. WER 36.4% | Гол дүрд Киддар Капур Чанезкан 1958 онд Пакистан улсад хийсэн. WER 45.5% |
| 5 | Хүргэлтийн залуу хаалган дээр ирчихсэн байна, түр хүлээлгээд өг. | Хүргэлтийн залуу хаалган дээр ирчихсэн байна. Түр хүлээлгээд өг. WER 0.0% | Хүргэлтийн залуу хаалган дээр ирчихсэн байна. Түр хүлээлгээд өг. WER 0.0% | Хүргэлтийн залуу хаалган дээр ирчихсэн байна. Түр хүлээлгээд өг. WER 0.0% |
| 6 | Эдийн засгийн уналтыг зогсоох фондын бирж дээрх хувьцааны үнийг дэвшилттэйгээр бууруулахын тулд төв банк нь мөнгөний нийлүүлэлтийг нэмэгдүүлж эхэлдэг. | Эдийн засгийн уналтыг зогсоохын тулд фондын бирж дээр хувьцааны үнийг дэвшилттэйгээр бууруулахын тулд төв банк нь мөнгөний нийлүүлэлтийг нэмэгдүүлж эхэлдэг. WER 15.8% | Эдийн засгийн уналтыг зогсоохын тулд фондын бирж дээр хувьцааны үнийг дэвшилттэйгээр бууруулахын тулд төв банк нь мөнгөний нийлүүлэлтийг нэмэгдүүлж эхэлдэг. WER 15.8% | Эдийн засгийн уналтыг зогсоох бондын бирж дээрх хувьцааны үнийг дэвшилттэйгээр бууруулахын тулд Төв банк нь мөнгөний нийлүүлэлтийг нэмэгдүүлж эхэлдэг. WER 5.3% |
| 7 | V үе шат 1965он-оос хойших үеийг сагсан бөмбөгийн спорт өөрийнхөө өмнө тулгарсан асуудлуудыг даван туулж ид хөгжлийнхөө замд шилжсэнд тооцдог. | Тавдугаар үе шат 1965 оноос хойш WER 90.5% | Тавдугаар үе шат 1965 оноос хойш WER 90.5% | 5 дугаар үе шат 1965 оноос хойш. WER 95.2% |
| 8 | Вирусээ тогтворжуулсан эсийн шугам, хүний эсийн өсгөвөр (Haemophilus influenzae гэх мэт), тахианы өндөг (томуугийн хувьд) гэх мэтийн аль нэг анхдагч эс дээр ургуулна. | Вирусыг тогтворжуулсан эсийн шугам, хүний эсийн өсвөр, Haemophilus influenzae гэх мэт тахианы өндөг, томуугийн хувьд гэх мэт аль нэг анхдагч эс дээр ургуулна. WER 13.0% | Вирусыг тогтворжуулсан эсийн шугам, хүний эсийн өсвөр, Haemophilus influenzae гэх мэт тахианы өндөг, томуугийн хувьд гэх мэт аль нэг анхдагч эс дээр ургуулна. WER 13.0% | Вирусээ тогтворжуулсан эсийн шугам, хүний эсийн үүсгүүр, хаймапиус, имплуза гэх мэт тахианы өндөг томуугийн хувьд гэх мэтийн аль нэг анхдагч эс дээр ургуулна. WER 13.0% |
| 9 | Хувийн блокчэйн(Private blockchain): нь ихэвчлэн жижиг хэмжээний сүлжээ байхаас гадна токен ашигладаггүй. | Хувийн блокчэйн буюу приват блокчэйн нь ихэвчлэн жижиг хэмжээний сүлжээ байхаас гадна төвхөн ашигладаггүй. WER 30.8% | Хувийн блокчэйн буюу приват блокчэйн нь ихэвчлэн жижиг хэмжээний сүлжээ байхаас гадна төвхөн ашигладаггүй. WER 30.8% | Хувийн блокчэйн буюу прайет блокчэйн нь ихэвчлэн жижиг хэмжээний сүлжээ байхаас гадна түүхэн ашигладаггүй. WER 30.8% |
| 10 | Роботууд биш, харин алгоритмууд бидний ажлын байрыг өөрчилнө гэж судлаачид үзэж байна. | Роботууд биш харин алгоритмууд бидний ажлын байрыг өөрчилнө гэж судлаачид үзэж байна. WER 0.0% | Роботууд биш харин алгоритмууд бидний ажлын байрыг өөрчилнө гэж судлаачид үзэж байна. WER 0.0% | Роботууд биш харин алгоритмууд бидний ажлын байрыг өөрчилнө гэж судлаачид үзэж байна. WER 0.0% |
1 / 10 хуудас