Монгол яриа таних үйлчилгээний эрэмбэ
Shunya Labs Mongolian Speech
Энэ өгөгдлийн багц дээрх гүйцэтгэл: 60 жишээ, 26 системийг ижил аудиогоор харьцууллаа.
| # | Үйлчилгээ үзүүлэгч | WER ↑ | CER | Хурд | Жишээ | Нээлттэй эх | |
|---|---|---|---|---|---|---|---|
| 1 | Whisper medium MNДавхцал | 2.8% | 1.5% | 2.94× | 60/60 | ✓ | Дэлгэрэнгүй › |
| 2 | Duudlaga FlowБиднийх | 8.3% | 4.1% | 1.8× | 60/60 | ✗ | Дэлгэрэнгүй › |
| 3 | Google STT | 10.5% | 4% | 2.45× | 60/60 | ✗ | Дэлгэрэнгүй › |
| 4 | Chimege | 13.4% | 4.8% | 2.17× | 60/60 | ✗ | Дэлгэрэнгүй › |
| 5 | Speechmatics | 14% | 6.8% | 0.72× | 60/60 | ✗ | Дэлгэрэнгүй › |
| 6 | Whisper large-v2 MN | 16.7% | 6.1% | 0.52× | 60/60 | ✓ | Дэлгэрэнгүй › |
| 7 | Whisper turbo MNДавхцал | 17% | 4.7% | 2.9× | 60/60 | ✓ | Дэлгэрэнгүй › |
| 8 | Azure Speech | 18.4% | 8.4% | 0.57× | 60/60 | ✗ | Дэлгэрэнгүй › |
| 9 | ElevenLabs Scribe v1 | 18.7% | 5.9% | 2.02× | 60/60 | ✗ | Дэлгэрэнгүй › |
| 10 | ElevenLabs Scribe v2 | 19.2% | 6.3% | 1.74× | 60/60 | ✗ | Дэлгэрэнгүй › |
| 11 | SeamlessM4T v2 | 22.2% | 10.2% | 0.25× | 60/60 | ✓ | Дэлгэрэнгүй › |
| 12 | OmniASR LLM-1B | 22.9% | 6.9% | 0.25× | 60/60 | ✓ | Дэлгэрэнгүй › |
| 13 | Gemma 4 | 23.4% | 11% | 1.07× | 60/60 | ✓ | Дэлгэрэнгүй › |
| 14 | Whisper large-v3 MNДавхцал | 28.6% | 8.8% | 1.76× | 60/60 | ✓ | Дэлгэрэнгүй › |
| 15 | MMS-1B-all | 30.3% | 7.2% | 20.44× | 60/60 | ✓ | Дэлгэрэнгүй › |
| 16 | GPT-4o Transcribe | 41.7% | 19.4% | 1.67× | 60/60 | ✗ | Дэлгэрэнгүй › |
| 17 | OmniASR CTC-1B | 43.6% | 11.6% | 0.53× | 60/60 | ✓ | Дэлгэрэнгүй › |
| 18 | wav2vec2 XLSR-53 MNДавхцал | 44.6% | 15.3% | 45.18× | 60/60 | ✓ | Дэлгэрэнгүй › |
| 19 | Dolphin small | 49.7% | 19.2% | 2.59× | 60/60 | ✓ | Дэлгэрэнгүй › |
| 20 | Gladia | 86.2% | 33.5% | 0.87× | 60/60 | ✗ | Дэлгэрэнгүй › |
| 21 | Whisper large-v3 | 86.2% | 33% | 1.87× | 60/60 | ✓ | Дэлгэрэнгүй › |
| 22 | Moonshine MNДавхцал | 94.3% | 72.6% | 10.04× | 60/60 | ✓ | Дэлгэрэнгүй › |
| 23 | Whisper large-v3-turbo | 99.4% | 47.7% | 1.01× | 60/60 | ✓ | Дэлгэрэнгүй › |
| 24 | Qwen3-ASR-Flash | 102.3% | 75.2% | 1.94× | 60/60 | ✗ | Дэлгэрэнгүй › |
| 25 | OpenAI Whisper | 104.1% | 61.3% | 1.39× | 60/60 | ✗ | Дэлгэрэнгүй › |
| 26 | VibeVoice ASR | 114.2% | 58% | 0.63× | 59/60 | ✓ | Дэлгэрэнгүй › |
Үндсэн эрэмбийн хүснэгттэй ижил аргаар үнэлсэн (цэг, тэмдэгтийг хасаж, жижиг үсэгт шилжүүлсэн). Багана дээр дарж эрэмбэлнэ; Дэлгэрэнгүйгээс жишээ бүрийн задаргааг үзнэ.
Жишээ тус бүрийн үр дүн
Бичвэрүүдийг зэрэгцүүлж харьцуулна: ижил өгүүлбэрт сонгосон систем бүрийн гаргасан бичвэрийг харж, алдааг улаанаар ялгана. Сонголтын товчоор систем нэмж, хасна; хүснэгтийг хөндлөн гүйлгэнэ.
Whisper medium MNDuudlaga FlowGoogle STT
| # | Жишиг бичвэр | Whisper medium MN-ийн үр дүн(2.8%) | Duudlaga Flow-ийн үр дүн(8.3%) | Google STT-ийн үр дүн(10.5%) |
|---|---|---|---|---|
| 1 | гэсэн хэдий ч харилцаа холбооны сувгууд удаан байсан тул барууны хэв маяг 25-с 30 жилээр хоцорчээ | гэсэн хэдий ч харилцаа холбооны сувгууд удаан байсан тул барууны хэв маяг с жилээр хоцорчээ WER 11.8% | Гэсэн хэдий ч харилцаа холбооны сувгууд удаан байсан тул барууны хэв маяг 25-30 жилээр хоцоржээ. WER 11.8% | Гэсэн хэдий ч харилцаа холбооны сувгууд удаан байсан тул барууны хэв маяг 25-30 жилээр хоцоржээ. WER 11.8% |
| 2 | умард зүг дэх том газрууд нь нэлээн сийрэг хүн амтай бөгөөд зарим газар нь бараг хүн суурьшаагүй онгон зэрлэгээрээ байдаг | умард зүг дэх том газрууд нь нэлээн сийрэг хүн амтай бөгөөд зарим газар нь бараг хүн суурьшаагүй онгон зэрлэгээрээ байдаг WER 0.0% | Умард зүг дэх том газрууд нь нэлээн сийрэг хүн амтай бөгөөд зарим газар нь бараг хүн суурьшаагүй, олон онгон зэлгээрээ байдаг. WER 10.0% | Умард зүг дэх том газрууд нь нэлээн сийрэг хүн амтай бөгөөд зарим газар нь бараг хүн суурьшаагүй олон онгон зэлгээрээ байдаг. WER 10.0% |
| 3 | тус гүүр нь 2017 оны есдүгээр сард буюу бразилийн гаалийн шалганы цэгүүдийг барьж дуусгах үед бүрэн ашиглалтанд орох хуваарьтай байна | тус гүүр нь оны есдүгээр сард буюу бразилийн гаалийн шалганы цэгүүдийг барьж дуусгах үед бүрэн ашиглалтанд орох хуваарьтай байна WER 5.0% | Тус гүүр нь 2017 оны 9-р сард буюу Бразилын гаалийн шалганы цэгүүдийг барьж дуусгах үед бүрэн ашиглалтад орох хуваарьтай байна. WER 10.0% | Тус гүүр нь 2017 оны 9-р сард буюу Бразилын гаалийн шалганы цэгүүдийг байж дуусгах үед бүрэн ашиглалтад орох хуваарьтай байна. WER 15.0% |
| 4 | түгээмэл спортод хөлбөмбөг сагсан бөмбөг волейболл усан поло туялзуур жад регби дугуй мөсний хоккей дугуйт хоккей болон f1 машины уралдаан багтдаг | түгээмэл спортод хөлбөмбөг сагсан бөмбөг волейболл усан поло туялзуур жад регби дугуй мөсний хоккей дугуйт хоккей болон машины уралдаан багтдаг WER 4.8% | Түгээмэл спортод хөлбөмбөг, сагсан бөмбөг, волейбол, усан поло, туялзуур жад, регби, дугуй, мөсний хоккей, дугуйт хоккей болон F1 машины уралдаан багтдаг. WER 4.8% | Түгээмэл спортод хөлбөмбөг, сагсан бөмбөг, волейбол, усан поло, туялзуур жад, регби, дугуй, мөсний хоккей, дугуйт хоккей болон F1 машины уралдаан багтдаг. WER 4.8% |
| 5 | захирагч генералын албаны гадна нэг бөмбөг дэлбэрчээ | захирагч генералын албаны гадна нэг бөмбөг дэлбэрчээ WER 0.0% | Захирагч генералын албаны гадна нэг бөмбөг дэлбэржээ. WER 14.3% | Захирагч генералын албаны гадна нэг бөмбөг дэлбэржээ. WER 14.3% |
| 6 | хонконг арал нь хонконгод өөрийн нэрийг өгсөн бөгөөд олон жуулчдын гол зорьдог газар юм | хонконг арал нь хонконгод өөрийн нэрийг өгсөн бөгөөд олон жуулчдын гол зорьдог газар юм WER 0.0% | Хонконг арал нь Хонконгод өөрийн нэрийг өгсөн бөгөөд олон жуулчдын гол зорьдог газар юм. WER 0.0% | Хонг Конг арал нь Хонг Конгт өөрийн нэрийг өгсөн бөгөөд олон жуулчдын гол зорьдог газар юм. WER 28.6% |
| 7 | эхлээд ихэнх унаачид нь өсгийтэй цулгай нэлээд нарийн ултай тусгай гутлыг өмсөнө | эхлээд ихэнх унаачид нь өсгийтэй цулгай нэлээд нарийн ултай тусгай гутлыг өмсөнө WER 0.0% | Эхлээд ихэнх унаачид нь өсгийтэй, цулгуй, нэлээд нарийн ултай тусгай гутлыг өмсөнө. WER 8.3% | Эхлээд ихэнх унаачид нь өсгийтэй, цулгуй, нэлээд нарийн ултай тусгай гутлыг өмсөнө. WER 8.3% |
| 8 | тэрээр бууруулах тоог тодорхойлоогүй бөгөөд үүнийг хятадын эдийн засгийн үр дагаварт суурилан хийх болно гэв | тэрээр бууруулах тоог тодорхойлоогүй бөгөөд үүнийг хятадын эдийн засгийн үр дагаварт суурилан хийх болно гэв WER 0.0% | Тэрээр бууруулах тоог тодорхойлоогүй бөгөөд үүнийг Хятадын эдийн засгийн үр дагаварт суурилан хийх болно гэв. WER 0.0% | Тэрээр бууруулах тоог тодорхойлоогүй бөгөөд үүнийг Хятадын эдийн засгийн үр дагаварт суурилан хийх болно гэв. WER 0.0% |
| 9 | тус хороо нь аравдугаар сард эхэлсэн дэглэмийн эсрэг өргөн тархсан тэмцэгчдэд өгч буй мартеллигийн хариу байсан билээ | тус хороо нь аравдугаар сард эхэлсэн дэглэмийн эсрэг өргөн тархсан тэмцэгчдэд өгч буй мартеллигийн хариу байсан билээ WER 0.0% | Тус хороо нь 10-р сард эхэлсэн дэглэмийн эсрэг өргөн тархсан тэмцэгчдэд өгөх буюу martial-ын хариу байсан билээ. WER 23.5% | Тус хороо нь 10-р сард эхэлсэн дэглэмийн эсрэг өргөн тархсан тэмцэгчдэд өгөх буюу мартиалын хариу байсан билээ. WER 17.6% |
| 10 | гэвч ахмадын крикет хаалгыг алдсанаас хойш энэтхэг улс хугацааны төгсгөлд 36 гүйлт хийж 7 дамжуулалтыг алдахад хүрсэн юм | гэвч ахмадын крикет хаалгыг алдсанаас хойш энэтхэг улс хугацааны төгсгөлд гүйлт хийж дамжуулалтыг алдахад хүрсэн юм WER 11.1% | Гэвч ахмадын крикет хаалгыг алдсанаас хойш Энэтхэг улс хугацааны төгсгөлд 36 гүйлтийг хийж, долоон дамжуулалтыг алдахад хүрсэн юм. WER 11.1% | Гэвч ахмадын крикет хаалгыг алдсанаас хойш Энэтхэг улс хугацааны төгсгөлд 36 гүйлтийг хийж долоон дамжуулалтыг алдахад хүрсэн юм. WER 11.1% |
1 / 6 хуудас