Modern Voice

Як кожна виміряна система працює на цьому корпусі: 92 зразків, 26 систем порівняно на однаковому аудіо.

Записано нами спеціально для цього бенчмарку — аудіо не поширюється, лише метрики.

#	Постачальник	WER ↑	CER	Швидкість	Зразки	Відкритий код
1	Duudlaga FlowНаш	18.1%	10.2%	1.66×	92/92	✗	Деталі ›
2	Google STT	18.7%	9.9%	2.06×	92/92	✗	Деталі ›
3	Chimege	21.1%	10.8%	1.46×	92/92	✗	Деталі ›
4	Speechmatics	22.4%	13.6%	0.49×	91/92	✗	Деталі ›
5	Whisper large-v2 MN	26.8%	13.3%	0.54×	92/92	✓	Деталі ›
6	ElevenLabs Scribe v1	28.3%	12.4%	2.06×	92/92	✗	Деталі ›
7	ElevenLabs Scribe v2	29.8%	13%	1.45×	92/92	✗	Деталі ›
8	Azure Speech	30.9%	16.1%	0.34×	91/92	✗	Деталі ›
9	SeamlessM4T v2	30.9%	16.7%	4.26×	92/92	✓	Деталі ›
10	Gemma 4	33.1%	16.9%	1.02×	92/92	✓	Деталі ›
11	OmniASR LLM-1B	36.9%	15.8%	0.26×	92/92	✓	Деталі ›
12	Whisper medium MNПеретин	37.7%	16.3%	2.68×	92/92	✓	Деталі ›
13	Whisper turbo MNПеретин	40.1%	15.7%	2.56×	92/92	✓	Деталі ›
14	Whisper large-v3 MNПеретин	44.9%	19.3%	1.56×	92/92	✓	Деталі ›
15	GPT-4o Transcribe	47.4%	25.5%	2.59×	92/92	✗	Деталі ›
16	MMS-1B-all	48.3%	17%	20.25×	92/92	✓	Деталі ›
17	Dolphin small	52.2%	24.2%	1.67×	92/92	✓	Деталі ›
18	OmniASR CTC-1B	56.4%	19.7%	0.58×	92/92	✓	Деталі ›
19	wav2vec2 XLSR-53 MNПеретин	58%	24.3%	45.1×	92/92	✓	Деталі ›
20	Whisper large-v3	87.7%	37.2%	1.53×	92/92	✓	Деталі ›
21	Gladia	88.3%	39.8%	0.73×	92/92	✗	Деталі ›
22	Moonshine MNПеретин	95.4%	74.1%	8.25×	92/92	✓	Деталі ›
23	Whisper large-v3-turbo	96.8%	55.6%	1.18×	92/92	✓	Деталі ›
24	OpenAI Whisper	103%	61.9%	1.3×	92/92	✗	Деталі ›
25	Qwen3-ASR-Flash	103.2%	89.1%	2.04×	92/92	✗	Деталі ›
26	VibeVoice ASR	109.4%	63.4%	0.43×	90/92	✓	Деталі ›

Оцінювання таке саме, як в основному рейтингу (пунктуацію прибрано, текст у нижньому регістрі). Натисніть на стовпець, щоб відсортувати; «Докладніше» відкриває повний розбір за кожним зразком.

Результати за зразками

Порівнюйте розшифровки поруч: вивід кожної вибраної системи для тієї самої фрази, помилки виділено червоним. Додавайте та прибирайте системи чипами; таблиця гортається горизонтально.

Duudlaga FlowGoogle STTChimege

#	Очікується (еталон)	Результат Duudlaga Flow(18.1%)	Результат Google STT(18.7%)	Результат Chimege(21.1%)
1	Үүний Гэлүг гэдэг урсгал нь 11, 12-р зуунаас Монголд Түвдээр дамжин орж ирсэн байна.	Үүнийг гэлүү гэдэг урсгал нь 11-12 дугаар зуунаас Монголд төвд дамжин орж ирсэн байна. WER 26.7%	Үүнийг Гэлүү гэдэг урсгал нь 11-12 дугаар зуунаас Монголд төв дээр дамжин орж ирсэн байна. WER 33.3%	Үүний гэлүү гэдэг урсгал нь 11 12 дугаар зуунаас Монголд төв дээр дамжин орж ирсэн байна. WER 26.7%
2	Үүний зэрэгцээ нэрний франц хэлээрх товчлол FIBA өөрчлөгдөөгүй гэдгийг тэмдэглэх нь зүйтэй.	Үүний зэрэгцээ нэрний Франц хэлээрх товчлол, FIBA, өөрчлөгдөөгүй гэдгийг тэмдэглэх нь зүйтэй. WER 0.0%	Үүний зэрэгцээ нэрний Франц хэлээрх товчлол, FIBA, өөрчлөгдөөгүй гэдгийг тэмдэглэх нь зүйтэй. WER 0.0%	Үүний зэрэгцээ нэрний франц хэлээрх товчлол фи ба өөрчлөгдөөгүй гэдгийг тэмдэглэх нь зүйтэй. WER 16.7%
3	Байрны түрээс сард нэг сая хоёр зуун мянган төгрөг гэвэл арай өндөр байна.	Байрны түрээс сард 1 200 000 төгрөг гэвэл арай өндөр байна. WER 38.5%	Байрны түрээс сард 1 200 000 төгрөг гэвэл арай өндөр байна. WER 38.5%	Байрны түрээс сард 1 сая 200 мянган төгрөг гэвэл арай өндөр байна. WER 23.1%
4	Гол дүрд Кедар Капуур Changez Khan, 1958 онд Пакистан услад хийсэн.	Гол дүрд Kedar Kapur, Чингис хаан 1958 онд Пакистан улсад хийсэн. WER 45.5%	Гол дүрд Кедар Капур, Чингис хаан 1958 онд Пакистан улсад хийсэн. WER 36.4%	Гол дүрд Киддар Капур Чанезкан 1958 онд Пакистан улсад хийсэн. WER 45.5%
5	Хүргэлтийн залуу хаалган дээр ирчихсэн байна, түр хүлээлгээд өг.	Хүргэлтийн залуу хаалган дээр ирчихсэн байна. Түр хүлээлгээд өг. WER 0.0%	Хүргэлтийн залуу хаалган дээр ирчихсэн байна. Түр хүлээлгээд өг. WER 0.0%	Хүргэлтийн залуу хаалган дээр ирчихсэн байна. Түр хүлээлгээд өг. WER 0.0%
6	Эдийн засгийн уналтыг зогсоох фондын бирж дээрх хувьцааны үнийг дэвшилттэйгээр бууруулахын тулд төв банк нь мөнгөний нийлүүлэлтийг нэмэгдүүлж эхэлдэг.	Эдийн засгийн уналтыг зогсоохын тулд фондын бирж дээр хувьцааны үнийг дэвшилттэйгээр бууруулахын тулд төв банк нь мөнгөний нийлүүлэлтийг нэмэгдүүлж эхэлдэг. WER 15.8%	Эдийн засгийн уналтыг зогсоохын тулд фондын бирж дээр хувьцааны үнийг дэвшилттэйгээр бууруулахын тулд төв банк нь мөнгөний нийлүүлэлтийг нэмэгдүүлж эхэлдэг. WER 15.8%	Эдийн засгийн уналтыг зогсоох бондын бирж дээрх хувьцааны үнийг дэвшилттэйгээр бууруулахын тулд Төв банк нь мөнгөний нийлүүлэлтийг нэмэгдүүлж эхэлдэг. WER 5.3%
7	V үе шат 1965он-оос хойших үеийг сагсан бөмбөгийн спорт өөрийнхөө өмнө тулгарсан асуудлуудыг даван туулж ид хөгжлийнхөө замд шилжсэнд тооцдог.	Тавдугаар үе шат 1965 оноос хойш WER 90.5%	Тавдугаар үе шат 1965 оноос хойш WER 90.5%	5 дугаар үе шат 1965 оноос хойш. WER 95.2%
8	Вирусээ тогтворжуулсан эсийн шугам, хүний эсийн өсгөвөр (Haemophilus influenzae гэх мэт), тахианы өндөг (томуугийн хувьд) гэх мэтийн аль нэг анхдагч эс дээр ургуулна.	Вирусыг тогтворжуулсан эсийн шугам, хүний эсийн өсвөр, Haemophilus influenzae гэх мэт тахианы өндөг, томуугийн хувьд гэх мэт аль нэг анхдагч эс дээр ургуулна. WER 13.0%	Вирусыг тогтворжуулсан эсийн шугам, хүний эсийн өсвөр, Haemophilus influenzae гэх мэт тахианы өндөг, томуугийн хувьд гэх мэт аль нэг анхдагч эс дээр ургуулна. WER 13.0%	Вирусээ тогтворжуулсан эсийн шугам, хүний эсийн үүсгүүр, хаймапиус, имплуза гэх мэт тахианы өндөг томуугийн хувьд гэх мэтийн аль нэг анхдагч эс дээр ургуулна. WER 13.0%
9	Хувийн блокчэйн(Private blockchain): нь ихэвчлэн жижиг хэмжээний сүлжээ байхаас гадна токен ашигладаггүй.	Хувийн блокчэйн буюу приват блокчэйн нь ихэвчлэн жижиг хэмжээний сүлжээ байхаас гадна төвхөн ашигладаггүй. WER 30.8%	Хувийн блокчэйн буюу приват блокчэйн нь ихэвчлэн жижиг хэмжээний сүлжээ байхаас гадна төвхөн ашигладаггүй. WER 30.8%	Хувийн блокчэйн буюу прайет блокчэйн нь ихэвчлэн жижиг хэмжээний сүлжээ байхаас гадна түүхэн ашигладаггүй. WER 30.8%
10	Роботууд биш, харин алгоритмууд бидний ажлын байрыг өөрчилнө гэж судлаачид үзэж байна.	Роботууд биш харин алгоритмууд бидний ажлын байрыг өөрчилнө гэж судлаачид үзэж байна. WER 0.0%	Роботууд биш харин алгоритмууд бидний ажлын байрыг өөрчилнө гэж судлаачид үзэж байна. WER 0.0%	Роботууд биш харин алгоритмууд бидний ажлын байрыг өөрчилнө гэж судлаачид үзэж байна. WER 0.0%

Сторінка 1 з 10