Duudlaga Flow — 몽골어 음성-텍스트 벤치마크
Duudlaga Flow Batch API(향상된 운용 지점, 언어 mn-MN)를 4개 몽골어 데이터셋과 265개 오디오 샘플로 평가한 실제 결과입니다. 아래의 모든 숫자는 마케팅이 아닌 실측값입니다. WER, 속도, 가격은 있는 그대로, 가감 없이 솔직하게 표시합니다.
265/265 샘플 전사 · 100% 성공
낮을수록 좋음 · 265개 샘플 기준
가격
Duudlaga Flow의 일괄 전사 정가입니다. 할인이나 협상된 요금은 반영하지 않은 원시 분당 요금입니다.
가격 출처: Duudlaga Flow 공개 가격. Duudlaga Flow는 참고용으로만 표시합니다. 이 페이지는 Duudlaga Flow만 단독으로 다루어 숫자가 자사 제품으로 부풀려지지 않음을 보여줍니다.
데이터셋별 WER 및 CER
데이터셋별 단어·문자 오류율입니다. 낮을수록 좋으며, 이는 Duudlaga Flow의 실제 숫자로 Common Voice 24에서 약합니다.
데이터셋 요약
각 데이터셋의 종합 정확도, 속도, 소요 시간.
| 데이터셋 | 출처 | 샘플 | 성공 | WER | CER | 정확도 | 속도 | 오디오(초) | 처리(초) |
|---|---|---|---|---|---|---|---|---|---|
| Common Voice 24 (MN) | Hugging Face → | 59 | 59/59 | 13.8% | 5.8% | 86.2% | 1.26× | —s | —s |
| Shunya Labs Mongolian Speech | Hugging Face → | 60 | 60/60 | 8.3% | 4.1% | 91.7% | 1.8× | —s | —s |
| Common Voice 20 (MN) | Hugging Face → | 54 | 54/54 | 16.6% | 9.1% | 83.4% | 1.33× | —s | —s |
| Modern Voice | — | 92 | 92/92 | 18.1% | 10.2% | 81.9% | 1.66× | 603.8s | 363.6s |
WER 대 속도 — 샘플별
각 점은 하나의 오디오 샘플입니다. 이상적인 위치는 좌하단(오류 적음, 빠름)입니다. Duudlaga Flow는 많은 Common Voice 24 샘플에서 오류가 높습니다.
샘플별 결과
“기대” 열에 정답을 그대로 표시합니다. 결과 열은 Duudlaga Flow가 틀린 단어만 빨간색으로 강조합니다 — 취소선/교체 없이 오류만 보여줍니다.
| # | 오디오 | 샘플 | 데이터셋 | 기대(정답) | Duudlaga Flow 결과 | WER | CER | I/D/S |
|---|---|---|---|---|---|---|---|---|
| 1 | btsee-cv24-mn-0001 | Common Voice 24 (MN) | Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье. | Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье. | 0.0% | 0.0% | 0/0/0 | |
| 2 | btsee-cv24-mn-0002 | Common Voice 24 (MN) | Надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү? | Надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү? | 0.0% | 0.0% | 0/0/0 | |
| 3 | btsee-cv24-mn-0003 | Common Voice 24 (MN) | Одоо бид өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе. | Одоо бид өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе. | 0.0% | 0.0% | 0/0/0 | |
| 4 | btsee-cv24-mn-0004 | Common Voice 24 (MN) | Би бол голдуу хээрээр гэр, хэцээр дэр хийж явдаг хүн. | Би бол голдуу хээрээр гэр хэцээр дэр хийж явдаг хүн. | 0.0% | 0.0% | 0/0/0 | |
| 5 | btsee-cv24-mn-0005 | Common Voice 24 (MN) | Хан хурмаст уурлаж, Болдоггүй Бор өвгөнийг хор луугаараа ниргүүлэхээр явуулжээ. | Хаан Хормистуусын болтугай баруун хоёр дахь луугаар нэргүүлэхээр явжээ. | 100.0% | 41.6% | 0/1/9 | |
| 6 | btsee-cv24-mn-0006 | Common Voice 24 (MN) | Алив наашаа ороод ир гээд гэртээ оров. | Алив, наашаа ороод ир гээд гэртээ оров. | 0.0% | 0.0% | 0/0/0 | |
| 7 | btsee-cv24-mn-0007 | Common Voice 24 (MN) | Өө өндөр дээдэс таны тухайд би баталж чадахгүй. | өндөр дээдэс, таны тухайд би баталж чадахгүй. | 12.5% | 6.5% | 0/1/0 | |
| 8 | btsee-cv24-mn-0008 | Common Voice 24 (MN) | Харин гурав дахь удаагаас эхлэн хүмүүсийг сонирхож эхлэв. | Харин гурав дахь удаагаасаа эхлэн хүмүүсийг сонирхож эхлэв. | 12.5% | 3.6% | 0/0/1 | |
| 9 | btsee-cv24-mn-0009 | Common Voice 24 (MN) | Та нар очингуутаа шөл л өгч үз. | Та нар очингуутаа шүлэг өгч үз. | 28.6% | 10.0% | 0/1/1 | |
| 10 | btsee-cv24-mn-0010 | Common Voice 24 (MN) | Ерөөсөө литр үйлдвэрээсээ салаагүй явсан юм чинь. | Ерөөсөө л үйлдвэрээсээ салаагүй явсан юм чинь. | 14.3% | 6.2% | 0/0/1 |
방법론
이 숫자들이 도출된 방식.
제공자: Duudlaga Flow (Google Cloud STT V2 + OpenAI tidy post-processing.).
엔드포인트 http://localhost:8080/transcribe. 언어 mn-MN. WER를 위해 문장 부호 제거.
데이터셋: Common Voice 24 (MN), Shunya Labs Mongolian Speech, Common Voice 20 (MN), Modern Voice — 265개 샘플, 오디오 총 1849.3s.
- Common Voice 24 (MN)https://huggingface.co/datasets/btsee/common-voices-24-mn
- Shunya Labs Mongolian Speechhttps://huggingface.co/datasets/shunyalabs/mongolian-speech-dataset
- Common Voice 20 (MN)https://huggingface.co/datasets/warmestman/common-voice-20-mn-normalized
- Modern Voice—
지표: WER과 CER은 대소문자와 구두점을 정규화한 표준 단어/문자 레벤슈타인 정렬로 계산합니다. 정확도 = 100 − WER. 속도 계수 = 오디오 길이 ÷ 처리 시간(× 실시간). 모든 요청은 실제 Duudlaga Flow Batch API 호출이며 캐시나 시뮬레이션이 아닙니다.
차이 강조: 결과 열은 정답에 정렬하여 모든 치환과 삽입을 빨간색으로 표시합니다. 삭제(결과에 빠진 단어)는 결과 열에 표시하지 않으며 “기대” 열이 정답 전체를 그대로 보유합니다.