Papan peringkat speech-to-text bahasa Mongol

SeamlessM4T v2Titik operasi: facebook/seamless-m4t-v2-large (tgt_lang=khk) on mps

SeamlessM4T v2 — Benchmark speech-to-text bahasa Mongol

Hasil nyata dari SeamlessM4T v2 Batch API (titik operasi yang disempurnakan, bahasa mn) yang dievaluasi pada 4 dataset bahasa Mongol dan 265 sampel audio. Setiap angka di bawah diukur — bukan pemasaran. WER, kecepatan, dan harga ditampilkan apa adanya, jujur tanpa basa-basi.

Bahasa:MNDiariasis:noneSampel:265Jalan:Aug 18, 2026, 10:12 AMEndpoint:local (transformers)

Akurasi

265/265 sampel ditranskripsi · 100% sukses

Tingkat kesalahan kata

Lebih rendah lebih baik · pada 265 sampel

Metrik utama

Tingkat kesalahan karakter11.1%

Faktor kecepatan rata-rata0.39×kelipatan waktu nyata

Faktor kecepatan total0.39×

Latensi rata-rata per sampel26.3s

Total audio diproses1849.3s30.8 mnt

Harga

Harga daftar SeamlessM4T v2 untuk transkripsi batch. Tanpa diskon atau tarif yang dinegosiasikan — tarif mentah per menit.

Per 1000 menit

batch

Per menit

$0.0000

efektif

Per 1000 menit (30.8 menit ini)

$0.00

akan biaya

Sumber terbuka?

✓

milik

Sumber harga: harga publik SeamlessM4T v2. Duudlaga Flow ditampilkan hanya untuk konteks — halaman ini mengisolasi SeamlessM4T v2 agar angka tidak dibesar-besarkan oleh produk kami.

WER & CER per dataset

Tingkat kesalahan kata dan karakter per dataset. Lebih rendah lebih baik — dan ini angka nyata SeamlessM4T v2, yang lemah di Common Voice 24.

Common Voice 24 (MN)

Dataset sumber →

WER

17.6%

CER

6.3%

Shunya Labs Mongolian Speech

Dataset sumber →

WER

22.2%

CER

10.2%

Common Voice 20 (MN)

Dataset sumber →

WER

21.7%

CER

7.9%

Modern Voice

WER

30.9%

CER

16.7%

WERCER

Ringkasan dataset

Akurasi, kecepatan, dan waktu agregat untuk tiap dataset.

Dataset	Sumber	Sampel	Sukses	WER	CER	Akurasi	Kecepatan	Audio (dtk)	Proses (dtk)
Common Voice 24 (MN)	Hugging Face →	59	59/59	17.6%	6.3%	82.4%	3.59×	330.6s	92.1s
Shunya Labs Mongolian Speech	Hugging Face →	60	60/60	22.2%	10.2%	77.8%	0.25×	645.1s	2569.2s
Common Voice 20 (MN)	Hugging Face →	54	54/54	21.7%	7.9%	78.3%	0.14×	269.8s	1897s
Modern Voice	—	92	92/92	30.9%	16.7%	69.1%	4.26×	603.8s	141.6s

WER vs kecepatan — per sampel

Setiap titik adalah satu sampel audio. Titik ideal di kiri bawah (sedikit kesalahan, cepat). SeamlessM4T v2 punya kesalahan tinggi pada banyak sampel Common Voice 24.

Hasil per sampel

Kebenaran acuan ditampilkan apa adanya di kolom Diharapkan. Kolom hasil menyorot merah hanya kata yang salah oleh SeamlessM4T v2 — tanpa coret-ganti, hanya kesalahan.

Hanya yang salah265 baris

merahkata salah pada hasilbiasaditranskripsi dengan benarKolom Diharapkan ditampilkan apa adanya sebagai kebenaran acuan

#	Sampel	Dataset	Diharapkan (kebenaran acuan)	Hasil SeamlessM4T v2	WER	CER	I/D/S
1	btsee_0001	Common Voice 24 (MN)	Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье.	Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье.	0.0%	0.0%	0/0/0
2	btsee_0002	Common Voice 24 (MN)	Надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү?	Надад аясан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү?	8.3%	2.7%	0/0/1
3	btsee_0003	Common Voice 24 (MN)	Одоо бид өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе.	Одоо бид өөрсдөө өвчнөөр эмгэгээсээ салахыг хичээцгээе.	14.3%	7.7%	0/0/1
4	btsee_0004	Common Voice 24 (MN)	Би бол голдуу хээрээр гэр, хэцээр дэр хийж явдаг хүн.	Би бол голдуу хээрээр гэр, хетээр дэр хийж явдаг хүн.	10.0%	3.9%	0/0/1
5	btsee_0005	Common Voice 24 (MN)	Хан хурмаст уурлаж, Болдоггүй Бор өвгөнийг хор луугаараа ниргүүлэхээр явуулжээ.	Хан хурамс уурлаж, болдоггүй бор уг нь хоёр луугаар нэхүүлэхээр явуулжээ.	60.0%	19.5%	1/0/5
6	btsee_0006	Common Voice 24 (MN)	Алив наашаа ороод ир гээд гэртээ оров.	Алив наашаа ороод ир гээд гэртээ оров.	0.0%	0.0%	0/0/0
7	btsee_0007	Common Voice 24 (MN)	Өө өндөр дээдэс таны тухайд би баталж чадахгүй.	Өө, өндөр дээдэс таны тухайд би батлаж чадахгүй.	12.5%	4.3%	0/0/1
8	btsee_0008	Common Voice 24 (MN)	Харин гурав дахь удаагаас эхлэн хүмүүсийг сонирхож эхлэв.	харин гурав дахь удаагаа эхлээд хүмүүсийг сонирхож эхлэв.	25.0%	5.4%	0/0/2
9	btsee_0009	Common Voice 24 (MN)	Та нар очингуутаа шөл л өгч үз.	Та нар очингуутаа шөл л өгч үз.	0.0%	0.0%	0/0/0
10	btsee_0010	Common Voice 24 (MN)	Ерөөсөө литр үйлдвэрээсээ салаагүй явсан юм чинь.	Ерөөсөө л үйлдвэрээсээ салаагүй явсан юм чинь.	14.3%	6.2%	0/0/1

…Halaman 1 dari 27

Metodologi

Bagaimana angka ini diperoleh.

Penyedia: SeamlessM4T v2 (Meta SeamlessM4T v2 Large speech-to-text run locally, decoding to Halh Mongolian (khk) — 2.3B params covering ~100 source languages.).

Endpoint local (transformers). Bahasa mn. Titik operasi facebook/seamless-m4t-v2-large (tgt_lang=khk) on mps. Diariasis none.

Dataset: Common Voice 24 (MN), Shunya Labs Mongolian Speech, Common Voice 20 (MN), Modern Voice — 265 sampel, total 1849.3s audio.

URL sumber dataset:

Common Voice 24 (MN)https://huggingface.co/datasets/btsee/common-voices-24-mn
Shunya Labs Mongolian Speechhttps://huggingface.co/datasets/shunyalabs/mongolian-speech-dataset
Common Voice 20 (MN)https://huggingface.co/datasets/warmestman/common-voice-20-mn-normalized
Modern Voice—

Metrik: WER dan CER dihitung dengan perataan Levenshtein kata/karakter standar, dinormalisasi untuk huruf besar/kecil dan tanda baca. Akurasi = 100 − WER. Faktor kecepatan = durasi audio ÷ waktu pemrosesan (× waktu nyata). Semua permintaan adalah panggilan nyata ke Batch API SeamlessM4T v2, bukan cache atau simulasi.

Penyorotan perbedaan: Kolom hasil diratakan ke kebenaran acuan dan mewarnai merah setiap substitusi dan penyisipan. Penghapusan (kata yang hilang dari hasil) tidak ditampilkan di kolom hasil — kolom Diharapkan sudah memuat seluruh kebenaran acuan apa adanya.

Dibuat oleh SeamlessM4T v2 Benchmark Runner · SeamlessM4T v2 Batch API v2 · dijalankan Aug 18, 2026, 10:12 AM