Papan peringkat speech-to-text bahasa Mongol

MMS-1B-allTitik operasi: facebook/mms-1b-all (mon CTC adapter) on mps

MMS-1B-all — Benchmark speech-to-text bahasa Mongol

Hasil nyata dari MMS-1B-all Batch API (titik operasi yang disempurnakan, bahasa mn) yang dievaluasi pada 4 dataset bahasa Mongol dan 265 sampel audio. Setiap angka di bawah diukur — bukan pemasaran. WER, kecepatan, dan harga ditampilkan apa adanya, jujur tanpa basa-basi.

Bahasa:MNDiariasis:noneSampel:265Jalan:Aug 18, 2026, 4:48 PMEndpoint:local (transformers)

Akurasi

265/265 sampel ditranskripsi · 100% sukses

Tingkat kesalahan kata

Lebih rendah lebih baik · pada 265 sampel

Metrik utama

Tingkat kesalahan karakter12.3%

Faktor kecepatan rata-rata19.2×kelipatan waktu nyata

Faktor kecepatan total19.2×

Latensi rata-rata per sampel0.4s

Total audio diproses1849.3s30.8 mnt

Harga

Harga daftar MMS-1B-all untuk transkripsi batch. Tanpa diskon atau tarif yang dinegosiasikan — tarif mentah per menit.

Per 1000 menit

batch

Per menit

$0.0000

efektif

Per 1000 menit (30.8 menit ini)

$0.00

akan biaya

Sumber terbuka?

✓

milik

Sumber harga: harga publik MMS-1B-all. Duudlaga Flow ditampilkan hanya untuk konteks — halaman ini mengisolasi MMS-1B-all agar angka tidak dibesar-besarkan oleh produk kami.

WER & CER per dataset

Tingkat kesalahan kata dan karakter per dataset. Lebih rendah lebih baik — dan ini angka nyata MMS-1B-all, yang lemah di Common Voice 24.

Common Voice 24 (MN)

Dataset sumber →

WER

39.8%

CER

10.4%

Shunya Labs Mongolian Speech

Dataset sumber →

WER

30.3%

CER

7.2%

Common Voice 20 (MN)

Dataset sumber →

WER

45.2%

CER

12.2%

Modern Voice

WER

48.3%

CER

17%

WERCER

Ringkasan dataset

Akurasi, kecepatan, dan waktu agregat untuk tiap dataset.

Dataset	Sumber	Sampel	Sukses	WER	CER	Akurasi	Kecepatan	Audio (dtk)	Proses (dtk)
Common Voice 24 (MN)	Hugging Face →	59	59/59	39.8%	10.4%	60.2%	16.59×	330.6s	19.9s
Shunya Labs Mongolian Speech	Hugging Face →	60	60/60	30.3%	7.2%	69.7%	20.44×	645.1s	31.6s
Common Voice 20 (MN)	Hugging Face →	54	54/54	45.2%	12.2%	54.8%	17.98×	269.8s	15s
Modern Voice	—	92	92/92	48.3%	17%	51.7%	20.25×	603.8s	29.8s

WER vs kecepatan — per sampel

Setiap titik adalah satu sampel audio. Titik ideal di kiri bawah (sedikit kesalahan, cepat). MMS-1B-all punya kesalahan tinggi pada banyak sampel Common Voice 24.

Hasil per sampel

Kebenaran acuan ditampilkan apa adanya di kolom Diharapkan. Kolom hasil menyorot merah hanya kata yang salah oleh MMS-1B-all — tanpa coret-ganti, hanya kesalahan.

Hanya yang salah265 baris

merahkata salah pada hasilbiasaditranskripsi dengan benarKolom Diharapkan ditampilkan apa adanya sebagai kebenaran acuan

#	Sampel	Dataset	Diharapkan (kebenaran acuan)	Hasil MMS-1B-all	WER	CER	I/D/S
1	btsee_0001	Common Voice 24 (MN)	Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье.	гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье	0.0%	0.0%	0/0/0
2	btsee_0002	Common Voice 24 (MN)	Надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү?	нада заяасан ад жиргал гэдэг эрдэ гурвахан сарын хугацаатай байсан гэж үү	41.7%	10.7%	0/0/5
3	btsee_0003	Common Voice 24 (MN)	Одоо бид өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе.	одоо тэд өөрсдөө өвчин энэгэйгээсээ салахыг чэцгээв	42.9%	17.3%	0/0/3
4	btsee_0004	Common Voice 24 (MN)	Би бол голдуу хээрээр гэр, хэцээр дэр хийж явдаг хүн.	би бол голдуу хээрээр гэр хэцээр дэр хийж явдаг хүн	0.0%	0.0%	0/0/0
5	btsee_0005	Common Voice 24 (MN)	Хан хурмаст уурлаж, Болдоггүй Бор өвгөнийг хор луугаараа ниргүүлэхээр явуулжээ.	хан хурамс жуурлаж болдггүй бурөгний хоёр луугаар нэргүүлэхээр явгжээ	90.0%	22.1%	0/1/8
6	btsee_0006	Common Voice 24 (MN)	Алив наашаа ороод ир гээд гэртээ оров.	алив наашаа ороо дэр гээд гэртээ оров	28.6%	8.1%	0/0/2
7	btsee_0007	Common Voice 24 (MN)	Өө өндөр дээдэс таны тухайд би баталж чадахгүй.	өө өндөр дээд таны тухайд би ботолж чадахгүй	25.0%	8.7%	0/0/2
8	btsee_0008	Common Voice 24 (MN)	Харин гурав дахь удаагаас эхлэн хүмүүсийг сонирхож эхлэв.	харин гурав дах удаагаас эхлэн хүмүүсийг сонирхож эхлэв	12.5%	1.8%	0/0/1
9	btsee_0009	Common Voice 24 (MN)	Та нар очингуутаа шөл л өгч үз.	та нар очингуутаа шөлөл өгч үз	28.6%	3.3%	0/1/1
10	btsee_0010	Common Voice 24 (MN)	Ерөөсөө литр үйлдвэрээсээ салаагүй явсан юм чинь.	эрөөсөө л үйлдвэрээсээ салуагүй явсан юм чинь	42.9%	10.4%	0/0/3

…Halaman 1 dari 27

Metodologi

Bagaimana angka ini diperoleh.

Penyedia: MMS-1B-all (Meta Massively Multilingual Speech (1B, 1162 languages) with the Mongolian CTC adapter — no punctuation or casing by design.).

Endpoint local (transformers). Bahasa mn. Titik operasi facebook/mms-1b-all (mon CTC adapter) on mps. Diariasis none.

Dataset: Common Voice 24 (MN), Shunya Labs Mongolian Speech, Common Voice 20 (MN), Modern Voice — 265 sampel, total 1849.3s audio.

URL sumber dataset:

Common Voice 24 (MN)https://huggingface.co/datasets/btsee/common-voices-24-mn
Shunya Labs Mongolian Speechhttps://huggingface.co/datasets/shunyalabs/mongolian-speech-dataset
Common Voice 20 (MN)https://huggingface.co/datasets/warmestman/common-voice-20-mn-normalized
Modern Voice—

Metrik: WER dan CER dihitung dengan perataan Levenshtein kata/karakter standar, dinormalisasi untuk huruf besar/kecil dan tanda baca. Akurasi = 100 − WER. Faktor kecepatan = durasi audio ÷ waktu pemrosesan (× waktu nyata). Semua permintaan adalah panggilan nyata ke Batch API MMS-1B-all, bukan cache atau simulasi.

Penyorotan perbedaan: Kolom hasil diratakan ke kebenaran acuan dan mewarnai merah setiap substitusi dan penyisipan. Penghapusan (kata yang hilang dari hasil) tidak ditampilkan di kolom hasil — kolom Diharapkan sudah memuat seluruh kebenaran acuan apa adanya.

Dibuat oleh MMS-1B-all Benchmark Runner · MMS-1B-all Batch API v2 · dijalankan Aug 18, 2026, 4:48 PM