MMS-1B-allOperating point: facebook/mms-1b-all (mon CTC adapter) on mps

MMS-1B-all — ਮੰਗੋਲੀਅਨ ਸਪੀਚ-ਟੂ-ਟੈਕਸਟ ਬੈਂਚਮਾਰਕ

MMS-1B-all Batch API (ਸੁਧਾਰੀ ਓਪਰੇਟਿੰਗ ਪੁਆਇੰਟ, ਭਾਸ਼ਾ mn) ਦੁਆਰਾ 4 ਮੰਗੋਲੀਅਨ ਡੇਟਾਸੈਟਾਂ ਅਤੇ 265 ਆਡੀਓ ਨਮੂਨਿਆਂ ’ਤੇ ਮੁਲਾਂਕਣ ਕੀਤੇ ਅਸਲ ਨਤੀਜੇ। ਹੇਠਾਂ ਹਰ ਨੰਬਰ ਮਾਪਿਆ ਗਿਆ ਹੈ — ਮਾਰਕੀਟਿੰਗ ਨਹੀਂ। WER, ਗਤੀ ਅਤੇ ਕੀਮਤ ਜਿਵੇਂ ਹਨ, ਸਖ਼ਤ ਇਮਾਨਦਾਰੀ ਨਾਲ ਵਿਖਾਏ ਗਏ ਹਨ।

ਭਾਸ਼ਾ:MNਸਪੀਕਰ ਵੱਖਰੇਪਣ:noneਨਮੂਨੇ:265ਚਲਾਓ:Aug 18, 2026, 4:48 PMਐਂਡਪੁਆਇੰਟ:local (transformers)

ਸ਼ੁੱਧਤਾ

265/265 ਨਮੂਨੇ ਟ੍ਰਾਂਸਕ੍ਰਾਈਬ · 100% ਸਫਲਤਾ

ਸ਼ਬਦ ਗਲਤੀ ਦਰ

ਘੱਟ ਬਿਹਤਰ · 265 ਨਮੂਨਿਆਂ ’ਤੇ

ਮੁੱਖ ਮੈਟ੍ਰਿਕਸ

ਅੱਖਰ ਗਲਤੀ ਦਰ12.3%

ਔਸਤ ਗਤੀ ਗੁਣਾਂਕ19.2×ਰੀਅਲ-ਟਾਈਮ ਗੁਣਕ

ਕੁੱਲ ਗਤੀ ਗੁਣਾਂਕ19.2×

ਨਮੂਨੇ ਪ੍ਰਤੀ ਔਸਤ ਦੇਰੀ0.4s

ਕੁੱਲ ਪ੍ਰੋਸੈਸ ਕੀਤਾ ਆਡੀਓ1849.3s30.8 ਮਿੰਟ

ਕੀਮਤ

ਬੈਚ ਟ੍ਰਾਂਸਕ੍ਰਿਪਸ਼ਨ ਲਈ MMS-1B-all ਦੀ ਸੂਚੀ ਕੀਮਤ। ਕੋਈ ਛੂਟ ਜਾਂ ਗੱਲਬਾਤ ਕੀਤੀ ਦਰ ਨਹੀਂ — ਪ੍ਰਤੀ ਮਿੰਟ ਕੱਚੀ ਦਰ।

ਪ੍ਰਤੀ 1000 ਮਿੰਟ

ਬੈਚ

ਪ੍ਰਤੀ ਮਿੰਟ

$0.0000

ਪ੍ਰਭਾਵੀ

ਪ੍ਰਤੀ 1000 ਮਿੰਟ (ਇਹ 30.8 ਮਿੰਟ)

$0.00

ਲਾਗਤ

ਓਪਨ ਸ੍ਰੋਤ?

✓

ਮਾਲਕੀਅਤ

ਕੀਮਤ ਸ੍ਰੋਤ: MMS-1B-all ਜਨਤਕ ਕੀਮਤਾਂ। Duudlaga Flow ਸਿਰਫ਼ ਸੰਦਰਭ ਲਈ ਵਿਖਾਇਆ ਗਿਆ ਹੈ — ਇਹ ਪੰਨਾ MMS-1B-all ਨੂੰ ਵੱਖ ਰੱਖਦਾ ਹੈ ਤਾਂ ਜੋ ਨੰਬਰ ਸਾਡੇ ਉਤਪਾਦ ਨਾਲ ਫੁੱਲ ਨਾ ਜਾਵੇ।

ਡੇਟਾਸੈਟ ਮੁਤਾਬਕ WER ਅਤੇ CER

ਡੇਟਾਸੈਟ ਮੁਤਾਬਕ ਸ਼ਬਦ ਅਤੇ ਅੱਖਰ ਗਲਤੀ ਦਰ। ਘੱਟ ਬਿਹਤਰ — ਅਤੇ ਇਹ MMS-1B-all ਦੇ ਅਸਲ ਨੰਬਰ ਹਨ, ਜੋ Common Voice 24 ’ਤੇ ਕਮਜ਼ੋਰ ਹਨ।

Common Voice 24 (MN)

Source dataset →

WER

39.8%

CER

10.4%

Shunya Labs Mongolian Speech

Source dataset →

WER

30.3%

CER

7.2%

Common Voice 20 (MN)

Source dataset →

WER

45.2%

CER

12.2%

Modern Voice

WER

48.3%

CER

17%

WERCER

ਡੇਟਾਸੈਟ ਸਾਰ

ਹਰ ਡੇਟਾਸੈਟ ਲਈ ਸਮੁੱਚੀ ਸ਼ੁੱਧਤਾ, ਗਤੀ ਅਤੇ ਸਮਾਂ।

ਡੇਟਾਸੈਟ	Source	ਨਮੂਨੇ	ਸਫਲਤਾ	WER	CER	ਸ਼ੁੱਧਤਾ	ਗਤੀ	ਆਡੀਓ (ਸੈ)	ਪ੍ਰੋਸੈ. (ਸੈ)
Common Voice 24 (MN)	Hugging Face →	59	59/59	39.8%	10.4%	60.2%	16.59×	330.6s	19.9s
Shunya Labs Mongolian Speech	Hugging Face →	60	60/60	30.3%	7.2%	69.7%	20.44×	645.1s	31.6s
Common Voice 20 (MN)	Hugging Face →	54	54/54	45.2%	12.2%	54.8%	17.98×	269.8s	15s
Modern Voice	—	92	92/92	48.3%	17%	51.7%	20.25×	603.8s	29.8s

WER vs ਗਤੀ — ਨਮੂਨੇ ਮੁਤਾਬਕ

ਹਰ ਬਿੰਦੂ ਇੱਕ ਆਡੀਓ ਨਮੂਨਾ ਹੈ। ਆਦਰਸ਼ ਥਾਂ ਹੇਠਾਂ-ਖੱਬੇ (ਘੱਟ ਗਲਤੀ, ਤੇਜ਼) ਹੈ। MMS-1B-all ਕੋਲ ਕਈ Common Voice 24 ਨਮੂਨਿਆਂ ’ਤੇ ਉੱਚ ਗਲਤੀ ਹੈ।

ਨਮੂਨੇ ਮੁਤਾਬਕ ਨਤੀਜੇ

ਉਮੀਦ ਕਾਲਮ ਵਿੱਚ ਗਰਾਊਂਡ ਟ੍ਰੁਥ ਜਿਵੇਂ ਹੈ ਉਵੇਂ ਵਿਖਾਇਆ ਗਿਆ ਹੈ। ਨਤੀਜਾ ਕਾਲਮ ਸਿਰਫ਼ ਉਹ ਸ਼ਬਦ ਲਾਲ ਵਿੱਚ ਉਭਾਰਦਾ ਹੈ ਜੋ MMS-1B-all ਨੇ ਗਲਤ ਕੀਤੇ — ਕੋਈ ਸਟ੍ਰਾਈਕਥ੍ਰੂ/ਅਦਲਾ-ਬਦਲੀ ਨਹੀਂ, ਸਿਰਫ਼ ਗਲਤੀਆਂ।

Only errors265 ਕਤਾਰਾਂ

ਲਾਲਨਤੀਜੇ ਵਿੱਚ ਗਲਤ ਸ਼ਬਦਸਾਧਾਰਨਸਹੀ ਟ੍ਰਾਂਸਕ੍ਰਾਈਬਉਮੀਦ ਕਾਲਮ ਗਰਾਊਂਡ ਟ੍ਰੁਥ ਵਜੋਂ ਜਿਵੇਂ ਹੈ ਵਿਖਾਇਆ ਗਿਆ

#	ਨਮੂਨਾ	ਡੇਟਾਸੈਟ	ਉਮੀਦ (ਗਰਾਊਂਡ ਟ੍ਰੁਥ)	MMS-1B-all ਨਤੀਜਾ	WER	CER	I/D/S
1	btsee_0001	Common Voice 24 (MN)	Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье.	гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье	0.0%	0.0%	0/0/0
2	btsee_0002	Common Voice 24 (MN)	Надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү?	нада заяасан ад жиргал гэдэг эрдэ гурвахан сарын хугацаатай байсан гэж үү	41.7%	10.7%	0/0/5
3	btsee_0003	Common Voice 24 (MN)	Одоо бид өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе.	одоо тэд өөрсдөө өвчин энэгэйгээсээ салахыг чэцгээв	42.9%	17.3%	0/0/3
4	btsee_0004	Common Voice 24 (MN)	Би бол голдуу хээрээр гэр, хэцээр дэр хийж явдаг хүн.	би бол голдуу хээрээр гэр хэцээр дэр хийж явдаг хүн	0.0%	0.0%	0/0/0
5	btsee_0005	Common Voice 24 (MN)	Хан хурмаст уурлаж, Болдоггүй Бор өвгөнийг хор луугаараа ниргүүлэхээр явуулжээ.	хан хурамс жуурлаж болдггүй бурөгний хоёр луугаар нэргүүлэхээр явгжээ	90.0%	22.1%	0/1/8
6	btsee_0006	Common Voice 24 (MN)	Алив наашаа ороод ир гээд гэртээ оров.	алив наашаа ороо дэр гээд гэртээ оров	28.6%	8.1%	0/0/2
7	btsee_0007	Common Voice 24 (MN)	Өө өндөр дээдэс таны тухайд би баталж чадахгүй.	өө өндөр дээд таны тухайд би ботолж чадахгүй	25.0%	8.7%	0/0/2
8	btsee_0008	Common Voice 24 (MN)	Харин гурав дахь удаагаас эхлэн хүмүүсийг сонирхож эхлэв.	харин гурав дах удаагаас эхлэн хүмүүсийг сонирхож эхлэв	12.5%	1.8%	0/0/1
9	btsee_0009	Common Voice 24 (MN)	Та нар очингуутаа шөл л өгч үз.	та нар очингуутаа шөлөл өгч үз	28.6%	3.3%	0/1/1
10	btsee_0010	Common Voice 24 (MN)	Ерөөсөө литр үйлдвэрээсээ салаагүй явсан юм чинь.	эрөөсөө л үйлдвэрээсээ салуагүй явсан юм чинь	42.9%	10.4%	0/0/3

…ਪੰਨਾ 1 / 27

ਵਿਧੀ-ਵਿਗਿਆਨ

ਇਹ ਨੰਬਰ ਕਿਵੇਂ ਪ੍ਰਾਪਤ ਹੋਏ।

ਪ੍ਰੋਵਾਈਡਰ: MMS-1B-all (Meta Massively Multilingual Speech (1B, 1162 languages) with the Mongolian CTC adapter — no punctuation or casing by design.).

ਐਂਡਪੁਆਇੰਟ local (transformers). ਭਾਸ਼ਾ mn. Operating point facebook/mms-1b-all (mon CTC adapter) on mps. ਸਪੀਕਰ ਵੱਖਰੇਪਣ none.

ਡੇਟਾਸੈਟ: Common Voice 24 (MN), Shunya Labs Mongolian Speech, Common Voice 20 (MN), Modern Voice — 265 ਨਮੂਨੇ, ਕੁੱਲ 1849.3s ਆਡੀਓ।

Dataset source URLs:

Common Voice 24 (MN)https://huggingface.co/datasets/btsee/common-voices-24-mn
Shunya Labs Mongolian Speechhttps://huggingface.co/datasets/shunyalabs/mongolian-speech-dataset
Common Voice 20 (MN)https://huggingface.co/datasets/warmestman/common-voice-20-mn-normalized
Modern Voice—

ਮੈਟ੍ਰਿਕਸ: WER ਅਤੇ CER ਮਿਆਰੀ ਸ਼ਬਦ/ਅੱਖਰ ਲੇਵੇਨਸ਼ਟਾਈਨ ਇਕਸਾਰਤਾ ਨਾਲ, ਕੇਸ ਅਤੇ ਵਿਰਾਮ ਚਿੰਨ੍ਹ ਲਈ ਨੌਰਮਲਾਈਜ਼ ਕਰਕੇ ਗਣਨਾ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਸ਼ੁੱਧਤਾ = 100 − WER। ਗਤੀ ਗੁਣਾਂਕ = ਆਡੀਓ ਮਿਆਦ ÷ ਪ੍ਰੋਸੈਸਿੰਗ ਸਮਾਂ (× ਰੀਅਲ-ਟਾਈਮ)। ਸਾਰੀਆਂ ਬੇਨਤੀਆਂ ਅਸਲ MMS-1B-all Batch API ਕਾਲਾਂ ਹਨ, ਕੈਸ਼ ਜਾਂ ਸਿਮੂਲੇਟਡ ਨਹੀਂ।

ਅੰਤਰ ਉਭਾਰ: ਨਤੀਜਾ ਕਾਲਮ ਗਰਾਊਂਡ ਟ੍ਰੁਥ ਨਾਲ ਇਕਸਾਰ ਹੋ ਕੇ ਹਰ ਬਦਲ ਅਤੇ ਸ਼ਾਮਲ ਨੂੰ ਲਾਲ ਰੰਗਦਾ ਹੈ। ਮਿਟਾਉਣ (ਨਤੀਜੇ ਵਿੱਚੋਂ ਗੈਰ-ਹਾਜ਼ਰ ਸ਼ਬਦ) ਨਤੀਜਾ ਕਾਲਮ ਵਿੱਚ ਨਹੀਂ ਵਿਖਾਏ ਜਾਂਦੇ — ਉਮੀਦ ਕਾਲਮ ਪਹਿਲਾਂ ਹੀ ਪੂਰੀ ਗਰਾਊਂਡ ਟ੍ਰੁਥ ਜਿਵੇਂ ਹੈ ਰੱਖਦਾ ਹੈ।

MMS-1B-all Benchmark Runner ਦੁਆਰਾ ਬਣਾਇਆ · MMS-1B-all Batch API v2 · ਚਲਾਇਆ Aug 18, 2026, 4:48 PM