Gemma 4ऑपरेटिंग पॉइंट: google/gemma-4-E2B-it + rookie-systems/gemma-4-audio-asr-mn-adapter (mps)

Gemma 4 — मंगोलियाई स्पीच-टू-टेक्स्ट बेंचमार्क

Gemma 4 Batch API (उन्नत संचालन बिंदु, भाषा mn) द्वारा 4 मंगोलियाई डेटासेट और 265 ऑडियो नमूनों पर निर्धारित वास्तविक परिणाम। नीचे का हर अंक मापा गया है — मार्केटिंग नहीं। WER, गति और मूल्य जैसा है वैसे ही, कठोर ईमानदारी से दिखाए गए हैं।

भाषा:MNवक्ता पृथक्करण:noneनमूने:265चलाना:Aug 17, 2026, 6:18 PMएंडपॉइंट:local (transformers + PEFT)

सटीकता

265/265 नमूने ट्रांसक्राइब किए गए · 100% सफलता

शब्द त्रुटि दर

कम बेहतर है · 265 नमूनों पर

मुख्य मेट्रिक्स

अक्षर त्रुटि दर14.7%

औसत गति गुणांक1×रियल-टाइम गुणक

कुल गति गुणांक1×

प्रति नमूना औसत विलंबता7.3s

कुल संसाधित ऑडियो1849.3s30.8 मिनट

मूल्य

बैच ट्रांसक्रिप्शन के लिए Gemma 4 की सूची मूल्य। कोई छूट या परक्राम्य दर नहीं — प्रति मिनट कच्चा दर।

प्रति 1000 मिनट

बैच

प्रति मिनट

$0.0000

प्रभावी

प्रति 1000 मिनट (ये 30.8 मिनट)

$0.00

लागत

ओपन सोर्स?

✓

स्वामित्व

मूल्य स्रोत: Gemma 4 सार्वजनिक मूल्य। Duudlaga Flow केवल संदर्भ हेतु दिखाया गया है — यह पृष्ठ Gemma 4 को अलग करता है ताकि अंक हमारे उत्पाद से न फूले।

डेटासेट अनुसार WER और CER

प्रति डेटासेट शब्द और अक्षर त्रुटि दरें। कम बेहतर है — और ये Gemma 4 के वास्तविक अंक हैं, जो Common Voice 24 पर कमज़ोर हैं।

Common Voice 24 (MN)

स्रोत डेटासेट →

WER

32%

CER

14.3%

Shunya Labs Mongolian Speech

स्रोत डेटासेट →

WER

23.4%

CER

11%

Common Voice 20 (MN)

स्रोत डेटासेट →

WER

30.8%

CER

15.3%

Modern Voice

WER

33.1%

CER

16.9%

WERCER

डेटासेट सारांश

प्रत्येक डेटासेट की सकल सटीकता, गति और समय।

डेटासेट	स्रोत	नमूने	सफलता	WER	CER	सटीकता	गति	ऑडियो (से)	प्रसं. (से)
Common Voice 24 (MN)	Hugging Face →	59	59/59	32%	14.3%	68.0%	0.99×	330.6s	334s
Shunya Labs Mongolian Speech	Hugging Face →	60	60/60	23.4%	11%	76.6%	1.07×	645.1s	604.8s
Common Voice 20 (MN)	Hugging Face →	54	54/54	30.8%	15.3%	69.2%	0.84×	269.8s	322.5s
Modern Voice	—	92	92/92	33.1%	16.9%	66.9%	1.02×	603.8s	589.6s

WER बनाम गति — प्रति नमूना

प्रत्येक बिंदु एक ऑडियो नमूना है। आदर्श स्थान निचले-बाएँ (कम त्रुटि, तेज़) है। Gemma 4 कई Common Voice 24 नमूनों पर त्रुटि में ऊँचा है।

प्रति-नमूना परिणाम

अपेक्षित कॉलम में आधार सत्य यथावत् दिखाया गया है। परिणाम कॉलम केवल वे शब्द लाल में हाइलाइट करता है जिन्हें Gemma 4 ने गलत किया — कोई स्ट्राइकथ्रू/स्वैप नहीं, केवल त्रुटियाँ।

सिर्फ़ ग़लतियाँ265 पंक्तियाँ

लालपरिणाम में गलत शब्दसाधारणसही ट्रांसक्राइब किया गयाअपेक्षित कॉलम आधार सत्य के रूप में यथावत् दिखाया गया

#	नमूना	डेटासेट	अपेक्षित (आधार सत्य)	Gemma 4 परिणाम	WER	CER	I/D/S
1	btsee_0001	Common Voice 24 (MN)	Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье.	Гэхдээ амьсгал хураанхаасаа өмнө танд мэдэж байгаагаа хэлье.	12.5%	1.7%	0/0/1
2	btsee_0002	Common Voice 24 (MN)	Надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү?	Надад заяасан газар бол гэдэг ердөө 3 хоногийн хугацаатай байсан гэж үү?	33.3%	22.7%	0/0/4
3	btsee_0003	Common Voice 24 (MN)	Одоо бид өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе.	одоо бид өөрчлөлтөөр өөрийнхөө нэрийг эсээ салахыг хичээгдэхээ	71.4%	40.4%	1/0/4
4	btsee_0004	Common Voice 24 (MN)	Би бол голдуу хээрээр гэр, хэцээр дэр хийж явдаг хүн.	гэ бол голдуу хээрээр гэр, хичээлдээ ирэх гэж явдаг хүн	40.0%	25.5%	0/0/4
5	btsee_0005	Common Voice 24 (MN)	Хан хурмаст уурлаж, Болдоггүй Бор өвгөнийг хор луугаараа ниргүүлэхээр явуулжээ.	Хамт хүмүүстэй уулзаж, магадгүй бүр угны хоёр рүү гарч ирэхээр явж байна.	120.0%	55.8%	2/0/10
6	btsee_0006	Common Voice 24 (MN)	Алив наашаа ороод ир гээд гэртээ оров.	Алив наашаа ороод ир гээд гэртээ оров.	0.0%	0.0%	0/0/0
7	btsee_0007	Common Voice 24 (MN)	Өө өндөр дээдэс таны тухайд би баталж чадахгүй.	Ө өндөр дээд таны тухайд би баталгаажуулахгүй.	50.0%	21.7%	0/1/3
8	btsee_0008	Common Voice 24 (MN)	Харин гурав дахь удаагаас эхлэн хүмүүсийг сонирхож эхлэв.	Харин гуравдагх удаагаас эхлэх хүмүүсийг сонирхож эхлэв.	37.5%	7.1%	0/1/2
9	btsee_0009	Common Voice 24 (MN)	Та нар очингуутаа шөл л өгч үз.	Та нар орчингуутаа шөлө л өгч үз.	28.6%	6.7%	0/0/2
10	btsee_0010	Common Voice 24 (MN)	Ерөөсөө литр үйлдвэрээсээ салаагүй явсан юм чинь.	ерөөсөө л үйлдвэрээсээ салавгийн ёс юм чинь	42.9%	20.8%	0/0/3

…पृष्ठ 1 / 27

कार्यप्रणाली

ये अंक कैसे प्राप्त किए गए।

प्रदाता: Gemma 4 (google/gemma-4-E2B-it with the rookie-systems Mongolian ASR LoRA adapter, run locally on-device (open weights, no API).).

एंडपॉइंट local (transformers + PEFT). भाषा mn. ऑपरेटिंग पॉइंट google/gemma-4-E2B-it + rookie-systems/gemma-4-audio-asr-mn-adapter (mps). वक्ता पृथक्करण none.

डेटासेट: Common Voice 24 (MN), Shunya Labs Mongolian Speech, Common Voice 20 (MN), Modern Voice — 265 नमूने, कुल 1849.3s ऑडियो।

डेटासेट स्रोत लिंक:

Common Voice 24 (MN)https://huggingface.co/datasets/btsee/common-voices-24-mn
Shunya Labs Mongolian Speechhttps://huggingface.co/datasets/shunyalabs/mongolian-speech-dataset
Common Voice 20 (MN)https://huggingface.co/datasets/warmestman/common-voice-20-mn-normalized
Modern Voice—

मेट्रिक्स: WER और CER मानक शब्द/अक्षर लेवेनश्टाइन संरेखण से, केस व विराम चिह्न पर अनुमापित, गणना किए जाते हैं। सटीकता = 100 − WER। गति गुणांक = ऑडियो अवधि ÷ प्रसंस्करण समय (× रियल-टाइम)। सभी अनुरोध वास्तविक Gemma 4 Batch API कॉल हैं, कैश या सिम्युलेटेड नहीं।

अंतर हाइलाइटिंग: परिणाम कॉलम आधार सत्य से संरेखित होता है और प्रत्येक प्रतिस्थापन व निवेश को लाल रंग करता है। विलोपन (परिणाम से अनुपस्थित शब्द) परिणाम कॉलम में नहीं दिखाए जाते — अपेक्षित कॉलम पहले से संपूर्ण आधार सत्य यथावत् रखता है।

Gemma 4 Benchmark Runner द्वारा निर्मित · Gemma 4 Batch API v2 · चलाना Aug 17, 2026, 6:18 PM