Whisper large-v3ऑपरेटिंग पॉइंट: openai/whisper-large-v3 (language=mn, task=transcribe) on mps

Whisper large-v3 — मंगोलियाई स्पीच-टू-टेक्स्ट बेंचमार्क

Whisper large-v3 Batch API (उन्नत संचालन बिंदु, भाषा mn) द्वारा 4 मंगोलियाई डेटासेट और 265 ऑडियो नमूनों पर निर्धारित वास्तविक परिणाम। नीचे का हर अंक मापा गया है — मार्केटिंग नहीं। WER, गति और मूल्य जैसा है वैसे ही, कठोर ईमानदारी से दिखाए गए हैं।

भाषा:MNवक्ता पृथक्करण:noneनमूने:265चलाना:Aug 18, 2026, 6:22 AMएंडपॉइंट:local (transformers)

सटीकता

265/265 नमूने ट्रांसक्राइब किए गए · 100% सफलता

शब्द त्रुटि दर

कम बेहतर है · 265 नमूनों पर

मुख्य मेट्रिक्स

अक्षर त्रुटि दर37.4%

औसत गति गुणांक1.29×रियल-टाइम गुणक

कुल गति गुणांक1.29×

प्रति नमूना औसत विलंबता6.0s

कुल संसाधित ऑडियो1849.3s30.8 मिनट

मूल्य

बैच ट्रांसक्रिप्शन के लिए Whisper large-v3 की सूची मूल्य। कोई छूट या परक्राम्य दर नहीं — प्रति मिनट कच्चा दर।

प्रति 1000 मिनट

बैच

प्रति मिनट

$0.0000

प्रभावी

प्रति 1000 मिनट (ये 30.8 मिनट)

$0.00

लागत

ओपन सोर्स?

✓

स्वामित्व

मूल्य स्रोत: Whisper large-v3 सार्वजनिक मूल्य। Duudlaga Flow केवल संदर्भ हेतु दिखाया गया है — यह पृष्ठ Whisper large-v3 को अलग करता है ताकि अंक हमारे उत्पाद से न फूले।

डेटासेट अनुसार WER और CER

प्रति डेटासेट शब्द और अक्षर त्रुटि दरें। कम बेहतर है — और ये Whisper large-v3 के वास्तविक अंक हैं, जो Common Voice 24 पर कमज़ोर हैं।

Common Voice 24 (MN)

स्रोत डेटासेट →

WER

91.2%

CER

38.8%

Shunya Labs Mongolian Speech

स्रोत डेटासेट →

WER

86.2%

CER

33%

Common Voice 20 (MN)

स्रोत डेटासेट →

WER

94%

CER

41%

Modern Voice

WER

87.7%

CER

37.2%

WERCER

डेटासेट सारांश

प्रत्येक डेटासेट की सकल सटीकता, गति और समय।

डेटासेट	स्रोत	नमूने	सफलता	WER	CER	सटीकता	गति	ऑडियो (से)	प्रसं. (से)
Common Voice 24 (MN)	Hugging Face →	59	59/59	91.2%	38.8%	8.8%	0.72×	330.6s	456.5s
Shunya Labs Mongolian Speech	Hugging Face →	60	60/60	86.2%	33%	13.8%	1.87×	645.1s	344.8s
Common Voice 20 (MN)	Hugging Face →	54	54/54	94%	41%	6.0%	1.13×	269.8s	238.3s
Modern Voice	—	92	92/92	87.7%	37.2%	12.3%	1.53×	603.8s	394.1s

WER बनाम गति — प्रति नमूना

प्रत्येक बिंदु एक ऑडियो नमूना है। आदर्श स्थान निचले-बाएँ (कम त्रुटि, तेज़) है। Whisper large-v3 कई Common Voice 24 नमूनों पर त्रुटि में ऊँचा है।

प्रति-नमूना परिणाम

अपेक्षित कॉलम में आधार सत्य यथावत् दिखाया गया है। परिणाम कॉलम केवल वे शब्द लाल में हाइलाइट करता है जिन्हें Whisper large-v3 ने गलत किया — कोई स्ट्राइकथ्रू/स्वैप नहीं, केवल त्रुटियाँ।

सिर्फ़ ग़लतियाँ265 पंक्तियाँ

लालपरिणाम में गलत शब्दसाधारणसही ट्रांसक्राइब किया गयाअपेक्षित कॉलम आधार सत्य के रूप में यथावत् दिखाया गया

#	नमूना	डेटासेट	अपेक्षित (आधार सत्य)	Whisper large-v3 परिणाम	WER	CER	I/D/S
1	btsee_0001	Common Voice 24 (MN)	Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье.	Кэлтээ амсгол түрээ хасаа омон танд мэдэж байгаа хэлээ.	87.5%	32.8%	1/0/6
2	btsee_0002	Common Voice 24 (MN)	Надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү?	Надзай асан аджирал гэдэгээрдээ үрхүн сарай хүгцадтай байсан гэж бүх.	83.3%	33.3%	0/2/8
3	btsee_0003	Common Voice 24 (MN)	Одоо бид өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе.	Атаах тээ төрч төрч энрээгээсээ салхих чигцгээ.	100.0%	53.8%	0/0/7
4	btsee_0004	Common Voice 24 (MN)	Би бол голдуу хээрээр гэр, хэцээр дэр хийж явдаг хүн.	Би босголту хэрээр гэр хэцэр дэрхийж ябдог хүн.	70.0%	17.6%	0/2/5
5	btsee_0005	Common Voice 24 (MN)	Хан хурмаст уурлаж, Болдоггүй Бор өвгөнийг хор луугаараа ниргүүлэхээр явуулжээ.	Ханхурмас дуу орлос болдгой бараа үгэнээ 2 лоогуу арны эргүйлэхээр ягалж байна.	120.0%	51.9%	2/0/10
6	btsee_0006	Common Voice 24 (MN)	Алив наашаа ороод ир гээд гэртээ оров.	Аж байнааша ородор, гэдгэжтэй оров.	85.7%	35.1%	0/2/4
7	btsee_0007	Common Voice 24 (MN)	Өө өндөр дээдэс таны тухайд би баталж чадахгүй.	Уу, үндэр дээд таныи тухууд би бааталг чалтахгүй.	87.5%	28.3%	0/0/7
8	btsee_0008	Common Voice 24 (MN)	Харин гурав дахь удаагаас эхлэн хүмүүсийг сонирхож эхлэв.	Харин 3-тэг хуудагаса эхлэн хүмүүстэг сайнархаж гэлэв.	75.0%	35.7%	0/0/6
9	btsee_0009	Common Voice 24 (MN)	Та нар очингуутаа шөл л өгч үз.	Танр очингууд шүүллэл үхж байз.	100.0%	50.0%	0/2/5
10	btsee_0010	Common Voice 24 (MN)	Ерөөсөө литр үйлдвэрээсээ салаагүй явсан юм чинь.	Ерөөсөөл үүлтүрөссээ салаагуу ябсан имч нь.	100.0%	33.3%	0/1/6

…पृष्ठ 1 / 27

कार्यप्रणाली

ये अंक कैसे प्राप्त किए गए।

प्रदाता: Whisper large-v3 (OpenAI Whisper large-v3 open weights run locally with an explicit Mongolian language token — the reference open-source ASR baseline.).

एंडपॉइंट local (transformers). भाषा mn. ऑपरेटिंग पॉइंट openai/whisper-large-v3 (language=mn, task=transcribe) on mps. वक्ता पृथक्करण none.

डेटासेट: Common Voice 24 (MN), Shunya Labs Mongolian Speech, Common Voice 20 (MN), Modern Voice — 265 नमूने, कुल 1849.3s ऑडियो।

डेटासेट स्रोत लिंक:

Common Voice 24 (MN)https://huggingface.co/datasets/btsee/common-voices-24-mn
Shunya Labs Mongolian Speechhttps://huggingface.co/datasets/shunyalabs/mongolian-speech-dataset
Common Voice 20 (MN)https://huggingface.co/datasets/warmestman/common-voice-20-mn-normalized
Modern Voice—

मेट्रिक्स: WER और CER मानक शब्द/अक्षर लेवेनश्टाइन संरेखण से, केस व विराम चिह्न पर अनुमापित, गणना किए जाते हैं। सटीकता = 100 − WER। गति गुणांक = ऑडियो अवधि ÷ प्रसंस्करण समय (× रियल-टाइम)। सभी अनुरोध वास्तविक Whisper large-v3 Batch API कॉल हैं, कैश या सिम्युलेटेड नहीं।

अंतर हाइलाइटिंग: परिणाम कॉलम आधार सत्य से संरेखित होता है और प्रत्येक प्रतिस्थापन व निवेश को लाल रंग करता है। विलोपन (परिणाम से अनुपस्थित शब्द) परिणाम कॉलम में नहीं दिखाए जाते — अपेक्षित कॉलम पहले से संपूर्ण आधार सत्य यथावत् रखता है।

Whisper large-v3 Benchmark Runner द्वारा निर्मित · Whisper large-v3 Batch API v2 · चलाना Aug 18, 2026, 6:22 AM