Whisper large-v3 MN — منگولین speech-to-text بینچ مارک
Whisper large-v3 MN Batch API (بہتر آپریٹنگ پوائنٹ، زبان mn) کے 4 منگولین ڈیٹاسیٹ اور 265 آڈیو نمونوں پر جانچے گئے حقیقی نتائج۔ نیچے کا ہر عدد ناپا گیا ہے — مارکیٹنگ نہیں۔ WER، رفتار اور قیمت جیسی ہے ویسی ہی، سخت ایمانداری سے دکھائے گئے ہیں۔
265/265 نمونے ٹرانسکرائب · 100% کامیابی
کم بہتر ہے · 265 نمونوں پر
قیمت
بیچ ٹرانسکرپشن کے لیے Whisper large-v3 MN کی فہرستی قیمت۔ کوئی رعایت یا بات چت کی شرح نہیں — فی منٹ خام شرح۔
قیمت کا ذریعہ: Whisper large-v3 MN عوامی قیمتیں۔ Duudlaga Flow صرف سیاق کے لیے دکھایا گیا ہے — یہ صفحہ Whisper large-v3 MN کو الگ رکھتا ہے تاکہ عدد ہماری مصنوعات سے پھولا نہ ہو۔
ڈیٹاسیٹ کے حساب سے WER اور CER
ڈیٹاسیٹ کے حساب سے لفظ اور حرف غلطی کی شرحیں۔ کم بہتر ہے — اور یہ Whisper large-v3 MN کے حقیقی اعداد ہیں، جو Common Voice 24 پر کمزور ہیں۔
ڈیٹاسیٹ خلاصہ
ہر ڈیٹاسیٹ کی مجموعی درستگی، رفتار اور وقت۔
| ڈیٹاسیٹ | Source | نمونے | کامیابی | WER | CER | درستگی | رفتار | آڈیو (سیکنڈ) | پروسیس (سیکنڈ) |
|---|---|---|---|---|---|---|---|---|---|
| Common Voice 24 (MN) | Hugging Face → | 59 | 59/59 | 40.1% | 13.1% | 59.9% | 1.51× | 330.6s | 218.4s |
| Shunya Labs Mongolian Speech | Hugging Face → | 60 | 60/60 | 28.6% | 8.8% | 71.4% | 1.76× | 645.1s | 367.1s |
| Common Voice 20 (MN) | Hugging Face → | 54 | 54/54 | 41.3% | 15.8% | 58.7% | 1.34× | 269.8s | 200.9s |
| Modern Voice | — | 92 | 92/92 | 44.9% | 19.3% | 55.1% | 1.56× | 603.8s | 388.2s |
WER بمقابلہ رفتار — فی نمونہ
ہر نقطہ ایک آڈیو نمونہ ہے۔ بہترین جگہ نیچے بائیں (کم غلطی، تیز) ہے۔ Whisper large-v3 MN کئی Common Voice 24 نمونوں پر زیادہ غلطی رکھتا ہے۔
فی نمونہ نتائج
متوقع کالم میں حقیقی حوالہ جیسا ہے ویسی ہی دکھایا گیا ہے۔ نتائج کالم صرف ان الفاظ کو سرخ میں نمایاں کرتا ہے جو Whisper large-v3 MN غلط کر گیا — کوئی اسٹرائیک تھرو/تبدیلی نہیں، صرف غلطیاں۔
| # | آڈیو | نمونہ | ڈیٹاسیٹ | متوقع (حقیقی حوالہ) | Whisper large-v3 MN نتیجہ | WER | CER | I/D/S |
|---|---|---|---|---|---|---|---|---|
| 1 | btsee_0001 | Common Voice 24 (MN) | Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье. | гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлээ | 12.5% | 3.4% | 0/0/1 | |
| 2 | btsee_0002 | Common Voice 24 (MN) | Надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү? | надад заяасан аж жаргал гэдэг эрдээ гуравхан сарын хугацаатай байсан гэж үү | 16.7% | 5.3% | 0/0/2 | |
| 3 | btsee_0003 | Common Voice 24 (MN) | Одоо бид өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе. | одоо би дөөрч дөө өвчин эмгээгээсээ салахыг чивцгээв | 71.4% | 19.2% | 1/0/4 | |
| 4 | btsee_0004 | Common Voice 24 (MN) | Би бол голдуу хээрээр гэр, хэцээр дэр хийж явдаг хүн. | би бол голдуу хээрээр гэр хэцээр дэрхий ч явдаг хүн | 20.0% | 5.9% | 0/0/2 | |
| 5 | btsee_0005 | Common Voice 24 (MN) | Хан хурмаст уурлаж, Болдоггүй Бор өвгөнийг хор луугаараа ниргүүлэхээр явуулжээ. | ханхурамс дуурлас болдоггүй бороогүйн хоёр луугаар нэргүүлэхээр явуулжээ | 80.0% | 22.1% | 0/2/6 | |
| 6 | btsee_0006 | Common Voice 24 (MN) | Алив наашаа ороод ир гээд гэртээ оров. | алив наашаа ороодор гээд гэртэй оров | 42.9% | 8.1% | 0/1/2 | |
| 7 | btsee_0007 | Common Voice 24 (MN) | Өө өндөр дээдэс таны тухайд би баталж чадахгүй. | өө өндөр дээд таны тухайд би батал ч алдахгүй | 50.0% | 10.9% | 1/0/3 | |
| 8 | btsee_0008 | Common Voice 24 (MN) | Харин гурав дахь удаагаас эхлэн хүмүүсийг сонирхож эхлэв. | харин гурав дахь удаагаас эхлэн хүмүүсийг сонирхож эхлэв | 0.0% | 0.0% | 0/0/0 | |
| 9 | btsee_0009 | Common Voice 24 (MN) | Та нар очингуутаа шөл л өгч үз. | танар очингуутаа шөлөл өгчүүз | 85.7% | 10.0% | 0/3/3 | |
| 10 | btsee_0010 | Common Voice 24 (MN) | Ерөөсөө литр үйлдвэрээсээ салаагүй явсан юм чинь. | ерөөсөө л үйлдвэрээсээ салаагүй явсан юм чинь | 14.3% | 6.2% | 0/0/1 |
طریقہ کار
یہ اعداد کیسے حاصل ہوئے۔
فراہم کنندہ: Whisper large-v3 MN (Whisper large-v3 fine-tuned on Mongolian Common Voice 16.1 + FLEURS. Same author as the Common Voice 20 corpus in this benchmark, so its Common Voice scores should be read with train/test overlap in mind.). Models with this badge were trained on data that overlaps the benchmark corpora (Mongolian Common Voice — 113 of 173 samples — or the public Shunya Labs corpus). Scores on overlapping corpora are inflated by memorization; judge these models by the per-dataset table on their details page, especially the corpora they were NOT trained on.
اینڈپوائنٹ local (transformers). زبان mn. Operating point warmestman/whisper-large-v3-mn-cv-fleurs (Mongolian fine-tune) on mps. اسپیکر علیحدگی none.
ڈیٹاسیٹ: Common Voice 24 (MN), Shunya Labs Mongolian Speech, Common Voice 20 (MN), Modern Voice — 265 نمونے، کل 1849.3s آڈیو۔
- Common Voice 24 (MN)https://huggingface.co/datasets/btsee/common-voices-24-mn
- Shunya Labs Mongolian Speechhttps://huggingface.co/datasets/shunyalabs/mongolian-speech-dataset
- Common Voice 20 (MN)https://huggingface.co/datasets/warmestman/common-voice-20-mn-normalized
- Modern Voice—
میٹرکس: WER اور CER معیاری لفظ/حرف لیونشٹائن المنت سے، حروف کے حجم اور اوقاف کے لیے نارملائز کر کے حساب کیے جاتے ہیں۔ درستگی = 100 − WER۔ رفتار فیکٹر = آڈیو دورانیہ ÷ پروسیسنگ وقت (× ریئل ٹائم)۔ تمام درخواستیں حقیقی Whisper large-v3 MN Batch API کالز ہیں، کیشڈ یا سمیولیٹڈ نہیں۔
فرق نمایاں کرنا: نتائج کالم حقیقی حوالہ کے ساتھ منتظم ہوتا ہے اور ہر متبادل اور شامل شدہ کو سرخ کرتا ہے۔ حذف شدہ (نتائج سے غائب الفاظ) نتائج کالم میں نہیں دکھائے جاتے — متوقع کالم پہلے ہی پوری حقیقی حوالہ جیسا ہے رکھتا ہے۔