Whisper large-v3 — ਮੰਗੋਲੀਅਨ ਸਪੀਚ-ਟੂ-ਟੈਕਸਟ ਬੈਂਚਮਾਰਕ
Whisper large-v3 Batch API (ਸੁਧਾਰੀ ਓਪਰੇਟਿੰਗ ਪੁਆਇੰਟ, ਭਾਸ਼ਾ mn) ਦੁਆਰਾ 4 ਮੰਗੋਲੀਅਨ ਡੇਟਾਸੈਟਾਂ ਅਤੇ 265 ਆਡੀਓ ਨਮੂਨਿਆਂ ’ਤੇ ਮੁਲਾਂਕਣ ਕੀਤੇ ਅਸਲ ਨਤੀਜੇ। ਹੇਠਾਂ ਹਰ ਨੰਬਰ ਮਾਪਿਆ ਗਿਆ ਹੈ — ਮਾਰਕੀਟਿੰਗ ਨਹੀਂ। WER, ਗਤੀ ਅਤੇ ਕੀਮਤ ਜਿਵੇਂ ਹਨ, ਸਖ਼ਤ ਇਮਾਨਦਾਰੀ ਨਾਲ ਵਿਖਾਏ ਗਏ ਹਨ।
265/265 ਨਮੂਨੇ ਟ੍ਰਾਂਸਕ੍ਰਾਈਬ · 100% ਸਫਲਤਾ
ਘੱਟ ਬਿਹਤਰ · 265 ਨਮੂਨਿਆਂ ’ਤੇ
ਕੀਮਤ
ਬੈਚ ਟ੍ਰਾਂਸਕ੍ਰਿਪਸ਼ਨ ਲਈ Whisper large-v3 ਦੀ ਸੂਚੀ ਕੀਮਤ। ਕੋਈ ਛੂਟ ਜਾਂ ਗੱਲਬਾਤ ਕੀਤੀ ਦਰ ਨਹੀਂ — ਪ੍ਰਤੀ ਮਿੰਟ ਕੱਚੀ ਦਰ।
ਕੀਮਤ ਸ੍ਰੋਤ: Whisper large-v3 ਜਨਤਕ ਕੀਮਤਾਂ। Duudlaga Flow ਸਿਰਫ਼ ਸੰਦਰਭ ਲਈ ਵਿਖਾਇਆ ਗਿਆ ਹੈ — ਇਹ ਪੰਨਾ Whisper large-v3 ਨੂੰ ਵੱਖ ਰੱਖਦਾ ਹੈ ਤਾਂ ਜੋ ਨੰਬਰ ਸਾਡੇ ਉਤਪਾਦ ਨਾਲ ਫੁੱਲ ਨਾ ਜਾਵੇ।
ਡੇਟਾਸੈਟ ਮੁਤਾਬਕ WER ਅਤੇ CER
ਡੇਟਾਸੈਟ ਮੁਤਾਬਕ ਸ਼ਬਦ ਅਤੇ ਅੱਖਰ ਗਲਤੀ ਦਰ। ਘੱਟ ਬਿਹਤਰ — ਅਤੇ ਇਹ Whisper large-v3 ਦੇ ਅਸਲ ਨੰਬਰ ਹਨ, ਜੋ Common Voice 24 ’ਤੇ ਕਮਜ਼ੋਰ ਹਨ।
ਡੇਟਾਸੈਟ ਸਾਰ
ਹਰ ਡੇਟਾਸੈਟ ਲਈ ਸਮੁੱਚੀ ਸ਼ੁੱਧਤਾ, ਗਤੀ ਅਤੇ ਸਮਾਂ।
| ਡੇਟਾਸੈਟ | Source | ਨਮੂਨੇ | ਸਫਲਤਾ | WER | CER | ਸ਼ੁੱਧਤਾ | ਗਤੀ | ਆਡੀਓ (ਸੈ) | ਪ੍ਰੋਸੈ. (ਸੈ) |
|---|---|---|---|---|---|---|---|---|---|
| Common Voice 24 (MN) | Hugging Face → | 59 | 59/59 | 91.2% | 38.8% | 8.8% | 0.72× | 330.6s | 456.5s |
| Shunya Labs Mongolian Speech | Hugging Face → | 60 | 60/60 | 86.2% | 33% | 13.8% | 1.87× | 645.1s | 344.8s |
| Common Voice 20 (MN) | Hugging Face → | 54 | 54/54 | 94% | 41% | 6.0% | 1.13× | 269.8s | 238.3s |
| Modern Voice | — | 92 | 92/92 | 87.7% | 37.2% | 12.3% | 1.53× | 603.8s | 394.1s |
WER vs ਗਤੀ — ਨਮੂਨੇ ਮੁਤਾਬਕ
ਹਰ ਬਿੰਦੂ ਇੱਕ ਆਡੀਓ ਨਮੂਨਾ ਹੈ। ਆਦਰਸ਼ ਥਾਂ ਹੇਠਾਂ-ਖੱਬੇ (ਘੱਟ ਗਲਤੀ, ਤੇਜ਼) ਹੈ। Whisper large-v3 ਕੋਲ ਕਈ Common Voice 24 ਨਮੂਨਿਆਂ ’ਤੇ ਉੱਚ ਗਲਤੀ ਹੈ।
ਨਮੂਨੇ ਮੁਤਾਬਕ ਨਤੀਜੇ
ਉਮੀਦ ਕਾਲਮ ਵਿੱਚ ਗਰਾਊਂਡ ਟ੍ਰੁਥ ਜਿਵੇਂ ਹੈ ਉਵੇਂ ਵਿਖਾਇਆ ਗਿਆ ਹੈ। ਨਤੀਜਾ ਕਾਲਮ ਸਿਰਫ਼ ਉਹ ਸ਼ਬਦ ਲਾਲ ਵਿੱਚ ਉਭਾਰਦਾ ਹੈ ਜੋ Whisper large-v3 ਨੇ ਗਲਤ ਕੀਤੇ — ਕੋਈ ਸਟ੍ਰਾਈਕਥ੍ਰੂ/ਅਦਲਾ-ਬਦਲੀ ਨਹੀਂ, ਸਿਰਫ਼ ਗਲਤੀਆਂ।
| # | ਆਡੀਓ | ਨਮੂਨਾ | ਡੇਟਾਸੈਟ | ਉਮੀਦ (ਗਰਾਊਂਡ ਟ੍ਰੁਥ) | Whisper large-v3 ਨਤੀਜਾ | WER | CER | I/D/S |
|---|---|---|---|---|---|---|---|---|
| 1 | btsee_0001 | Common Voice 24 (MN) | Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье. | Кэлтээ амсгол түрээ хасаа омон танд мэдэж байгаа хэлээ. | 87.5% | 32.8% | 1/0/6 | |
| 2 | btsee_0002 | Common Voice 24 (MN) | Надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү? | Надзай асан аджирал гэдэгээрдээ үрхүн сарай хүгцадтай байсан гэж бүх. | 83.3% | 33.3% | 0/2/8 | |
| 3 | btsee_0003 | Common Voice 24 (MN) | Одоо бид өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе. | Атаах тээ төрч төрч энрээгээсээ салхих чигцгээ. | 100.0% | 53.8% | 0/0/7 | |
| 4 | btsee_0004 | Common Voice 24 (MN) | Би бол голдуу хээрээр гэр, хэцээр дэр хийж явдаг хүн. | Би босголту хэрээр гэр хэцэр дэрхийж ябдог хүн. | 70.0% | 17.6% | 0/2/5 | |
| 5 | btsee_0005 | Common Voice 24 (MN) | Хан хурмаст уурлаж, Болдоггүй Бор өвгөнийг хор луугаараа ниргүүлэхээр явуулжээ. | Ханхурмас дуу орлос болдгой бараа үгэнээ 2 лоогуу арны эргүйлэхээр ягалж байна. | 120.0% | 51.9% | 2/0/10 | |
| 6 | btsee_0006 | Common Voice 24 (MN) | Алив наашаа ороод ир гээд гэртээ оров. | Аж байнааша ородор, гэдгэжтэй оров. | 85.7% | 35.1% | 0/2/4 | |
| 7 | btsee_0007 | Common Voice 24 (MN) | Өө өндөр дээдэс таны тухайд би баталж чадахгүй. | Уу, үндэр дээд таныи тухууд би бааталг чалтахгүй. | 87.5% | 28.3% | 0/0/7 | |
| 8 | btsee_0008 | Common Voice 24 (MN) | Харин гурав дахь удаагаас эхлэн хүмүүсийг сонирхож эхлэв. | Харин 3-тэг хуудагаса эхлэн хүмүүстэг сайнархаж гэлэв. | 75.0% | 35.7% | 0/0/6 | |
| 9 | btsee_0009 | Common Voice 24 (MN) | Та нар очингуутаа шөл л өгч үз. | Танр очингууд шүүллэл үхж байз. | 100.0% | 50.0% | 0/2/5 | |
| 10 | btsee_0010 | Common Voice 24 (MN) | Ерөөсөө литр үйлдвэрээсээ салаагүй явсан юм чинь. | Ерөөсөөл үүлтүрөссээ салаагуу ябсан имч нь. | 100.0% | 33.3% | 0/1/6 |
ਵਿਧੀ-ਵਿਗਿਆਨ
ਇਹ ਨੰਬਰ ਕਿਵੇਂ ਪ੍ਰਾਪਤ ਹੋਏ।
ਪ੍ਰੋਵਾਈਡਰ: Whisper large-v3 (OpenAI Whisper large-v3 open weights run locally with an explicit Mongolian language token — the reference open-source ASR baseline.).
ਐਂਡਪੁਆਇੰਟ local (transformers). ਭਾਸ਼ਾ mn. Operating point openai/whisper-large-v3 (language=mn, task=transcribe) on mps. ਸਪੀਕਰ ਵੱਖਰੇਪਣ none.
ਡੇਟਾਸੈਟ: Common Voice 24 (MN), Shunya Labs Mongolian Speech, Common Voice 20 (MN), Modern Voice — 265 ਨਮੂਨੇ, ਕੁੱਲ 1849.3s ਆਡੀਓ।
- Common Voice 24 (MN)https://huggingface.co/datasets/btsee/common-voices-24-mn
- Shunya Labs Mongolian Speechhttps://huggingface.co/datasets/shunyalabs/mongolian-speech-dataset
- Common Voice 20 (MN)https://huggingface.co/datasets/warmestman/common-voice-20-mn-normalized
- Modern Voice—
ਮੈਟ੍ਰਿਕਸ: WER ਅਤੇ CER ਮਿਆਰੀ ਸ਼ਬਦ/ਅੱਖਰ ਲੇਵੇਨਸ਼ਟਾਈਨ ਇਕਸਾਰਤਾ ਨਾਲ, ਕੇਸ ਅਤੇ ਵਿਰਾਮ ਚਿੰਨ੍ਹ ਲਈ ਨੌਰਮਲਾਈਜ਼ ਕਰਕੇ ਗਣਨਾ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਸ਼ੁੱਧਤਾ = 100 − WER। ਗਤੀ ਗੁਣਾਂਕ = ਆਡੀਓ ਮਿਆਦ ÷ ਪ੍ਰੋਸੈਸਿੰਗ ਸਮਾਂ (× ਰੀਅਲ-ਟਾਈਮ)। ਸਾਰੀਆਂ ਬੇਨਤੀਆਂ ਅਸਲ Whisper large-v3 Batch API ਕਾਲਾਂ ਹਨ, ਕੈਸ਼ ਜਾਂ ਸਿਮੂਲੇਟਡ ਨਹੀਂ।
ਅੰਤਰ ਉਭਾਰ: ਨਤੀਜਾ ਕਾਲਮ ਗਰਾਊਂਡ ਟ੍ਰੁਥ ਨਾਲ ਇਕਸਾਰ ਹੋ ਕੇ ਹਰ ਬਦਲ ਅਤੇ ਸ਼ਾਮਲ ਨੂੰ ਲਾਲ ਰੰਗਦਾ ਹੈ। ਮਿਟਾਉਣ (ਨਤੀਜੇ ਵਿੱਚੋਂ ਗੈਰ-ਹਾਜ਼ਰ ਸ਼ਬਦ) ਨਤੀਜਾ ਕਾਲਮ ਵਿੱਚ ਨਹੀਂ ਵਿਖਾਏ ਜਾਂਦੇ — ਉਮੀਦ ਕਾਲਮ ਪਹਿਲਾਂ ਹੀ ਪੂਰੀ ਗਰਾਊਂਡ ਟ੍ਰੁਥ ਜਿਵੇਂ ਹੈ ਰੱਖਦਾ ਹੈ।