Chimege — মঙ্গোলীয় স্পিচ-টু-টেক্স্ট বেঞ্চমার্ক
Chimege Batch API (উন্নত পরিচালনা বিন্দু, ভাষা mn) দ্বারা 4টি মঙ্গোলীয় ডেটাসেট এবং 265টি অডিও নমুনায় মূল্যায়িত প্রকৃত ফলাফল। নিচের প্রতিটি সংখ্যা পরিমাপকৃত — বিপণন নয়। WER, গতি ও মূল্য যেমন আছে তেমনই, কঠোর সততার সাথে দেখানো হয়েছে।
265/265 নমুনা ট্রান্সক্রাইব করা হয়েছে · 100% সাফল্য
কম ভালো · 265 নমুনায়
মূল্য
ব্যাচ ট্রান্সক্রিপশনের জন্য Chimege-এর তালিকা মূল্য। কোনো ছাড় বা আপস করা হার নয় — প্রতি মিনিটের কাঁচা হার।
মূল্যের উৎস: Chimege-এর প্রকাশিত মূল্য। Duudlaga Flow শুধুমাত্র প্রেক্ষাপটে দেখানো হয়েছে — এই পৃষ্ঠাটি Chimege-কে আলাদা রাখে যাতে সংখ্যাটি আমাদের পণ্য দ্বারা ফোলানো না হয়।
ডেটাসেট অনুযায়ী WER ও CER
ডেটাসেট অনুযায়ী শব্দ ও অক্ষর ত্রুটি হার। কম ভালো — এবং এগুলো Chimege-এর প্রকৃত সংখ্যা, যা Common Voice 24-এ দুর্বল।
ডেটাসেট সারসংক্ষেপ
প্রতিটি ডেটাসেটের সমষ্টিগত নির্ভুলতা, গতি ও সময়।
| ডেটাসেট | উৎস | নমুনা | সাফল্য | WER | CER | নির্ভুলতা | গতি | অডিও (সে) | প্রক্রি. (সে) |
|---|---|---|---|---|---|---|---|---|---|
| Common Voice 24 (MN) | Hugging Face → | 59 | 59/59 | 10.7% | 4.4% | 89.3% | 1.22× | 330.5s | 271.3s |
| Shunya Labs Mongolian Speech | Hugging Face → | 60 | 60/60 | 13.4% | 4.8% | 86.6% | 2.17× | 645.1s | 296.8s |
| Common Voice 20 (MN) | Hugging Face → | 54 | 54/54 | 9.4% | 3.7% | 90.6% | 1.11× | 269.7s | 243.5s |
| Modern Voice | — | 92 | 92/92 | 21.1% | 10.8% | 78.9% | 1.46× | 603.8s | 413.5s |
WER বনাম গতি — নমুনা অনুযায়ী
প্রতিটি বিন্দু একটি অডিও নমুনা। আদর্শ অবস্থান নিচে-বামে (কম ত্রুটি, দ্রুত)। Chimege-এর অনেক Common Voice 24 নমুনায় ত্রুটি বেশি।
নমুনা অনুযায়ী ফলাফল
প্রত্যাশিত কলামে গ্রাউন্ড ট্রুথ যেমন আছে তেমনই দেখানো হয়েছে। ফলাফল কলাম শুধুমাত্র Chimege ভুল করেছে এমন শব্দগুলো লাল রঙে হাইলাইট করে — কোনো স্ট্রাইকথ্রু/অদলবদল নয়, শুধু ভুল।
| # | অডিও | নমুনা | ডেটাসেট | প্রত্যাশিত (গ্রাউন্ড ট্রুথ) | Chimege ফলাফল | WER | CER | I/D/S |
|---|---|---|---|---|---|---|---|---|
| 1 | btsee_0001 | Common Voice 24 (MN) | Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэлье. | Гэхдээ амьсгал хураахаасаа өмнө танд мэдэж байгаагаа хэл. | 12.5% | 3.4% | 0/0/1 | |
| 2 | btsee_0002 | Common Voice 24 (MN) | Надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү? | Надад заяасан аз жаргал гэдэг ердөө гуравхан сарын хугацаатай байсан гэж үү? | 0.0% | 0.0% | 0/0/0 | |
| 3 | btsee_0003 | Common Voice 24 (MN) | Одоо бид өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе. | Одоо бид өөрсдөө өвчин эмгэгээсээ салахыг хичээцгээе. | 0.0% | 0.0% | 0/0/0 | |
| 4 | btsee_0004 | Common Voice 24 (MN) | Би бол голдуу хээрээр гэр, хэцээр дэр хийж явдаг хүн. | Би бол голдуу хээрээр гэр цээр дэр хийж явдаг. | 20.0% | 11.8% | 0/1/1 | |
| 5 | btsee_0005 | Common Voice 24 (MN) | Хан хурмаст уурлаж, Болдоггүй Бор өвгөнийг хор луугаараа ниргүүлэхээр явуулжээ. | Хан хурмаст уурлаж болдоггүй бор өвгөн 2 луугаар эргүүлэхээр явжээ. | 50.0% | 16.9% | 0/0/5 | |
| 6 | btsee_0006 | Common Voice 24 (MN) | Алив наашаа ороод ир гээд гэртээ оров. | Алив наашаа ороод ир гээд гэртээ ор. | 14.3% | 5.4% | 0/0/1 | |
| 7 | btsee_0007 | Common Voice 24 (MN) | Өө өндөр дээдэс таны тухайд би баталж чадахгүй. | Өө өндөр дээдэс таны тухайд би баталж чадахгүй. | 0.0% | 0.0% | 0/0/0 | |
| 8 | btsee_0008 | Common Voice 24 (MN) | Харин гурав дахь удаагаас эхлэн хүмүүсийг сонирхож эхлэв. | Харин 3 дахь удаагаасаа эхлэн хүмүүсийг сонирхож эхлэв. | 25.0% | 12.5% | 0/0/2 | |
| 9 | btsee_0009 | Common Voice 24 (MN) | Та нар очингуутаа шөл л өгч үз. | Та нар очингуутаа шөл л өгч үз. | 0.0% | 0.0% | 0/0/0 | |
| 10 | btsee_0010 | Common Voice 24 (MN) | Ерөөсөө литр үйлдвэрээсээ салаагүй явсан юм чинь. | Ерөөсөө л үйлдвэрээсээ салаагүй явсан юм чинь. | 14.3% | 6.2% | 0/0/1 |
পদ্ধতিবিদ্যা
এই সংখ্যাগুলো কীভাবে পাওয়া গেছে।
সরবরাহকারী: Chimege (Chimege (Чимэгэ) Mongolian speech-to-text via the /v1.2/transcribe endpoint. Mongolian-native model, synchronous short-form transcription.).
এন্ডপয়েন্ট https://api.chimege.com/v1.2/stt-long. ভাষা mn. অপারেটিং পয়েন্ট stt-long (async submit+poll). বক্তা বিচ্ছেদ none.
ডেটাসেট: Common Voice 24 (MN), Shunya Labs Mongolian Speech, Common Voice 20 (MN), Modern Voice — 265 নমুনা, মোট 1849.2s অডিও।
- Common Voice 24 (MN)https://huggingface.co/datasets/btsee/common-voices-24-mn
- Shunya Labs Mongolian Speechhttps://huggingface.co/datasets/shunyalabs/mongolian-speech-dataset
- Common Voice 20 (MN)https://huggingface.co/datasets/warmestman/common-voice-20-mn-normalized
- Modern Voice—
মেট্রিক্স: WER ও CER মানক শব্দ/অক্ষর লেভেনশটাইন সজ্জায়, কেস ও যতিচিহ্নের জন্য নরমালাইজ করে গণনা করা হয়। নির্ভুলতা = 100 − WER। গতি গুণক = অডিও সময়কাল ÷ প্রক্রিয়াকরণ সময় (× রিয়েল-টাইম)। সব অনুরোধ প্রকৃত Chimege Batch API কল, ক্যাশ বা সিমুলেটেড নয়।
পার্থক্য হাইলাইট: ফলাফল কলাম গ্রাউন্ড ট্রুথের সাথে সজ্জিত এবং প্রতিটি প্রতিস্থাপন ও সন্নিবেশ লাল রঙ করে। বিলোপ (ফলাফল থেকে অনুপস্থিত শব্দ) ফলাফল কলামে দেখানো হয় না — প্রত্যাশিত কলাম ইতিমধ্যে সম্পূর্ণ গ্রাউন্ড ট্রুথ যেমন আছে ধরে রেখেছে।