Yöntem ve doğruluk
WitAccent nasıl çalışır ve ne kadar doğru?
Yazan ve gözden geçiren: Fatih Can YILDIRIM, WitSpeak kurucusu ·
WitAccent yaklaşık 30 saniyelik sesli İngilizce okumanızı dinler ve eğitildiği sekiz aksan grubuyla karşılaştırır. Eğitimde hiç kullanılmamış araştırma test setinde doğru grubu %76,2 oranında buldu. Gerçek tarayıcı kayıtlarında ise çok daha az emin; bu yüzden çoğu zaman rastgele tahmin etmek yerine sonucu söylemiyor. Aşağıda tarihli sayıları, neyi kapsadıklarını ve neyi kapsamadıklarını bulabilirsiniz.
Testi yaptığınızda ne oluyor?
- 1
Tarayıcınızda kısa bir İngilizce metni sesli okursunuz. Kayıt yalnızca witspeak.ai üzerinden WitSpeak sunucusuna gider.
- 2
Önce bir konuşma kontrolü yapılır: çok kısa, sessiz ya da gürültülü kayıtlar tahmin yapılmadan reddedilir.
- 3
Bir konuşma kodlayıcısı sesi akustik bir temsile dönüştürür; küçük bir sınıflandırıcı bunu sekiz grupla karşılaştırır: Çince (Mandarin), Güney Asya, Filipince, Türkçe, İspanyolca, Arapça, Rusça ve ana dil düzeyine yakın İngilizce.
- 4
Bir güvenlik eşiği neyin gösterileceğine karar verir. Ana dil dışı bir grup yalnızca güven puanı en az 0.55 olduğunda adlandırılır; "ana dil gibi İngilizce" hiçbir zaman sonuç olarak gösterilmez. Aksi hâlde WitAccent emin olmadığını söyler ve sonuç ekranında bağlantınızın ülkesine ya da tarayıcı dilinize dayanan, açıkça "konuma göre tahmin" diye etiketlenmiş bir öneri gösterebilir.
- 5
İsterseniz ana dilinizi WitAccent'e söylersiniz. Uyum ölçümünde yalnızca tahmini görmeden önce verilen cevaplar kullanılır, çünkü tahmini görmek cevabı etkileyebilir.
Ölçülen doğruluk (araştırma test seti, model v3, 29 Ağustos 2026)
Bu sayılar, eğitimde kullanılmamış 5.626 kayıttan oluşan sabit bir test setinden gelir.
- İlk tahmin doğruluğu
- %76,2
- Doğru grubun ilk sırada çıkma oranı
- Makro-F1
- 0.30
- Grupların ortalaması; az örnekli gruplar zayıf olduğu için düşük
- Kalibrasyon hatası (ECE)
- 0.092
- Güven puanının gerçek doğrulukla ne kadar örtüştüğü; düşük daha iyi
- Canlı eşikte tahmin yapmama
- %18,3
- Adlandırılan sonuçlarda doğruluk %83,7
%76,2 oranının büyük kısmı Mandarin Çincesi ve ana dil İngilizcesi kayıtlarından gelir (5.626 kaydın 4.807 tanesi). Bu iki grupta model güçlü; diğerlerinde zayıf ya da henüz ölçülemiyor:
| Grup | Test setindeki kayıt | F1 |
|---|---|---|
| Çince | 3.352 | 0.92 |
| Ana dil gibi İngilizce | 1.455 | 0.74 |
| Güney Asya dilleri (Hintçe, Urduca…) | 232 | 0.05 |
| Filipince * | 50 | 0.11 |
| İspanyolca * | 21 | ölçülemedi |
| Arapça * | 8 | ölçülemedi |
| Türkçe * | 0 | ölçülemedi |
| Rusça * | 0 | ölçülemedi |
* Filipince, Türkçe, İspanyolca, Arapça ve Rusça eğitim verisinin çoğu sentetik sestir. Bu yüzden bu gruplarda yüksek bir skor bile aksandan değil ses kaynağından kaynaklanıyor olabilir.
Gerçek kayıtlarda durum
- Kitle kaynaklı herkese açık aksan kayıtları (Common Voice, mp3)
- %48,7
- 1.687 kayıtta ilk tahmin doğruluğu
- WitSpeak uygulamasında yapılan kayıtlar
- 0 / 35
- Yalnızca 3 konuşmacı; küçük bir örnek ama telefon kaydının eğitim verisinden farklı olduğuna dair net bir uyarı
- Canlı web testleri (31 Ağustos 2026 – 25 Ekim 2026)
- 1.655
- 323 testte (%19,5) bir grup adlandırıldı, 1.332 testte (%80,5) tahmin yapılmadı
- Tahminden önce beyan edilen ana dil ile uyum
- 8 / 68
- Kişinin ana dilini tahmini görmeden söylediği ve WitAccent'in bir grup adlandırdığı testler
Canlı sitede neden bu kadar sık tahmin yapmıyor? Tarayıcı kayıt koşulları araştırma verisinden farklı ve ana dilini söyleyen 481 cevabın 229 tanesi yedi grubun dışında bir dil, 56 tanesi ise İngilizce. Emin olmadığında susmak bilinçli bir tasarım; hata değil.
Tüm toplu sayıları gör →WitAccent'in söyleyemeyecekleri
- Ana dilinizi, uyruğunuzu ya da kimliğinizi doğrulamaz.
- Telaffuzunuza, akıcılığınıza veya İngilizce seviyenize not vermez.
- Yalnızca yedi ana dil dışı grubu tanır; başka bir ana dil ancak "emin değilim" ya da yanlış bir grup sonucu verebilir.
- Çok dilli geçmiş, uzun süre yurt dışında yaşamak, mikrofon ve ortam gürültüsü sonucu değiştirir.
- İnsan dinleyicilerle karşılaştırma henüz yapılmadı; bu hücre ölçülmedi.
Kaydınız ve verileriniz
- Testi yapmak için veri paylaşmanız gerekmez: kaydı yalnızca sonucunuzu döndürmek için işleriz.
- Kaydı model geliştirmek için yalnızca ayrıca katkı vermeyi seçerseniz saklarız (yalnızca yetişkinler, okul kullanımı hariç). Katkı verilen kayıtlar 30 gün sonra silinir; katkı verdiğiniz bir sonucu kendiniz de silebilirsiniz.
- IP adresinizin anahtarlı bir özeti yalnızca kötüye kullanım sınırları için tutulur. Kaba bir ülke kodu yalnızca toplu örnek dengesi için saklanabilir; hiçbir zaman aksan etiketi ya da model girdisi olarak kullanılmaz.
Bu sayfayı kim yazdı?
WitSpeak kurucusu Fatih Can YILDIRIM yazdı ve gözden geçirdi. Doğruluk sayıları 29 Ağustos 2026 tarihli v3 model karnesinden, canlı sayılar 25 Ekim 2026 tarihli WitAccent veri özetinden alınmıştır. Model ya da eşik değiştiğinde bu sayfayı güncelliyoruz.