方法同準確度
WitAccent 點樣運作?到底有幾準?
撰寫及審閱:Fatih Can YILDIRIM,WitSpeak 創辦人 ·
WitAccent 會聽你大約 30 秒朗讀嘅英文,再同佢學過嘅八個口音組別比較。喺一套從未用嚟訓練嘅研究評估資料入面,佢揀中正確組別嘅比率係 76.2%。不過喺真實瀏覽器錄音入面,佢冇咁有把握,所以大部分時間會選擇唔估,而唔係亂估。以下係有日期嘅數字,同埋佢哋涵蓋同唔涵蓋嘅範圍。
做測試嗰陣發生咩事?
- 1
你喺瀏覽器大聲讀一小段英文。錄音只會經 witspeak.ai 傳去 WitSpeak 伺服器。
- 2
首先會做語音檢查:太短、冇聲或者太嘈嘅錄音,會喺估計之前被拒絕。
- 3
語音編碼器將聲音轉成聲學表示,再由一個細分類器同八個組別比較:中文(普通話)、南亞、菲律賓、土耳其語、西班牙語、阿拉伯語、俄語,同埋接近母語嘅英文。
- 4
一道安全門檻決定顯示咩。非母語組別只會喺信心分數達到 0.55 或以上先會講出嚟;「似母語嘅英文」永遠唔會作為結果顯示。其他情況下,WitAccent 會話佢唔肯定,結果畫面可能會根據你連線嘅國家或者瀏覽器語言,顯示一個清楚標明「按位置估計」嘅提示。
- 5
你可以話俾 WitAccent 知你嘅第一語言。計算吻合率時,我哋只用睇估計之前俾嘅答案,因為睇咗估計可能會影響答案。
量度到嘅準確度(研究評估資料,模型 v3,2026年8月29日)
呢啲數字嚟自一套固定評估資料,共 5,626 段錄音,全部冇用嚟訓練。
- 首選準確度
- 76.2%
- 正確組別排第一嘅比率
- Macro-F1
- 0.30
- 各組別平均;樣本少嘅組別表現弱,所以數字低
- 校準誤差(ECE)
- 0.092
- 信心分數同實際準確度差幾遠;越低越好
- 以實際門檻計,唔作估計嘅比率
- 18.3%
- 有講出組別時嘅準確度 83.7%
76.2% 主要嚟自普通話同英文母語錄音(5,626 段入面佔 4,807 段)。呢兩組表現強;其他組別就弱,或者暫時未能量度:
| 組別 | 評估資料錄音數 | F1 |
|---|---|---|
| 普通話 | 3,352 | 0.92 |
| 接近母語嘅英文 | 1,455 | 0.74 |
| 印地語 | 232 | 0.05 |
| 菲律賓語/他加祿語 * | 50 | 0.11 |
| 西班牙語 * | 21 | 未能量度 |
| 阿拉伯語 * | 8 | 未能量度 |
| 土耳其語 * | 0 | 未能量度 |
| 俄語 * | 0 | 未能量度 |
* 菲律賓、土耳其語、西班牙語、阿拉伯語同俄語嘅訓練資料大多係合成語音,所以就算呢啲組別分數高,都可能反映聲音來源,而唔係口音。
真實錄音入面嘅表現
- 公開眾包口音錄音(Common Voice,mp3)
- 48.7%
- 1,687 段錄音嘅首選準確度
- 喺 WitSpeak app 錄嘅錄音
- 0 / 35
- 只有 3 位講者,樣本好細,但清楚提醒手機錄音同訓練資料唔同
- 網上實際測試(2026年8月31日 – 2026年10月25日)
- 1,655
- 323 次(19.5%)講出組別,1,332 次(80.5%)唔作估計
- 同估計前自報第一語言嘅吻合
- 8 / 68
- 用戶喺睇估計之前答咗第一語言,而 WitAccent 又講出組別嘅測試
點解喺網站上咁常唔估?瀏覽器錄音環境同研究資料唔同;而喺 481 個自報第一語言嘅答案入面,229 個係七個組別以外嘅語言,56 個係英文。唔肯定就唔估,係刻意嘅設計,唔係出錯。
睇晒所有統計數字 →WitAccent 話唔到你知嘅嘢
- 佢唔會核實你嘅第一語言、國籍或者身份。
- 佢唔會為你嘅發音、流暢度或者英文程度評分。
- 佢只認得七個非母語組別;其他第一語言只會得出「唔肯定」或者錯嘅組別。
- 多語背景、長期喺外地生活、咪高峰同環境噪音都會影響結果。
- 仲未同真人聆聽者比較過;呢一格未有量度。
你嘅錄音同資料
- 做測試唔需要提供資料:我哋處理錄音只係為咗俾返結果你。
- 只有你另外選擇貢獻(只限成年人,唔係用於學校),我哋先會保留錄音改善模型。貢獻嘅錄音 30 日後刪除,你亦可以自己刪除已貢獻嘅結果。
- IP 地址嘅加密雜湊只用嚟限制濫用。粗略嘅國家代碼可能會保存,只用嚟平衡整體樣本,永遠唔會當作口音標籤或者模型輸入。
邊個寫呢頁?
由 WitSpeak 創辦人 Fatih Can YILDIRIM 撰寫及審閱。準確度數字嚟自 2026年8月29日 嘅 v3 模型成績表,實際數字嚟自 2026年10月25日 嘅 WitAccent 數據摘要。模型或者門檻有變,我哋會更新呢頁。