Метод и точность
Как работает WitAccent и насколько он точен
Автор и редактор: Fatih Can YILDIRIM, основатель WitSpeak ·
WitAccent слушает около 30 секунд английского текста, прочитанного вслух, и сравнивает запись с восемью группами акцентов, на которых обучена модель. На исследовательском тестовом наборе, который не использовался при обучении, он выбрал правильную группу в 76,2 % случаев. На реальных записях из браузера он гораздо менее уверен, поэтому чаще всего не называет результат, а не гадает. Ниже — цифры с датами, что они охватывают и чего не охватывают.
Что происходит, когда вы проходите тест
- 1
Вы читаете вслух короткий английский текст в браузере. Запись уходит только на сервер WitSpeak через witspeak.ai.
- 2
Сначала проверяется сама речь: слишком короткие, тихие или шумные записи отклоняются до любой оценки.
- 3
Речевой кодировщик превращает звук в акустическое представление, а небольшой классификатор сравнивает его с восемью группами: китайский (мандаринский), южноазиатская группа, филиппинский, турецкий, испанский, арабский, русский и английский на уровне носителя.
- 4
Защитный порог решает, что вы увидите. Группа неносителя называется только при уверенности не ниже 0.55, а «английский на уровне носителя» никогда не показывается как вердикт. В остальных случаях WitAccent сообщает, что не уверен, и может показать подсказку по стране подключения или языку браузера — всегда с пометкой «оценка по местоположению».
- 5
Вы можете указать свой родной язык. Совпадение считается только по ответам, данным до показа результата, потому что увиденная догадка может повлиять на ответ.
Измеренная точность (исследовательский тестовый набор, модель v3, 29 августа 2026 г.)
Эти цифры получены на зафиксированном тестовом наборе из 5 626 записей, которые никогда не использовались для обучения.
- Точность первой догадки (top-1)
- 76,2 %
- Как часто правильная группа оказывалась первой
- Macro-F1
- 0.30
- Среднее по группам; низкое, потому что малые группы распознаются плохо
- Ошибка калибровки (ECE)
- 0.092
- Разрыв между заявленной уверенностью и реальной точностью; чем ниже, тем лучше
- Отказ от ответа при рабочем пороге
- 18,3 %
- Точность, когда группа всё же названа: 83,7 %
Большая часть результата 76,2 % приходится на записи с мандаринским китайским и английским носителей (4 807 из 5 626). На этих двух группах модель сильна; на остальных — слаба или пока не поддаётся измерению:
| Группа | Записей в тестовом наборе | F1 |
|---|---|---|
| Китайский (путунхуа) | 3 352 | 0.92 |
| Английский на уровне носителя | 1 455 | 0.74 |
| Хинди | 232 | 0.05 |
| Филиппинский (тагалог) * | 50 | 0.11 |
| Испанский * | 21 | не измеримо |
| Арабский * | 8 | не измеримо |
| Турецкий * | 0 | не измеримо |
| Русский * | 0 | не измеримо |
* Обучающие данные для филиппинской, турецкой, испанской, арабской и русской групп в основном состоят из синтезированной речи, поэтому даже высокий показатель для них может отражать источник голоса, а не акцент.
Как он работает на реальных записях
- Открытые краудсорсинговые записи акцентов (Common Voice, mp3)
- 48,7 %
- Точность top-1 на 1 687 записях
- Записи, сделанные в приложении WitSpeak
- 0 / 35
- Всего 3 дикторов — выборка маленькая, но это явный сигнал, что звук с телефона отличается от обучающих данных
- Тесты на сайте (31 августа 2026 г. – 25 октября 2026 г.)
- 1 655
- Группа названа в 323 (19,5 %); ответ не дан в 1 332 (80,5 %)
- Совпадение с родным языком, указанным до показа результата
- 8 / 68
- Тесты, где человек ответил до того, как увидел догадку, и WitAccent назвал группу
Почему на сайте он так часто не даёт ответа? Условия записи в браузере отличаются от исследовательских данных, а из 481 ответов о родном языке 229 назвали язык вне семи групп и 56 — английский. Промолчать, когда нет уверенности, — это задуманное поведение, а не ошибка.
Все сводные цифры →Чего WitAccent сказать не может
- Он не подтверждает ваш родной язык, гражданство или личность.
- Он не оценивает произношение, беглость или уровень английского.
- Он знает только семь групп неносителей; любой другой родной язык может дать лишь «не уверен» или неверную группу.
- Многоязычное окружение, годы за границей, микрофон и шум в комнате меняют результат.
- Сравнение с оценками живых слушателей ещё не проводилось; эта ячейка не измерена.
Ваша запись и данные
- Чтобы пройти тест, не нужно ничем делиться: мы обрабатываем запись только для того, чтобы вернуть результат.
- Запись сохраняется для улучшения модели, только если вы отдельно согласитесь её передать (только взрослые, не для школ). Переданные записи удаляются через 30 дней, и вы можете сами удалить переданный результат.
- Хеш вашего IP-адреса с ключом используется только для защиты от злоупотреблений. Код страны может храниться для балансировки сводной выборки, но никогда не используется как метка акцента или вход модели.
Кто написал эту страницу
Написал и проверил Fatih Can YILDIRIM, основатель WitSpeak. Цифры точности взяты из оценки модели v3 от 29 августа 2026 г.; данные с сайта — из сводки WitAccent, обновлённой 25 октября 2026 г.. Мы обновляем страницу, когда меняется модель или порог.