방법과 정확도
WitAccent는 어떻게 작동하고, 얼마나 정확할까요?
작성 및 검토: Fatih Can YILDIRIM, WitSpeak 창업자 ·
WitAccent는 약 30초 동안 소리 내어 읽은 영어를 듣고 학습한 여덟 개 억양 그룹과 비교합니다. 학습에 쓰지 않은 연구용 평가 세트에서는 76.2%의 비율로 올바른 그룹을 골랐습니다. 하지만 실제 브라우저 녹음에서는 훨씬 덜 확신하기 때문에, 무리하게 추측하기보다 대부분 결과를 보류합니다. 아래에 날짜가 적힌 수치와 그 수치가 다루는 범위, 다루지 않는 범위를 정리했습니다.
테스트를 하면 어떤 일이 일어나나요?
- 1
브라우저에서 짧은 영어 문단을 소리 내어 읽습니다. 녹음은 witspeak.ai를 통해서만 WitSpeak 서버로 전송됩니다.
- 2
먼저 음성 확인을 거칩니다. 너무 짧거나, 소리가 없거나, 시끄러운 녹음은 추측 전에 걸러집니다.
- 3
음성 인코더가 소리를 음향 표현으로 바꾸고, 작은 분류기가 이를 여덟 그룹과 비교합니다: 중국어(표준 중국어), 남아시아, 필리핀, 튀르키예어, 스페인어, 아랍어, 러시아어, 그리고 원어민에 가까운 영어.
- 4
안전 기준이 무엇을 보여 줄지 결정합니다. 비원어민 그룹은 신뢰도가 0.55 이상일 때만 이름을 붙이며, '원어민 같은 영어'는 결과로 보여 주지 않습니다. 그 밖의 경우 WitAccent는 확신이 없다고 말하고, 접속 국가나 브라우저 언어를 바탕으로 한 추정을 '위치 기반 추정'이라고 분명히 표시해 보여 줄 수 있습니다.
- 5
원하면 모국어를 WitAccent에 알려 줄 수 있습니다. 일치율 측정에는 추측을 보기 전에 답한 경우만 사용합니다. 추측을 먼저 보면 답이 영향을 받을 수 있기 때문입니다.
측정된 정확도 (연구용 평가 세트, 모델 v3, 2026년 8월 29일)
이 수치는 학습에 쓰지 않은 5,626개 녹음으로 구성된 고정 평가 세트에서 나왔습니다.
- 1순위 정확도
- 76.2%
- 올바른 그룹이 첫 번째로 나온 비율
- 매크로 F1
- 0.30
- 그룹 평균값. 표본이 적은 그룹의 성능이 낮아 수치도 낮음
- 보정 오차(ECE)
- 0.092
- 신뢰도와 실제 정확도의 차이. 낮을수록 좋음
- 실서비스 기준에서 보류 비율
- 18.3%
- 이름을 붙인 결과의 정확도 83.7%
76.2%의 대부분은 표준 중국어와 영어 원어민 녹음에서 나옵니다(5,626개 중 4,807개). 이 두 그룹에서는 강하지만, 나머지 그룹은 약하거나 아직 측정할 수 없습니다:
| 그룹 | 평가 세트 녹음 수 | F1 |
|---|---|---|
| 중국어 | 3,352 | 0.92 |
| 원어민에 가까운 영어 | 1,455 | 0.74 |
| 남아시아 언어(힌디어, 우르두어…) | 232 | 0.05 |
| 필리핀어 * | 50 | 0.11 |
| 스페인어 * | 21 | 측정 불가 |
| 아랍어 * | 8 | 측정 불가 |
| 터키어 * | 0 | 측정 불가 |
| 러시아어 * | 0 | 측정 불가 |
* 필리핀, 튀르키예어, 스페인어, 아랍어, 러시아어의 학습 데이터는 대부분 합성 음성입니다. 그래서 이 그룹에서는 높은 점수조차 억양이 아니라 음성 출처를 반영한 것일 수 있습니다.
실제 녹음에서는
- 공개 크라우드소싱 억양 녹음(Common Voice, mp3)
- 48.7%
- 1,687개 녹음의 1순위 정확도
- WitSpeak 앱에서 만든 녹음
- 0 / 35
- 화자 3명뿐인 작은 표본이지만, 휴대폰 녹음이 학습 데이터와 다르다는 분명한 경고입니다
- 실제 웹 테스트 (2026년 8월 31일 – 2026년 10월 25일)
- 1,655
- 323건(19.5%)에서 그룹을 제시, 1,332건(80.5%)은 보류
- 추측 전 밝힌 모국어와의 일치
- 8 / 68
- 추측을 보기 전에 모국어를 답했고 WitAccent가 그룹을 제시한 테스트
실제 사이트에서는 왜 이렇게 자주 보류할까요? 브라우저 녹음 환경이 연구 데이터와 다르고, 모국어를 밝힌 답변 481건 중 229건은 일곱 그룹 밖의 언어, 56건은 영어였습니다. 확신이 없을 때 보류하는 것은 의도된 설계이지 오류가 아닙니다.
전체 집계 수치 보기 →WitAccent가 알려 줄 수 없는 것
- 모국어, 국적, 신원을 확인해 주지 않습니다.
- 발음, 유창성, 영어 레벨을 채점하지 않습니다.
- 비원어민 그룹은 일곱 개만 알고 있습니다. 그 밖의 모국어는 '확신 없음'이나 틀린 그룹으로만 나올 수 있습니다.
- 여러 언어를 쓰는 배경, 오랜 해외 생활, 마이크와 주변 소음이 결과를 바꿉니다.
- 사람 청취자와의 비교는 아직 하지 않았습니다. 이 항목은 측정되지 않았습니다.
녹음과 데이터
- 테스트를 하기 위해 데이터를 제공할 필요는 없습니다. 녹음은 결과를 돌려주기 위해서만 처리합니다.
- 모델 개선을 위한 녹음 보관은 별도로 기여를 선택한 경우에만 합니다(성인만, 학교 용도 제외). 기여한 녹음은 30일 후 삭제되며, 기여한 결과는 직접 삭제할 수도 있습니다.
- IP 주소의 키 기반 해시는 남용 방지 한도에만 쓰입니다. 대략적인 국가 코드는 집계 표본 균형을 위해서만 저장될 수 있으며, 억양 라벨이나 모델 입력으로는 절대 쓰이지 않습니다.
누가 썼나요?
WitSpeak 창업자 Fatih Can YILDIRIM이 작성하고 검토했습니다. 정확도 수치는 2026년 8월 29일 v3 모델 성적표에서, 실서비스 수치는 2026년 10월 25일 WitAccent 데이터 스냅숏에서 가져왔습니다. 모델이나 기준이 바뀌면 이 페이지를 업데이트합니다.