방법과 정확도

WitAccent는 어떻게 작동하고, 얼마나 정확할까요?

작성 및 검토: Fatih Can YILDIRIM, WitSpeak 창업자 ·

WitAccent는 약 30초 동안 소리 내어 읽은 영어를 듣고 학습한 여덟 개 억양 그룹과 비교합니다. 학습에 쓰지 않은 연구용 평가 세트에서는 76.2%의 비율로 올바른 그룹을 골랐습니다. 하지만 실제 브라우저 녹음에서는 훨씬 덜 확신하기 때문에, 무리하게 추측하기보다 대부분 결과를 보류합니다. 아래에 날짜가 적힌 수치와 그 수치가 다루는 범위, 다루지 않는 범위를 정리했습니다.

테스트를 하면 어떤 일이 일어나나요?

  1. 1

    브라우저에서 짧은 영어 문단을 소리 내어 읽습니다. 녹음은 witspeak.ai를 통해서만 WitSpeak 서버로 전송됩니다.

  2. 2

    먼저 음성 확인을 거칩니다. 너무 짧거나, 소리가 없거나, 시끄러운 녹음은 추측 전에 걸러집니다.

  3. 3

    음성 인코더가 소리를 음향 표현으로 바꾸고, 작은 분류기가 이를 여덟 그룹과 비교합니다: 중국어(표준 중국어), 남아시아, 필리핀, 튀르키예어, 스페인어, 아랍어, 러시아어, 그리고 원어민에 가까운 영어.

  4. 4

    안전 기준이 무엇을 보여 줄지 결정합니다. 비원어민 그룹은 신뢰도가 0.55 이상일 때만 이름을 붙이며, '원어민 같은 영어'는 결과로 보여 주지 않습니다. 그 밖의 경우 WitAccent는 확신이 없다고 말하고, 접속 국가나 브라우저 언어를 바탕으로 한 추정을 '위치 기반 추정'이라고 분명히 표시해 보여 줄 수 있습니다.

  5. 5

    원하면 모국어를 WitAccent에 알려 줄 수 있습니다. 일치율 측정에는 추측을 보기 전에 답한 경우만 사용합니다. 추측을 먼저 보면 답이 영향을 받을 수 있기 때문입니다.

측정된 정확도 (연구용 평가 세트, 모델 v3, 2026년 8월 29일)

이 수치는 학습에 쓰지 않은 5,626개 녹음으로 구성된 고정 평가 세트에서 나왔습니다.

1순위 정확도
76.2%
올바른 그룹이 첫 번째로 나온 비율
매크로 F1
0.30
그룹 평균값. 표본이 적은 그룹의 성능이 낮아 수치도 낮음
보정 오차(ECE)
0.092
신뢰도와 실제 정확도의 차이. 낮을수록 좋음
실서비스 기준에서 보류 비율
18.3%
이름을 붙인 결과의 정확도 83.7%

76.2%의 대부분은 표준 중국어와 영어 원어민 녹음에서 나옵니다(5,626개 중 4,807개). 이 두 그룹에서는 강하지만, 나머지 그룹은 약하거나 아직 측정할 수 없습니다:

그룹평가 세트 녹음 수F1
중국어3,3520.92
원어민에 가까운 영어1,4550.74
남아시아 언어(힌디어, 우르두어…)2320.05
필리핀어 *500.11
스페인어 *21측정 불가
아랍어 *8측정 불가
터키어 *0측정 불가
러시아어 *0측정 불가

* 필리핀, 튀르키예어, 스페인어, 아랍어, 러시아어의 학습 데이터는 대부분 합성 음성입니다. 그래서 이 그룹에서는 높은 점수조차 억양이 아니라 음성 출처를 반영한 것일 수 있습니다.

실제 녹음에서는

공개 크라우드소싱 억양 녹음(Common Voice, mp3)
48.7%
1,687개 녹음의 1순위 정확도
WitSpeak 앱에서 만든 녹음
0 / 35
화자 3명뿐인 작은 표본이지만, 휴대폰 녹음이 학습 데이터와 다르다는 분명한 경고입니다
실제 웹 테스트 (2026년 8월 31일 – 2026년 10월 25일)
1,655
323건(19.5%)에서 그룹을 제시, 1,332건(80.5%)은 보류
추측 전 밝힌 모국어와의 일치
8 / 68
추측을 보기 전에 모국어를 답했고 WitAccent가 그룹을 제시한 테스트

실제 사이트에서는 왜 이렇게 자주 보류할까요? 브라우저 녹음 환경이 연구 데이터와 다르고, 모국어를 밝힌 답변 481건 중 229건은 일곱 그룹 밖의 언어, 56건은 영어였습니다. 확신이 없을 때 보류하는 것은 의도된 설계이지 오류가 아닙니다.

전체 집계 수치 보기 →

WitAccent가 알려 줄 수 없는 것

  • 모국어, 국적, 신원을 확인해 주지 않습니다.
  • 발음, 유창성, 영어 레벨을 채점하지 않습니다.
  • 비원어민 그룹은 일곱 개만 알고 있습니다. 그 밖의 모국어는 '확신 없음'이나 틀린 그룹으로만 나올 수 있습니다.
  • 여러 언어를 쓰는 배경, 오랜 해외 생활, 마이크와 주변 소음이 결과를 바꿉니다.
  • 사람 청취자와의 비교는 아직 하지 않았습니다. 이 항목은 측정되지 않았습니다.

녹음과 데이터

  • 테스트를 하기 위해 데이터를 제공할 필요는 없습니다. 녹음은 결과를 돌려주기 위해서만 처리합니다.
  • 모델 개선을 위한 녹음 보관은 별도로 기여를 선택한 경우에만 합니다(성인만, 학교 용도 제외). 기여한 녹음은 30일 후 삭제되며, 기여한 결과는 직접 삭제할 수도 있습니다.
  • IP 주소의 키 기반 해시는 남용 방지 한도에만 쓰입니다. 대략적인 국가 코드는 집계 표본 균형을 위해서만 저장될 수 있으며, 억양 라벨이나 모델 입력으로는 절대 쓰이지 않습니다.
개인정보 처리방침의 WitAccent 항목 →

누가 썼나요?

WitSpeak 창업자 Fatih Can YILDIRIM이 작성하고 검토했습니다. 정확도 수치는 2026년 8월 29일 v3 모델 성적표에서, 실서비스 수치는 2026년 10월 25일 WitAccent 데이터 스냅숏에서 가져왔습니다. 모델이나 기준이 바뀌면 이 페이지를 업데이트합니다.

더 보기