AI 언어 능력 시험: 아프리카 언어를 위한 새로운 평가 기준, 이로코벤치

이 연구의 핵심은 '이로코벤치'라는 새로운 벤치마크 데이터셋입니다. '이로코'는 서아프리카의 크고 단단한 나무 이름에서 따왔으며, 벤치마크의 내구성과 중요성을 상징합니다. 연구팀은 이 벤치마크를 이용해 10개의 오픈소스 모델과 6개의 상용 모델을 대상으로 대규모 평가를 진행했습니다.

평가 결과는 충격적이었습니다. 가장 뛰어난 성능을 보인 GPT-4o조차 영어에서는 평균 86.9점을 받았지만, 아프리카 언어에서는 평균 59.0점으로 점수가 크게 떨어졌습니다. 가장 성능이 좋은 오픈소스 모델인 Gemma 2 27B는 GPT-4o 성능의 63% 수준에 불과해, 상용 모델과 오픈소스 모델 간의 격차도 매우 크다는 것이 확인되었습니다.

특히 수학 문제에서 AI들은 가장 큰 어려움을 겪었습니다. 흥미로운 점은 'translate-test' 결과입니다. 아프리카 언어로 된 질문을 기계 번역기를 이용해 영어로 바꾼 뒤 AI에게 물었더니, Gemma나 LLaMa와 같은 영어 중심적 모델들의 성능이 크게 향상되었습니다. 이는 이 모델들이 아프리카 언어 자체로 추론하는 능력이 부족하며, 사용자가 AI를 제대로 쓰려면 자신의 질문을 영어로 번역해야 하는 불편함을 감수해야 한다는 것을 의미합니다. 반면, GPT-4o는 아프리카 언어 그대로 질문했을 때 더 나은 성능을 보여, 다국어 처리 능력이 상대적으로 우수함을 입증했습니다.