업스테이지-NIA, 한국어 AI 성능평가 플랫폼 개설

업스테이지와 한국지능정보사회진흥원(NIA)이 손잡고 한국어 대규모언어모델(LLM)의 성능을 평가하고 비교할 수 있는 리더보드를 만든다.

업스테이지는 NIA와 공동 주최로 한국어 LLM 리더보드인 '오픈 Ko-LLM 리더보드'를 오는 27일 개설한다고 25일 밝혔다.

오픈 Ko-LLM 리더보드는 누구나 자신이 개발한 한국어 LLM 모델을 등록하고 다른 모델과 경쟁할 수 있는 공개 플랫폼이다. 허깅페이스가 운영하는 오픈LLM 리더보드의 기존 데이터를 단순히 번역한 것이 아니라 한국어의 특성과 문화를 반영한 고품질의 데이터를 자체 구축해 한국어 특화 리더보드라는 강점을 갖는다.

상식을 생성하는 능력을 살펴보는 '상식생성' 기준을 추가해 한국어 LLM 모델의 높은 성능과 다양성을 평가할 수 있도록 했다. 상식생성은 업스테이지가 고려대 임희석 교수 연구진과 협업으로 구축한 데이터셋으로 역사 왜곡, 환각 오류, 형태소 오류, 불규칙 활용 오류, 혐오 표현 등에 대한 광범위한 유형을 포함한 질문지로 구성했다. 이를 통해 인공지능(AI)이 만들어 낸 결과물이 한국어 사용자라면 지닐 수 있는 일반 상식에 부합할 수 있는지를 측정한다.

김성훈 업스테이지 대표는 "한국어 LLM의 경쟁력을 증진하고 연구 수준을 더욱 높일 수 있는 오픈 Ko-LLM 리더보드를 개설해 무척 기쁘다"며 "앞으로도 한국 AI 생태계를 넓히고 발전을 증진할 수 있도록 더욱 노력할 것"이라고 말했다.

최유리 기자 yrchoi@asiae.co.kr