카카오, 멀티모달·MoE 모델 공개…자체 AI 기술 역량 보여줘

카카오 가 경량 멀티모달 언어모델과 전문가혼합(MoE) 모델을 오픈소스로 공개해 인공지능(AI) 기술 개발 역량을 드러냈다고 24일 밝혔다.

카카오는 이날 허깅페이스를 통해 ▲이미지 정보 이해 및 지시 이행 능력을 갖춘 경량 멀티모달 언어모델 'Kanana-1.5-v-3b'와 ▲MoE 언어모델 'Kanana-1.5-15.7b-a3b'를 오픈소스로 공개했다.

정부의 '독자 AI 파운데이션 모델 프로젝트'에 참여한 카카오는 자체 모델 개발 역량 및 카카오톡 등의 대규모 서비스 운영 경험 등을 토대로 전 국민의 AI 접근성을 높이고, 국가 AI 경쟁력을 강화하는데 기여한다는 방침이다.

Kanana-1.5-v-3b는 텍스트 뿐만 아니라 이미지 정보도 처리할 수 있는 멀티모달 언어모델로, 지난 5월 말 공개한 Kanana 1.5 모델을 기반으로 하고 있다. Kanana 1.5는 모델 개발의 처음부터 마지막 단계까지 카카오의 자체 기술을 바탕으로 구축하는 '프롬 스크래치(From Scratch)' 방식으로 개발됐다.

멀티모달 언어모델의 강점을 토대로 ▲이미지 및 글자 인식 ▲동화 및 시 창작 ▲국내 문화유산 및 관광지 인식 ▲도표 이해 ▲수학 문제풀이 등이 가능하다. 예를 들어, 장소 사진과 함께 "이 사진이 촬영된 장소에 대해 간단히 설명해줘"라고 질문하면 "이 사진은 서울 청계천을 배경으로 하고 있다"며 답변을 하는 식이다.

카카오가 공개한 경량 멀티모달 언어모델의 장소 인식 능력을 보여주는 사례. 카카오 제공

MoE 모델은 특정 작업에 최적화된 일부 전문가 모델만 활성화되는 방식으로, 효율적인 컴퓨팅 자원 활용과 비용 절감이 강점이다. 이러한 장점 덕에 글로벌 시장에서는 AI 모델 개발 트렌드로 자리잡고 있다. MoE 아키텍처를 적용한 'Kanana-1.5-15.7b-a3b'는 전체 157억개 파라미터 중 추론 시 약 30억개 파라미터만 활성화되어 동작한다.

카카오의 MoE 모델은 고성능 AI 인프라를 저비용으로 구축하고자 하는 기업이나 연구 개발자들에게 실용적인 도움을 제공할 수 있다. 특히 추론 과정에서 제한된 파라미터만 사용하는 구조적 특성 덕분에 저비용, 고효율 서비스 구현에 유리해 활용도가 높다.

카카오는 "이번 경량 멀티모달 언어모델과 MoE 모델의 오픈소스 공개를 통해 AI 모델 생태계에 새로운 기준을 제시하고, 더 많은 연구자와 개발자가 효율적이고 강력한 AI 기술을 자유롭게 활용할 수 있는 기반을 마련해 갈 계획"이라고 밝혔다.

김보경 기자 bkly477@asiae.co.kr