토종 AI 전략 다각화…덩치 줄이고 학습량 늘린다

대기업·스타트업 등 토종 AI 춘추전국시대
"최적 모델 찾아라"…크기 다양화하고 데이터 품앗이

국내 빅테크(대형 정보기술 기업)부터 스타트업까지. 국내 정보기술(IT) 기업들이 자체 개발한 대규모언어모델(LLM)을 잇달아 공개하고 있다. AI 춘추전국시대가 열리면서 전략도 다양해졌다. 선두기업들이 AI 덩치 키우기에 집중했다면 후발주자들은 작지만 효율적인 AI로 틈새를 공략하고 있다.

국내 스타트업, 작지만 효율적인 AI 개발

AI 소프트웨어(SW) 기업 코난테크놀로지 는 지난 17일 자체 개발 LLM '코난 LLM'을 공개했다. 파라미터(매개변수) 크기는 모델에 따라 131억개, 410억개로 나뉜다. 오픈AI의 GPT 3.5(1750억개), 네이버 하이퍼클로바(2040억개), LG 엑사원2.0(3000억개)보다 작다.

파라미터는 정보를 학습하고 기억하는 역할을 한다. 크기가 클수록 성능이 좋아진다. 보통 수천억개 파라미터를 LLM, 수십억~수백억개를 소형 LLM으로 구분한다. 다만 숫자가 크다고 무조건 좋은 것은 아니다. 파라미터가 크다는 것은 그래픽처리장치(GPU)와 전기 등 방대한 컴퓨팅 자원이 필요해 비용이 많이 든다는 말이다. 이 때문에 기업들은 비용 효율성이 높은 파라미터 크기를 찾는 추세다. LLM 개발을 이끈 도원철 코난테크놀로지 상무는 "파라미터를 키우면 운영비용이 곱절로 늘어난다"며 "고객의 운영 비용을 고려해 최적의 파라미터를 찾아내야 한다"고 말했다.

스타트업을 중심으로 소형 LLM을 개발하는 업체들이 늘고 있다. 솔트룩스는 오는 9월 소형 LLM인 '루시아GPT'를 공개한다. 이를 기반으로 금융, 법률, 특허 등 특정 분야에 최적화한 AI 서비스를 제공할 계획이다. 스켈터랩스는 올 하반기 경량화한 '벨라LLM(가칭)'을 선보인다. AI 챗봇 '이루다'로 알려진 스캐터랩은 소형 LLM '핑퐁-1'을 개발 중이다. 이루다 2.0으로 자연스러운 대화가 가능한 소형 LLM을 선보였다면 핑퐁-1은 논리적 상호작용까지 가능한 게 특징이다.

학습량 늘려 성능 향상…데이터 품앗이도

모델 크기를 줄이는 대신 학습량을 늘려 성능을 높이는 전략을 택했다. 코난테크놀로지는 코난LLM에 메타의 라마2보다 270배 많은 한국어를 학습시켰다. 2007년부터 운영한 자체 데이터 수집·분석 플랫폼 '펄스케이'를 활용했다. 카페, 블로그, 트위터, 인스타그램 등 205억개 문서를 확보한 플랫폼이다. 2011년부터 언론진흥재단과 정식 계약을 맺고 구입한 뉴스 데이터도 더했다. 양질의 데이터만 학습시키기 위해 단문 트위터나 뉴스 댓글 등은 제외했다.

업스테이지는 자체 LLM을 개발하기 위해 데이터 품앗이까지 나섰다. '1T 클럽'을 발족하고 데이터를 공유할 파트너를 모으고 있다. 1T는 1조(Trillion) 토큰을 의미한다. 책 2억권 분량에 해당하는 데이터다. 네이버, 카카오 등 일부 포털사를 제외하면 독자적으로 조 단위 토큰 분량의 데이터를 보유하긴 쉽지 않다. 업스테이지가 십시일반 데이터 모으기에 나선 이유다. 데이터를 공유한 파트너사는 업스테이지가 개발한 LLM을 보다 저렴하게 사용하거나 LLM 사업으로 낸 수익을 공유할 수 있다.

대기업도 모델 크기를 다양화하고 있다. 엔씨소프트 가 지난주 공개한 언어모델 '바르코(VARCO) LLM'은 파라미터 크기가 13억개·64억개·130억개다. 주로 개인과 기업이 쉽게 활용할 수 있는 중소형 규모의 AI다. 오는 11월 520억개, 내년 3월에는 1000억개 크기 모델을 공개할 예정이다. 카카오도 연말 차세대 모델 공개를 앞두고 60억·130억·250억·650억개 등 다양한 크기를 테스트 중이다. 홍은택 카카오 대표는 "누가 먼저 초거대 모델을 구축하느냐보다 누가 비용 합리적으로 적정한 모델을 만들어 서비스에 적용하느냐 게임"이라고 설명했다. 앤드류 응 스탠퍼드대 교수도 "특정 모델이 독식하기보다는 다양한 데이터, 활용 사례에 맞춰 최적화된 모델들이 시장을 나눠 가질 것"이라고 전망했다.

최유리 기자 yrchoi@asiae.co.kr