[뉴스속 용어]韓 AI 3대 강국 이끌 무기 ‘sLLM’

정부가 인공지능(AI) 3대 강국으로 도약하기 위한 AI·반도체 관련 9대 기술 중 하나로 꼽은 ‘소형거대언어모델(Small Large Language Model, sLLM)’은 대형 언어 모델(LLM)에 비해 매개변수(파라미터) 수가 상대적으로 작은 언어 모델을 의미한다. 통상 매개변수가 1000억개 이상이면 LLM으로, 이하면 sLLM으로 구분된다.

윤석열 대통령이 9일 서울 용산 대통령실 청사에서 열린 반도체 현안 점검회의에 참석해 발언하고 있다. 대통령실통신사진기자단 [이미지출처=연합뉴스]

여기서 매개변수란 AI가 연산 과정에서 고려하는 다양한 변수로, 두뇌에서 신경세포들이 정보를 주고받는 연결 부위인 시냅스로 이해하면 된다. 시냅스가 많을수록 처리 가능한 정보가 많은 것처럼 매개변수가 많을수록 AI의 성능도 좋아진다. 대표적인 LLM 기반의 생성형 AI 챗GPT의 매개변수는 1조개(GPT-4 기준)에 달한다. 현존하는 초거대 AI 모델이 될 수 있다는 평가를 받는 엔비디아의 차세대 AI 반도체 ‘블랙웰(B200)’은 최대 10조개의 매개변수 훈련과 학습을 지원하는 것으로 알려졌다. 매개변수가 많을수록 더 고도화된 LLM을 구사할 수 있는 셈이다.

하지만 매개변수가 많을수록 학습과 운용에 소요되는 시간과 비용은 커진다는 건 단점이다. 챗 GPT-4만 하더라도 개발에 수개월의 학습시간과 1000만달러 이상의 돈이 투입됐다.

최근 메타, MS, 구글 등 글로벌 빅테크 기업들이 sLLM 기술 경쟁에 뛰어들고 있는 것도 LLM에 비해 매개변수가 적다보니 학습시간과 비용이 훨씬 적게 든다는 장점에 주목했기 때문이다. 특정 산업에 최적화시킬 수 있다는 것도 sLLM만의 이점이다. 특정 작업에 맞게 매개변수를 미세조정 해 학습시키면 기업이 원하는 최적의 결과를 도출할 수 있어 LLM보다 기업 비즈니스에 더 효율적으로 활용할 수 있다는 게 업계 판단이다.

한편 산업통상자원부와 과학기술정보통신부 등 관계부처는 9일 서울 용산 대통령실에서 ‘반도체 현안 점검회의’를 열고 AI 3대 강국으로 도약하기 위해 AI·반도체 관련 9가지 기술 연구개발(R&D) 예산 등을 집중 투자하는 'AI 반도체 이니셔티브'를 추진하겠다고 밝혔다.

이은정 기자 mybang21@asiae.co.kr