코난테크놀로지, 이종 AI반도체 기반 LLM 실증

인공지능(AI) 소프트웨어 업체 코난테크놀로지 는 과학기술정보통신부가 추진하는 K-클라우드 기술개발 사업의 일환인 '이종 AI반도체 기반의 분산 추론 및 모델 최적화 기술 개발 과제'에 수행업체로 선정됐다고 29일 밝혔다.

총사업비 104억원 규모로 2029년 12월까지 약 4년 9개월간 수행한다. 주관연구개발기관은 한국전자통신연구원(ETRI)이며, 공동 연구 컨소시엄에는 리벨리온, 서울대학교, 한국과학기술원이 포함됐다.

최근 거대언어모델(LLM) 기반 서비스 수요가 급증하고 있으나 높은 추론 비용이 제약으로 작용하고 있다. 이를 해소하기 위해 NPU와 PIM 등 다양한 AI 반도체를 활용한 최적화 기술과 분산 소프트웨어 개발의 중요성이 커지고 있다.

다양한 종류의 AI 반도체를 연동한 환경에서 효율적인 분산 추론 및 모델 최적화 기술을 확보하는 것이 과제의 목표다. 이종 AI 반도체 환경에서 AI 모델을 유연하게 실행할 수 있는 서비스 프레임워크, 실제 사용자 단말에서 구동 가능한 LLM-RAG 기반 통합 실증 서비스 등을 개발한다.

코난테크놀로지는 이종 AI 반도체 환경에서의 LLM-RAG 분산 추론 통합 실증 서비스를 맡아 수행한다. AI 소프트웨어 분야의 기술력과 LLM·RAG 개발 경험을 기반으로 다양한 반도체 환경에서도 안정적인 AI 서비스 구동이 가능한 기술적 기반을 확보한다. 고성능 분산 추론 구조의 실증 사례를 통해 국내 AI 기술의 자립성과 경쟁력 제고에 기여할 것으로 기대된다.

과제 연구개발 책임자인 오창민 코난테크놀로지 언어음성연구소 상무는 "국내 AI 인프라의 기술 자립을 위한 핵심 과제에 참여해 의미가 크다"며 "이종 AI 반도체 기반 추론 환경에서 고도화된 실증 서비스를 현실화하고, 차세대 AI 인프라 상용화에 기여하겠다"고 말했다.

코난테크놀로지는 다음달 13일 열리는 '2025 코난테크놀로지 AI 쇼케이스-미디어 브리핑'을 통해 코난 LLM, 코난 RAG-X를 포함한 신규 생성형 AI 제품을 소개한다.

박형수 기자 parkhs@asiae.co.kr