ETRI "멀티모달 AI '치명적 망각' 해결…지식 편집 성능 향상"

국내 연구팀이 멀티모달 인공지능(AI)의 '치명적 망각(Catastrophic Forgetting)' 문제를 해결할 실마리를 제시했다. 멀티모달 AI는 챗GPT, 제미나이(Gemini), 클로드(Claude) 등 이미지와 텍스트를 동시에 이해해 사진을 토대로 설명하거나 그림 속 내용을 글로 질문하면 답하는 기능을 가졌다. 하지만 새로운 정보를 습득하거나 기존 정보를 수정했을 때 기존 학습정보(지식)를 잊는 '치명적 망각'은 해결해야 할 과제다. 연구팀은 이 같은 과제를 해결할 핵심 원천기술을 개발해 주목받는다.

한국전자통신연구원(ETRI)은 언어지능연구실 임수종 실장 연구팀이 포항공과대, 성균관대와 공동으로 '연속·복합 지식 편집 기술(MemEIC)'을 개발했다고 24일 밝혔다.

이 기술은 AI 분야 국제 학술대회 'NeurIPS 2025'에 채택돼 최근 미국 샌디에이고에서 발표됐다.

ETRI 연구진이 연속·복합 지식 편집 기술(MemEIC) 구현 과정에 관해 논의하고 있다. 한국전자통신연구원

기존 멀티모달 AI는 주로 내부 핵심 파라미터를 직접 수정해 지식을 바꾸는 방식으로 사용됐다. 이는 기존 모델의 구조를 근본적으로 변경하는 일종의 '뇌 수술식 접근법'으로 지식을 수정하는 과정에서 저장된 정보까지 영향을 받는 한계를 드러낸다.

시각 정보와 언어 정보를 동시에 수정할 때 두 가지 지식이 서로 뒤섞여 AI가 제대로 이해하지 못하는 탓에 복합적인 질문에 틀린 답을 내놓는 사례가 빈번했다.

예컨대 "사진 속에 보이는 디저트는 두바이 쫀득 쿠키"라는 시각 정보와 "두쫀쿠는 한국에서 인기가 많다"는 언어 정보를 차례대로 학습시킨 후 "이 디저트는 어느 나라에서 인기가 많은가?"라고 질문하면 기존 멀티모달 AI는 "사진 속 이미지는 초콜릿 트러플로 유럽에서 인기가 많다"처럼 왜곡된 답변을 생성할 때가 많았다.

MemEIC는 이러한 문제를 바로잡기 위해 개발됐다. 사람의 뇌 구조에서 영감을 얻어 설계된 이 기술은 새로운 정보를 AI 내부가 아닌 외부 메모리에 저장하는 방식을 적용, AI가 필요한 때 선택적으로 정보를 불러와 사용할 수 있게 한다. 흡사 사람의 뇌가 '좌뇌'와 '우뇌'로 나뉘어 서로 다른 역할을 하는 것처럼 AI도 지식을 구분해 저장·활용할 수 있게 하는 구조다.

이는 기존 모델의 안정성을 유지하면서 새로운 정보를 유연하게 추가할 수 있다는 점을 강점으로 확장성 확보가 용이하다고 ETRI는 강조했다.

실제 MemEIC 기술을 적용한 AI는 별도 저장됐던 시각 정보와 언어 정보를 정확하게 결합해 앞선 예시 질문에서 "사진에 보이는 디저트는 두바이 쫀득 쿠키(두쫀쿠)로, 한국에서 인기가 많습니다"라고 답변했다.

지식을 나눠 저장하고 필요할 때만 연결하는 분리 저장·선별 결합 구조로 서로 다른 정보가 뒤섞이는 내부 간섭 문제와 기존 지식이 훼손되는 문제를 최소화해 복잡한 질문에도 올바른 답을 내놓을 수 있는 '복합적 추론'이 가능해진 결과다.

공동연구팀은 기술 성능을 확인하기 위해 1278개 항목으로 구성된 복합 지식 편집 벤치마크(CCKEB)를 구축하고, 수백 건의 지식을 순차적으로 편집하는 실험도 거쳤다. 이 결과 MemEIC는 복합 질문 정확도 70% 수준을 기록, 기존 기술(36~52%) 수준보다 2배 이상 향상된 성능을 나타냈다.

무엇보다 새로운 지식을 추가했을 때도 기존 질문에 관한 답이 변하지 않아 응답 안정성이 유지되는 '지역성(Locality)'보존 특성도 확인할 수 있었다고 ETRI는 소개했다.

이번 연구는 AI의 망각 현상을 완화하는 수준을 넘어 연속적인 지식 편집과 복합 추론이라는 두 가지 난제를 동시에 해결했다는 점에서 의미를 갖는다.

임수종 ETRI 언어지능연구실장은 "이번 연구는 멀티모달 AI가 실제 서비스 환경에서 요구되는 최신 정보를 반영하는 동시에 신뢰성까지 확보할 수 있게 한다는 점에서 의미 부여가 가능하다"며 "공동연구팀은 향후 산업 현장의 다양한 정보를 안정적으로 반영할 수 있도록 기술을 고도화해 나갈 계획"이라고 말했다.

한편 이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)이 지원하는 '차세대 생성AI 기술개발사업'의'생성형 언어모델의 지속가능성과 시간의 흐름에 따른 최신성 반영을 위한 학습 및 활용 기술개발' 과제의 일환으로 수행됐다.

대전=정일웅 기자 jiw3061@asiae.co.kr