"오래 쓰면 바보된다"…AI 에이전트 기억력 문제 해결책은 '이것'

AI 에이전트, 대화 길어지면 오래된 정보부터 잊어
대책으로 떠오른 '메모리 엔지니어링'

인공지능(AI) 에이전트(비서)가 사용자와의 긴 대화에서 성능 저하 한계를 드러내면서 기억력 관리가 AI 산업의 주요 과제로 떠오르고 있다.

21일 AI 업계에 따르면 오픈AI, 앤스로픽 등은 주요 AI 모델들이 대화를 통해 기억할 수 있는 정보의 양을 뜻하는 컨텍스트의 길이를 늘리고 있지만 한계가 존재한다. 클로드 오퍼스 4.7과 챗 GPT-5.4, 제미나이 3.1 프로는 현재 최대 100만 토큰(코드 5만줄, 영어 소설 8권, 팟캐스트 200분 정도 분량)을 지원한다.

AI 모델은 이 한도를 넘으면 가장 오래된 정보부터 삭제해 초기 대화 내용을 잊는다. 사용자와 초기에 합의한 조건을 잊거나, 새 대화를 열면 백지상태를 보이는 등의 '맥락 손상(context rot)'이 나타난다. 사용자와의 대화를 기억해 업무 패턴과 스타일에 맞춰 실시간으로 행동해야 하는 개인 비서의 기능이 유지되지 않는 셈이다. 고객 지원, 법률 분석 등 긴 텍스트나 문맥의 연속성이 중요한 분야에는 치명적 약점이 될 수 있다.

대규모언어모델(LLM)이 장기 대화를 처리할 때 성능이 저하되는 문제도 있다. 이달 개방형 학술 논문 플랫폼 아카이브에 공개된 풀루프 연구팀 논문에 따르면 AI 에이전트는 대화가 길어질수록 검색 노이즈와 잘못된 기억이 증가해 성능이 낮아지는 경향이 나타났다. AI 에이전트의 장기기억력을 측정하는 로코모(LOCOMO) 테스트에서는 정확도가 0.455에서 0.05까지 급감하는 사례도 있었다.

업계에서는 기억력 문제를 해결하기 위해 '메모리 엔지니어링'을 대책으로 내놓고 있다. AI 모델 외부에 데이터를 저장하고 필요한 부분만 호출할 수 있도록 외부 메모리 시스템을 두는 방식이다. 오픈AI 공동창업자 안드레이 카파시는 최근 'AI 자율 실험' 아이디어를 범용화한 오픈소스를 공개하며 에이전트를 위한 외부 메모리 해결책을 제시했다.

클라우드 인프라 기업 클라우드플레어도 지난 17일 정보를 추출해 필요할 때 사용할 수 있는 관리형 서비스를 공개했다. 영구 메모리 계층을 담당하는 개별 에이전트용 메모리, 재시작 후에도 보존되는 사용자 지정 에이전트 하네스 메모리, 규칙과 내부 지식 등을 공유하는 프로필 메모리 등으로 기억 목록을 구분해 서비스한다.

글로벌 데이터·AI 기업 데이터브릭스는 메모리 확장을 대책으로 제시하기도 했다. 에이전트 외부 메모리를 두고, 추론 시점에만 상호작용할 수 있는 영구적인 정보 저장소로 사용하는 것이다. 데이터브릭스는 이를 통해 기억력 부족 문제를 해결할 수 있다고 설명했다.

효과적인 메모리 엔지니어링을 위해서는 컨텍스트 관리 능력이 필요하다는 분석도 나온다. 시장조사기관 가트너는 "컨텍스트는 AI의 두뇌 역할을 한다"며 "AI 에이전트가 신뢰할 수 있는 컨텍스트를 제공할 수 있도록 데이터 분석, 해석 구조를 재설계해야 한다"고 조언했다.

이은서 기자 libro@asiae.co.kr