"모를 땐 '모른다' 답해야" AI의 과신 원인규명·신뢰성 'UP'

인공지능(AI)의 '과도한 확신'은 자율주행과 의료 진단 등 분야에서 경계해야 할 위험 대상이다. 모르는 것을 모른다고 답하지 않고, 틀린 답 또는 애매모호한 답을 내놓을 때는 되레 사용자의 판단을 흐릴 수 있는 까닭이다. 학습을 통해 AI가 스스로 '알지 못하는 상황'을 인식, 과신을 줄여 신뢰성을 높이는 방안을 국내 연구팀이 제시했다.

KAIST는 뇌인지과학과 백세범 석좌교수 연구팀이 AI의 과신을 유발하는 근본 원인으로 '무작위 가중치 초기화'를 지목, 이를 해결할 방법으로 '무작위 노이즈'로 신경망을 짧게 학습시키는 일종의 '예열' 전략을 고안했다고 27일 밝혔다.

KAIST 백세범 석좌교수, (상단)KAIST 천정환 석사. KAIST

무작위 가중치 초기화는 신경망 학습이 시작될 때 가중치를 확률 분포에 따라 무작위로 설정하는 방식이다. 인공신경망을 활용해 데이터를 학습하는 '딥러닝(deep learning)'에서 널리 사용된다. 무작위 노이즈(random noise)는 의미 없는 임의의 입력 데이터를 의미한다.

연구팀은 AI의 과신 문제가 학습 이후는 물론 학습하는 출발점인 초기화 단계부터 이미 나타나는 점에 주목했다. 무작위로 초기화된 신경망에 임의의 데이터를 입력했을 때 배운 내용이 없는 상태에서도 높은 확신도를 보이는 현상이 확인된 것이다.

이러한 특성은 생성형 AI에서 '사실과 다른 내용'을 만드는 일종의 '환각(존재하지 않는 정보를 그럴듯하게 만드는 현상)' 문제로 이어질 수 있다.

연구팀은 이 같은 문제를 해결할 실마리를 생물학적 두뇌에서 찾았다.

인간의 두뇌는 출산 전부터 외부 자극 없이 '자발적 신경 활동(외부 입력 없이 스스로 발생하는 뇌 신호)'을 통해 신경회로를 형성한다.

연구팀은 이 개념을 인공신경망에 적용해 실제 학습이 진행되기 전 무작위 노이즈를 입력하는 것으로 사전 학습을 수행하는 일종의 '예열 단계'를 적용했다. AI가 본격적으로 학습을 시작하기 전 스스로 불확실성을 조정할 수 있게 하는 과정이다.

예열 과정을 거친 AI 모델은 초기 확신도가 낮지만, 기존에 보였던 과신 편향은 완화된 것으로 확인됐다. AI가 데이터를 배우기 전 스스로 '나는 아직 아무것도 모른다'는 상태를 먼저 학습하는 구조다. 이 과정을 거친 AI는 모델의 정확도(예측이 맞는 비율)와 확신도(모델이 스스로 맞다고 믿는 정도)가 자연스럽게 일치하는 방향으로 개선됐다는 게 연구팀의 설명이다.

예열 과정을 거친 AI는 처음 데이터를 대할 때의 반응에서도 차이를 보였다. 기존 모델은 학습하지 않은 데이터에도 높은 확신을 보이며 잘못된 답을 제시하는 경향이 있었다. 하지만 예열 학습을 적용한 모델은 확신도를 낮춰 '모른다'고 판단하는 능력이 뚜렷하게 향상된 것이다.

인공지능 모델이 예열 학습으로 신뢰도 보정을 한 경우와 그렇지 않은 경우(AI 생성 이미지). KAIST

이번 연구는 AI가 단순히 정답을 맞히는 수준을 넘어 '무엇을 알고 있는가'와 '무엇을 알지 못하는가'를 구분하는 능력인 '메타 인지(meta-cognition·자신의 인지 상태를 스스로 인식하는 능력)'를 갖출 수 있는 가능성을 엿볼 수 있게 한다.

백 석좌교수는 "이번 연구는 두뇌 발달 과정을 모사해 AI가 인간과 보다 유사하게 자신의 지식 상태를 인식할 수 있음을 보여준 사례"라며 "정확도를 높이는 것을 넘어 AI가 자신의 불확실성을 판단하는 원리를 제시했다는 점에서 의의를 갖는다"고 말했다.

그러면서 "연구팀의 연구 결과는 향후 자율주행, 의료 AI, 생성형 AI 등 높은 신뢰성이 요구되는 분야를 포함한 모든 딥러닝 모델의 초기화 방식에 적용할 수 있어 AI 전반의 신뢰성을 높이는 핵심 기술로 활용될 수 있을 것"이라고 말했다.

한편 이번 연구에는 KAIST 천정환 뇌인지과학과 석사(현 육군 일병)가 제1 저자로 참여했다. 연구 결과는 지난 9일 AI 분야 국제 학술지 '네이처 머신 인텔리전스(Nature Machine Intelligence)' 온라인으로 게재됐다.

대전=정일웅 기자 jiw3061@asiae.co.kr