[IT칼럼] 인공지능, 투명성이 필요하다

김진형 지능정보기술연구원 원장 KAIST 명예교수

기술이란 인간이 자신의 필요를 충족시키려고 자연을 변화시키는 과정이다. 컴퓨터ㆍ비행기ㆍ피임약 등 인공물(Artifacts)을 지칭하기도 하고 엔지니어링 노하우나 설계와 제조에 관한 전문 지식 등을 말할 수도 있다. 기술들은 비록 사람이 발명하고 설치했지만 사람이 이해하지 못할 수준으로 복잡다단해진다. 이 과정에서 역설적으로 사람에게 위해를 끼치는 경우가 종종 생긴다.

자동차는 신속한 이동을 가능하게 하지만 가끔 사고를 유발한다. 이런 기술의 불완전성은 기술에 대한 부정적 견해와 적대감을 갖게 하는 이유로 작용한다. '모든 기술은 무죄가 입증될 때까지 유죄로 간주돼야 한다.'는 식이다.

사회가 기술을 받아들이려면 투명성이 확보돼야 한다. 즉 기술의 능력과 한계를 투명하게 밝힘으로써 채택 여부를 사용자들이 스스로 결정하게 해야 한다는 것이다. 그러나 소프트웨어나 인공지능은 복잡도가 높고 눈에 보이지 않기 때문에 투명성을 담보하기 쉽지 않다.

사람들은 작동 원리를 이해할 수 없는 시스템과 상호작용하고 싶어 하지 않는다. 인공지능 알고리즘이 중대한 결정에 점점 큰 영향을 미치면서 이에 대한 불안감도 점차 커지고 있다. 인간이 기술을 광범위하게 받아들이려면 먼저 기술을 신뢰해야 하는데, 현재 인공지능이 직면한 가장 큰 도전은 불신이다.

공상과학 영화를 보고 인공지능이 항상 완벽한 결정을 내린다고 생각하기 쉽지만 이는 오해다. 인공지능도 실수와 결함이 있다. 알파고가 이세돌과 대전할 때에도 4번째 대국에서는 엉뚱한 실수로 패배했다. 이러한 오류가 생길 수 있는 원인은 아주 다양하다. 알고리즘에 결함이 있거나 불완전한 데이터가 오류로 이어질 수 있다. 특히 기계학습 방법의 인공지능은 훈련에 사용한 데이터의 양과 질에 따라 성능과 신뢰가 결정된다. 따라서 소규모의 편향된 데이터에 기반을 둔 결정은 매우 위험할 수 있다.

더 까다로운 문제는 인공지능이 인간의 편견을 그대로 흡수한다는 점이다. 인터넷에 보편화된 여성과 인종에 대한 차별적 표현을 학습한 인공지능은 그 대상에 대한 편견을 피할 수 없다. 더 근본적인 문제는 코드 개발자의 무의식 속 편견으로 인해 알고리즘 자체가 편향적일 수 있다는 것이다. 이러한 문제를 극복하려면 인공지능이 어떻게 작동하는지를 투명하게 보여줘야 한다. 즉 기술과 사용자 사이 의사소통이 더 많이 요구되는 것이다.

현재 인공지능들은 자신의 결정에 대한 이유를 설명하지 못하는 블랙박스 시스템이다. 왜 이런 결론을 내렸는지 인간과 공유하지 않는다. 결정을 내리는 이유를 이해할 수 없으면 인공지능을 효율적으로 사용할 수 없다. 교통ㆍ의료와 같은 규제 대상 분야에서 특히 그렇다. 의사는 인공지능이 어떤 결정을 어떻게 내렸는지 확실히 이해한 후에, 환자에게 적용 여부를 판단해야 한다.

미 법원에서는 재범 여부를 판단한 인공지능 예측 시스템의 열람을 거부했는데, 이로 인해 인공지능 예측 시스템 사용에 대한 적법성 논란이 불거졌다. 유럽연합에서는 자동화 또는 인공지능이 내린 모든 결정에 대해 '설명 받을 권리'를 제공하라고 개인정보보호법을 통해 규제하고 있다.

우리도 인공지능에 사용한 알고리즘을 공개해야 한다. 알고리즘을 공개하는 것만으로는 부족하다. 훈련에 사용한 데이터도 검증할 수 있어야 한다. 더구나 국민의 세금이 투자되는 알고리즘과 데이터는 당연히 공개돼야 한다. 양질의 공개 소프트웨어와 데이터를 사용해 문제를 해결하고, 이 과정을 공개함으로써 세계 시민으로서 책무도 다 해야 할 것이다. 이러한 생태계에서 인공지능을 어떻게 산업적으로 활용할 수 있는지 민관이 함께 고민해야 한다.

김진형 지능정보기술연구원장, KAIST 명예교수