"결정과정 불투명한 AI알고리즘 사법적 통제 어려울 수 있어"

서울대 허성욱 교수 연구보고서

#. 피고인 에릭 루미스(Eric Loomis)는 2013년 총기 사건에 연루된 차량을 무단으로 운전하고 경찰로부터 달아난 혐의로 기소됐다. 검찰은 ‘콤파스(COMPAS)’로 생산한 보고서를 인용해 중형을 구형했다. 성범죄 전과가 있는 피고인이 다시 범죄를 저지를 가능성이 크다는 것이 이유였다. 법원도 피고인의 재범 가능성을 받아들여 징역 6년을 선고했다. 루미스는 해당 판결이 적법절차(due process) 원칙 등을 위반했다며 항소했지만, 미국 위스콘신주대법원은 항소를 기각했다.

위 기사 이해를 돕기 위한 사진. 픽사베이

미국의 민간기업이 개발한 재범 예측 프로그램 ‘콤파스’는 범죄 전력, 범죄자 성향, 태도 등 137개 요소를 토대로 재범 위험성을 10단계로 평가한다. 2016년 미국의 비영리 탐사 언론기관인 프로퍼블리카(ProPublica)가 “콤파스가 백인보다 흑인의 재범 위험률을 높게 예측하는 편향된 판단을 하고 있다”고 보도하면서 인공지능(AI) 기술을 사법 영역에서 어떻게 활용하고 얼마만큼 받아들여야 하는지에 대한 논쟁이 본격화됐다.

한국에서는 아직 사법 영역까지는 아니지만 행정 처분에서 AI 기술을 활용하는 사례가 점차 늘고 있다. 대표적인 예가 식품의약품안전처의 ‘전자심사 24’다. 이 시스템은 수입식품안전관리특별법에 근거해 수입 신고 서류를 자동 심사하고, 적합한 경우 즉시 신고 확인증을 발급한다. 기존에는 48시간이 걸리던 과정이 5분 이내로 단축됐다. 행정 비용도 대폭 절감됐다.

미국 콤파스의 사례처럼 AI가 내린 행정 처분에 이의가 있거나 불복하는 당사자가 있다면 법원은 어떻게 판단해야 할까. 허성욱 서울대 로스쿨 교수는 “데이터셋 검증과 알고리즘 설명 가능성 강화, 결과의 투명성 확보 등의 기술적·법적 기준이 필요하다”는 의견을 밝혔다.

허 교수는 2024년 12월 ‘인공지능에 근거한 행정처분에 대한 사법심사이론 연구’ 보고서를 발표하고 “AI 분석을 기반으로 한 행정 처분의 당사자가 이의를 제기하거나 작동 원리를 이해하기 어려운 경우, 복잡한 문제가 발생할 수 있다”고 지적했다. 대표적인 문제가 AI의 블랙박스 현상으로 AI가 행정 결정에 대한 충분한 설명을 제공하지 못함으로써 결정의 정당성이 훼손될 가능성이 있다는 것이다.

AI가 내리는 처분은 적법절차 측면에서 이해 관계인의 의견을 청취하기 어렵다는 점도 문제로 지적됐다. 허 교수는 이를 해결하기 위해 △AI 알고리즘과 입력 데이터에 대한 적정성 감시·감독 절차 마련 △행정 행위로 영향을 받는 이해 관계인에게 AI 알고리즘에 정확한 데이터가 입력되도록 요구할 수 있는 권리 부여 △이의제기 및 거부 절차 마련 등의 제도적 보완 등이 필요하다고 제안했다.

사법적인 심사 기준에 대해 허 교수는 행정청이 전문성을 가진 영역에서 명확한 법령에 근거해 AI를 활용하고, 알고리즘 구조와 처분 결과가 투명하게 공개된 경우 법원은 행정 의사결정을 존중하면서 법령 위반 여부와 예측 가능성을 심사해야 한다고 제안했다. 모호한 법령에 근거하거나 알고리즘 구조와 결과가 불투명한 경우 인간 공무원의 기준과 동일한 방식으로 비례 원칙 등을 적용해 합리성과 수용 가능성을 검토하라고도 했다. 행정청이 전문성이 없는 영역에서 AI를 활용하는 경우 법원이 직접 처분의 합리성과 적법성을 심사해야 한다는 의견도 제시했다. AI의 행정 처분이 국민의 기본권에 중대한 영향을 미치는 제재적·침익적 행정 행위(형사 처벌에 준하는 처분 포함)에 적용될 경우 인간이 최종 판단을 내리는 것이 바람직하다고도 강조했다.

안재명 법률신문 기자

※이 기사는 법률신문에서 제공받은 콘텐츠로 작성되었습니다.