“决策过程不透明的人工智能算法或难以进行司法控制”

Published 20 Mar.2025 07:03(KST)

首尔大学 Heo Seonguk 教授研究报告

#. 被告人Eric Loomis于2013年因擅自驾驶卷入枪击事件的车辆并逃避警方追捕而被起诉。检方引用通过“COMPAS”生成的报告，求处重刑，理由是有性犯罪前科的被告人再次犯罪的可能性很大。法院也采纳了被告人具有高度再犯可能性的判断，判处其有期徒刑6年。Loomis以该判决违反正当程序（due process）原则等为由提起上诉，但美国威斯康星州最高法院驳回了上诉。

为帮助理解上述报道而配发的照片。Pixabay供图

由美国一家民营企业开发的再犯预测程序“COMPAS”，以犯罪前科、犯罪者倾向、态度等137个要素为基础，将再犯风险分为10个等级进行评估。2016年，美国非营利调查新闻机构ProPublica报道称，“COMPAS作出偏颇判断，对黑人再犯风险率的预测高于白人”，由此引发了围绕如何以及在多大程度上在司法领域运用人工智能（AI）技术的正式争论。

在韩国，虽然尚未延伸到司法领域，但在行政处分中运用AI技术的案例正逐渐增多，典型例子是食品医药品安全处的“电子审查24”。该系统依据《进口食品安全管理特别法》自动审查进口申报文件，如符合规定则立即发放申报确认书。原本需时48小时的流程缩短为5分钟以内，行政成本也大幅降低。

如同美国COMPAS的案例，如果对AI作出的行政处分有异议或当事人不服，法院应当如何判断？首尔大学法学院教授Heo Seonguk表示，需要建立“数据集验证、强化算法可解释性、确保结果透明性等技术和法律标准”。

Heo教授于2024年12月发表《基于人工智能的行政处分之司法审查理论研究》报告，指出“当以AI分析为基础的行政处分当事人提出异议，或难以理解其运作原理时，可能会产生复杂问题”。其中典型问题是AI的“黑箱”现象，即AI无法对行政决定提供充分说明，从而有可能损害该决定的正当性。

AI作出的处分在正当程序层面也被指出存在难以听取利害关系人意见的问题。为解决这一问题，Heo教授建议，需要通过制度性补充措施，包括：△制定对AI算法及输入数据适当性进行监视和监督的程序；△赋予受行政行为影响的利害关系人要求向AI算法输入准确数据的权利；△建立异议申诉及拒绝程序等。

关于司法审查标准，Heo教授建议：在行政机关具备专业性的领域，若其依据明确的法律条文运用AI，并对算法结构及处分结果进行透明公开，法院应在尊重行政决策的前提下，审查其是否违反法律以及是否具有可预见性。若是依据模糊的法律条文，或算法结构及结果不透明，则应与对人类公务员同样的标准适用比例原则等，审查其合理性与可接受性。对于行政机关在其不具专业性的领域运用AI的情形，他还提出，法院应当直接审查该处分的合理性与合法性。他并强调，当AI的行政处分适用于对国民基本权利产生重大影响的制裁性、侵益性行政行为（包括相当于刑事处罚的处分）时，由人类作出最终判断更为妥当。