[AI错题本]②“法官这种角色干脆用AI取代吧”的想法

by Kim Dongpyo

Published 24 Nov.2024 15:00(KST)

Updated 25 Nov.2024 08:30(KST)

open/close

人类是有偏见的…然而AI也有偏见
因为它学习了带偏见的人类数据
人类难以改变，但数据可以调整

▷ A医院每天有45名婴儿出生。

▷ B医院每天有15名婴儿出生。

▷ 婴儿的性别为男女各50%的概率。

▷ 在一年中，会出现某些天，当天出生的婴儿中男婴比例在60%以上。

◎ 问题：在一年当中，哪一家医院“男婴占比在60%以上的日子”会更多？

会是出生婴儿数量更多的A医院，还是相反的B医院呢？据称，在心理学家 Daniel Kahneman 和 Amos Tversky 进行的这项心理学实验中，几乎没有人答对。

人们通常会想：“每天有45名婴儿出生，是大医院，男婴出生更多的日子当然也会更多吧”，于是把A医院选为答案。

然而，正确答案却是婴儿出生数量较少的B医院。

试验次数越多，累积得到的结果值就越接近理论概率值。硬币的理论概率是正面 50%，或者反面 50%。

这是因为样本规模越大，结果越有可能接近平均值（50%）。这就是所谓的“ 大数定律 ”。想一想掷硬币就更容易理解了。某一天掷10次硬币，可能会出现7次正面、3次反面（70:30）的结果。那么如果掷100次会怎样呢？也许会出现60:40左右的比例。如果把掷硬币次数增加到1000次、1万次，这一比例就会非常接近50:50。

人类是有偏见的。确认偏误（只关注与自己既有认知一致的信息）、群体思维（倾向于与组织多数意见保持一致）、光环效应（只关注某些正面或负面特征而看不到整体）等等，人类拥有的偏见实在太多。因此，人类常常在预测中失败。认为所谓专家就会不一样吗？并非如此。

法官与AI的对决：保释决定

人类具有偏见。所谓专家就会例外吗？并不会。即便是只依据证据、以冷静理性作出裁决的法律人，也会暴露出偏见。Pixabay提供

以司法部门为例。法官通过严格审查来作出保释决定（缴纳保证金或提供保证人，从而将被告从羁押状态中释放）。在美国，有一项对保释决定数据进行收集和分析的有意义实验。研究团队利用AI开发了一套算法，用来预测嫌疑人在保释期间再次犯罪或逃跑的可能性。结果如何呢？

是AI获胜。AI将1%的被告归类为高危人物，并预测其中62%会再犯。法官则将其中近一半人释放回社会。结果如AI所预料，在这62%的高危人物中，有63%再次犯罪，其中甚至有5%犯下了杀人等严重暴力犯罪。如果法官按照AI的预测作出保释决定，就能减少不少意外事故。

法官在法庭上可以利用AI未曾收集到的信息，例如被告的答辩态度、姿态、外貌等。然而这些信息反而似乎成了毒药。人类这种种偏见，反而让人们期待AI能比人类作出更高效、更公正的决定。看与罪犯判决相关的新闻时，很容易看到“用AI来取代法官”之类的评论。要求基于不受偏见污染的纯粹数据、客观事实来进行判断和决策的呼声，在各个行业都存在。

但真的是这样吗？由非人类的AI作出的决定，真的能够完全公正无私吗？

另一种偏见：认为AI必然公正无私

AI同样可能存在偏见。这不是因为它是人，而是因为它是向人学习的。如果用错误的数据训练AI，它也会作出错误的判断。美国刑事司法体系中使用的COMPAS系统，就是体现AI偏见的典型案例。COMPAS是一套用于预测罪犯再犯风险的算法。它基于过往数据得出预测值，并据此用于决定是否释放、量刑长短等。COMPAS大大减轻了法院的工作负担，但围绕其结果的争议却从未停歇，因为严重的偏见暴露了出来。

在再犯风险预测中，AI对黑人被告的再犯风险作出了过高评估；相反，对白人被告的再犯风险则评估过低。在被预测为高风险却并未再犯的人群中，黑人比例为44.9%，白人则为23.5%。而在被预测为低风险却再次犯罪的人群中，白人为47.7%，黑人为28.0%。这一结果很难摆脱“种族歧视”的批评。

'不喜欢女校？'的亚马逊AI招聘系统

亚马逊的人工智能招聘系统曾优待男性。由于算法以以往的招聘数据为基础构建，而这些历史数据本身就存在偏见。Pixabay供图

全球最大电子商务企业亚马逊，截至2022年雇佣人数达154万，是一家超级巨型企业。人才招聘过程本身就是一项庞大工程。需要审核的材料到底有多少万份？因此在2014年引入AI招聘系统几乎是必然的决定。这是一套自动评估无数应聘者简历的系统。AI基于过去10年提交给亚马逊的简历以及这些应聘者的绩效数据进行学习。

遗憾的是，这套系统并未持续太久。因为人们发现，在最终录用过程中，女性正被排除在外。只要简历中出现“女大”（女子大学）一词，或是“女子国际象棋社团”等带有“女性”字样的内容，就会被扣分。

问题出在训练数据的偏差上。过去10年提交给亚马逊的简历绝大多数都来自“男性”。被判定为“适合我们公司的人才”的最终录取者，自然也大部分是男性。AI学习了这一模式，因而倾向于偏好男性应聘者。亚马逊的工程师试图解决这一问题，但他们完全无法预判系统接下来还会产生什么样的歧视性结果。这与曾战胜Lee Sedol九段的围棋AI AlphaGo在某些局面下为何会下出那样的棋步，就连AlphaGo工程师也难以解释，是同一个道理。

在AI招聘系统中，问题不仅可能是性别歧视。还极有可能进一步引发种族歧视、年龄歧视等问题。最终，亚马逊只能彻底废弃该系统。

AI给出的结果值，如同在黑箱中生成的一样。创造出的AI是否会作出歧视性判断，只能通过观察结果才能得知。就连设计算法的人，也很难理解其中的原理。正是由于这种“黑箱”属性，让受到偏见结果伤害的人在法律上追责变得并不容易。

AI也可能有偏见……但“汹涌的大潮”无法回避

AI并不会因为不是人类，就永远作出公正无私的决定。如果数据本身存在偏差和扭曲，AI也会给出相应的偏差结果。由偏见带来的风险可能是致命的，不仅会给企业造成经济损失，还可能带来道德层面的重创。AI是黑箱这一事实，不能成为忽视歧视与偏见问题的借口。

但与此同时，以“AI可能具有歧视性”为由而回避AI的使用和引入，也绝不是好的选择。如果比较歧视的范围和频度，人类可能远比AI更具歧视性。企业反而应当意识到AI的偏见性，在此基础上预判各种风险，并对风险管理的整体流程进行规范。从规划阶段到运营过程，都要不断检查并弥补可能存在的歧视与偏见，这样既能通过AI提升生产力，又能将副作用降到最低。

英国威斯敏斯特大学教授Peter Verdegem在其著作《AI for Everyone》中预测：“企业今后将比现在更多地利用AI，把人当作数据来处理”，同时也表示，“即便如此，也绝不能放松对算法偏见的警惕”。

必读新闻

“大多数民众并不想要的战争”……美国人为油价白白多花了60万亿韩元

通过AI进行招聘在全球企业界已经相当普遍。根据美国政府去年1月发布的资料显示，美国企业中有83%，《财富》杂志评选的500强企业中有99%在招聘过程中使用AI。2022年，高盛集团在实习生招聘中使用AI，从23.6万名应聘者中选出了占比1.5%的3700人。这应当是吸取了2014年亚马逊招聘系统副作用和失败案例教训后，进化得更加先进的AI算法。

下期连载预告

③AI，那不是泡沫吗？（11月30日）
④AI革命，真的会发生吗？（12月1日）
⑤我们为何总在机场浪费时间（12月7日）
⑥“我们也用那个AI搞点什么吧”的常务（12月8日）

编者按如今已经形成一种氛围，仿佛没有人工智能（AI）就什么都做不了。各种商品和服务的宣传几乎无一不挂上AI的标签。
上班族也很辛苦。因为公司里经常会轻描淡写地说：“喂，我们也用AI搞点什么吧。”
只要有AI，做什么都会大获成功吗？并不是这样。
其实，AI的世界是无数次失败的连续体。所谓凭AI大获成功的企业，只不过是0.1%的个案而已，99.9%的企业和服务都以失败告终。
然而，通往成功的捷径之一，正是对失败的研究。AI也不例外。审视那99.9%的失败，正是通往0.1%成功的近路。
《AI错题本》连载，将探究与AI相关的产品和服务、企业、人物的失败案例。

한글 기사 보기

本报道由人工智能(AI)翻译技术生成。