AI安全研究所所长：“将与LG、Naver Kakao等共建‘AI风险管理系统’”

by Kim Bokyung

Published 14 Jan.2025 08:21(KST)

Updated 14 Jan.2025 09:10(KST)

open/close

Kim Myeongju AI安全研究所所长专访
分析AI风险性…与企业合作
出席国际会议…分享各国政策

人工智能（AI）安全研究所将构建“风险管理系统”。这是政府为强化AI安全性，于去年11月设立AI安全研究所后赋予的第一个任务。该系统旨在发现并分析AI中潜藏的风险并制定应对方案，相关业界也将参与其中。有评价认为，这将有助于消除公众对AI的恐惧和担忧。

Kim Myeongju AI安全研究所所长在本月9日于京畿城南板桥Global R&D中心在采访前摆出姿势。姜珍炯记者提供

AI安全研究所所长 Kim Myeongju 近日在接受《亚洲经济》采访时表示：“我们将构建风险管理系统”，“今年将与LG AI研究院、NAVER、Kakao等AI企业一起启动这项工作。”Kim 所长解释称：“连AI企业本身都不太清楚AI内部潜藏着什么样的危险”，“AI风险管理系统是一种工具，用来发现和分析隐藏的风险，并制定缓解这些风险的对策。”

AI安全研究所是在去年5月举办“AI首尔峰会”之际，由科学技术信息通信部主导设立的。当时，尹锡悦总统确认了AI安全是实现负责任AI创新的核心要素，并表示将设立AI安全研究所，参与到加强全球AI安全性的网络之中。

根据如何利用，AI既可能成为提升国家竞争力的武器，也可能成为摧毁社会系统的凶器。Kim 所长表示：“如果完全不具备黑客技术的人也能通过AI服务制作恶意代码，那么将威胁到网络安全；如果根据向AI聊天机器人提问时所使用的语言不同，而给出的答案中带有社会文化偏见，那么国家间就可能因此产生争端。”一旦开发出超越人类智能的通用人工智能（AGI），失去控制的可能性也将大幅增加。

人工智能可能带来的风险性。AI安全研究所提供

“将开展AI安全评估……结果不对外公开”

在西方，各方正依据各自标准开展AI安全性评估，因此有观点认为，有必要制定评估的国际标准。总部位于法国的非营利组织“SaferAI”近日公开了对6家AI企业风险管理能力的评估结果，在满分5分中，Anthropic以2.22分位居首位，OpenAI以1.61分位居其后。SaferAI认为，这些企业的AI风险管理能力整体较弱，得出“仍需付出大量努力”的结论。

我国AI安全研究所也计划对各类AI服务开展安全评估。但评估结果将不对外公开。Kim 所长表示：“各机构的评估标准和工具都不相同，今后实现国际标准化将成为一项重要课题。”国际标准计划与最早提出AI安全性概念的英国合作制定。英国于2023年11月首次召开AI安全性峰会，并且也是世界上首个设立AI安全研究所的国家。

9日，在京畿城南板桥Global R&D中心，人工智能安全研究所所长Kim Myeongju正在接受采访。姜振亨记者提供

此后，美国、日本、新加坡、加拿大相继设立了AI安全研究所，我国则于去年11月挂牌成立并加入这一网络。Kim 所长透露，围绕AI安全性主导权，各国之间的博弈十分激烈。拥有众多AI企业的美国与强调用户保护的欧洲国家之间的立场尖锐对立。关于Trump政府的AI安全性政策，他预测称：“虽然打出放松监管的口号，但根据本国优先主义战略，如果有利于美国，也有可能转而强化安全性。”

下月出席AI安全会议……启动基本法后续工作

Kim 所长目前正忙于筹备将于下月10日至11日在法国巴黎举行的AI峰会。他表示：“为迈向AI三大强国，韩国计划对外说明将如何兼顾创新性与包容性”，“鉴于本次会议的正式名称为‘AI行动峰会（AI Action Summit）’，欧洲联盟很可能会发布企业为遵守《AI法》而应采取的实际行动指引（指南）。”

Kim 所长也在推进为落实近期在国会通过的《AI基本法》而开展的后续工作。他表示：“需要制定《AI基本法》中所提到的‘先进AI’和‘高影响力AI’的判定标准，并为企业构建相应的指南。”他还表示：“将扮演类似‘夏尔巴向导（Sherpa）’的角色，帮助企业跨越开展全球AI服务所需的准入门槛。”