“能动型人工智能”正崛起为组织行为主体
基于DID的人工智能身份管理技术加速扩展
瞄准“人工智能身份”安全市场
“我指示人工智能阻止邮件信息外泄。没过多久，邮件服务器的设置就被整块删除了。”
近期，美国哈佛大学、麻省理工学院和斯坦福大学等研究团队提出，当所谓的“人工智能助手”被委托处理公司业务时，可能会出现新的安全风险。研究实际发现，人工智能会做出与指令意图不符的行为，或擅自操纵超出权限范围的系统，并在遭到外部攻击诱导时泄露内部信息。
据相关业界19日消息，管理人工智能权限的技术，正在迅速成为全球产业界和政策当局共同关注的焦点。随着在无人类具体指示下自行判断并执行任务的“能动型人工智能（Agentic AI）”开始全面扩散，对其进行管控的体系需求也同步增强。
与美国大学研究类似的案例，正在全球各地被陆续报道。在阿里巴巴人工智能研究团队的实验中，人工智能被发现擅自使用分配到的图形处理器（GPU）资源进行虚拟资产挖矿，并自行绕过防火墙。也就是说，人工智能在未接到指令的情况下，自主执行了相关行为。
在实际商用服务中也已拉响警报。在Microsoft 365 Copilot中发现的“EchoLeak”漏洞，被证实为一种无需用户操作、人工智能即可将敏感信息外泄的“零点击”方式。这一案例表明，在人工智能直接处理组织内部系统和数据的环境下，有必要建立管理人工智能自身身份与权限的体系。
尤其在企业环境中，能动型人工智能正开始被视为执行实际业务的“组织行为主体”，而不仅仅是简单工具。由于其能够按照既定流程连续完成邮件发送、系统查询、外部服务调用等多种任务，如何管理人工智能“以谁的权限”“在多大范围内”开展行动的技术，正成为新的安全领域。
在韩国国内，RaonSecure加快开发管理能动型人工智能身份与权限的“AAM（Agentic AI Management）”技术，抢先布局人工智能身份管理市场。AAM为能动型人工智能赋予可追踪的身份标识（ID），并根据角色委派相应权限，从而对其所有行为进行追踪与管控，是一套面向人工智能的专用身份管理体系。
其核心在于，当人工智能访问企业系统或调用外部服务时，将其严格限制在预先授予的权限范围内运作。该结构以认证为基础管理所有访问组织系统的人工智能行为，因而在人工智能身份管理领域被视为新的安全模型。
RaonSecure的优势在于，可将已在人群中得到验证的数字身份认证技术扩展至人工智能领域。该公司此前参与了移动居民身份证、移动驾驶证等国家数字身份证基础设施建设，持续提供分布式身份认证（DID）技术。如今，其战略是像向人发放身份证那样，向能动型人工智能赋予唯一的数字身份证，并以此为基础，对权限和行为范围实施管控。
有分析认为，随着人工智能在越来越多的环境中像组织成员一样执行工作，“人工智能身份（人工智能身分）”管理体系正崛起为新的安全市场。
市场规模也被看好将快速增长。根据市场调研机构MarketsandMarkets的数据，非人类身份访问管理市场规模预计将从今年的106.5亿美元（约合16万亿韩元）增长到2030年的187.1亿美元（约合28万亿韩元）。有观点认为，人工智能驱动的自动化系统越深入企业运营，相应的身份管理市场也将同步扩大。
在海外，大型科技企业和政策机构也在共享类似的问题意识。Microsoft将人工智能界定为独立的“非人类身份”，并构建了赋予唯一身份、权限管控和活动追踪的体系。
也就是说，已开始将能动型人工智能视为独立行为主体加以管理。美国国家标准与技术研究院（NIST）今年2月启动了为人工智能身份、认证与安全制定联邦层面标准的工作。围绕当人工智能实施超越权限的行为时如何界定责任主体、以及如何即时切断其访问权限等核心课题，正展开讨论。
韩国政府同样将这一趋势纳入关注范围。近期，个人信息保护委员会以“能动型人工智能”技术为主题召开了午餐研讨会（Brown Bag Meeting），并表示已检查了相关技术结构及个人信息保护风险因素。尤其是将在多项服务相互连接的过程中，重点梳理“权限扩大”（权限可能超出预期扩张）、通过恶意输入导致敏感信息外泄的“提示注入（Prompt Injection）”、以及敏感信息在内存中累积的可能性等问题。
安全业界认为，未来随着机器人、无人机、自动驾驶汽车等“物理人工智能（Physical AI）”的普及，对这些系统的认证与权限管理重要性将进一步提升。
一位业界人士表示：“在企业环境中，必须把人、人工智能、机器人以及自动化系统全部作为统一的行为主体来管理的时代已经到来。最终，在人工智能时代，能够掌握安全可控、实现安全自动化技术的企业，而不仅仅是拥有高性能模型的企业，才会获得市场主导权。”
版权所有 © 阿视亚经济 (www.asiae.co.kr)。 未经许可不得转载。
