朝鲜大学于15日表示，该校人工智能软件学部教授 Kim Hyeonil 研究团队发现了存在于我们日常使用的智能手机键盘、语音助手、聊天机器人等中所应用的联邦学习（Federated Learning）人工智能中的一种新的安全弱点。
本次研究由朝鲜大学 Kim Hyeonil 教授（通信作者）和硕士研究生 Choi Minyeong（第一作者）作为核心研究人员参与，他们成功实现了一种能够在绕过现有全部安全技术的同时，长期潜伏且难以清除的后门（非法操控）攻击。
“联邦学习”是一种为了保护个人信息而采用的技术，由用户的智能手机在本地自行训练人工智能，仅将训练结果发送至服务器。研究团队在对人工智能内部结构进行细致分析后确认，在特定部分存在“攻击极易潜入的薄弱环节”。
研究特别揭示，在 GPT-2 和 T5 等人工智能模型中的某些特定层具有一种结构，使得从外部注入的攻击信号能够长期保持。由于 GPT-2 是 OpenAI ChatGPT 的前身，并且采用相同的 Transformer 架构，因此这一漏洞在当前商用模型中也具有极高的威胁性。
研究团队提出的新型攻击方式 SDBA 精准瞄准这些薄弱环节，在伪装成正常更新的同时，将攻击指令隐蔽地植入人工智能内部。实验结果显示，与既有攻击方式相比，SDBA 的持续时间延长了约 2～3 倍，在部分人工智能模型中，攻击效果最长可持续到 565 轮迭代，展现出极强的持久性。
这意味着，在真实服务环境中，可以诱导系统仅在特定句子或特定条件下输出异常回答，即出现“条件式异常行为”。考虑到智能手机键盘、语音助手、聊天机器人等基于联邦学习的服务已被广泛使用，用户在完全察觉不到遭受攻击的情况下，可能长期暴露在被篡改的信息之中，风险不容小觑。
研究团队指出，尤其是连服务提供方本身也难以分辨该攻击与正常更新之间的差异，这表明上述漏洞暴露出现有安全体系的局限性，并可能演变为更大的安全威胁。
Kim Hyeonil 教授强调：“本次研究是一个非常重要的成果，揭示了基于联邦学习的人工智能在何种结构上容易受到攻击。人工智能安全工作如今已不再只是阻止攻击本身，而是进入了必须理解并保护人工智能内部结构本身的新阶段。”
版权所有 © 阿视亚经济 (www.asiae.co.kr)。 未经许可不得转载。
