SK Shieldus：“AI也会被黑”……发布LLM漏洞诊断指南

by Kim Chulhyun

Published 08 Jan.2025 08:59(KST)

支持构建安全的人工智能系统

SK Shieldus表示，为了主动应对人工智能（AI）安全威胁，已于8日发布《LLM（大规模语言模型）应用程序漏洞诊断指南》。

基于LLM的应用程序利用专门用于自然语言处理和生成的大规模语言模型，正被广泛应用于金融、制造、医疗健康等各类行业。但由于此类应用在数据及用户输入处理方式上具有独特特性，相较于传统信息技术系统更易暴露于不同类型的安全威胁，因此需要进行周密防范。

SK Shieldus将基于AI的黑客攻击增多列为2025年的主要安全威胁之一，尤其是针对小规模语言模型（sLLM）的黑客攻击，以及利用LLM结构性漏洞实施的数据篡改与泄露攻击将会加剧。根据报告，典型的安全威胁包括“提示注入”“应用程序编程接口（API）参数篡改”“RAG（检索增强生成）数据污染”等。

本次指南强调，为预防此类安全威胁，应将用户输入与系统指令（提示）进行分离，并强化数据校验流程。此外，应根据LLM是否具备代码执行能力，利用沙箱阻断恶意代码执行，并通过构建分组权限管理体系，阻止未经授权的数据访问。指南还补充指出，尤其需要引入多层次安全体系，以防止数据污染和权限提升攻击。