泰勒·斯威夫特深度伪造风波，源自社区成员的“鲁莽挑战”

by Koo Nari

Published 06 Feb.2024 14:17(KST)

Updated 15 Jul.2024 13:33(KST)

open/close

“AI图像生成公司监管失效”的动机
“受害者难以获得法律援助”

在全球流行歌手Taylor Swift的形象被恶意合成制作成所谓“淫秽深度伪造（基于人工智能技术生成的虚假图像）”并引发一轮争议之际，有分析指出，这些深度伪造图像最初是美国某有害线上社区的会员以“挑战”活动的形式发起的。

“淫秽深度伪造”源自美国A社区——该社区以分享种族歧视、性别歧视内容而闻名

世界级流行歌手Taylor Swift。AFP 联合新闻供图

当地时间5日，《纽约时报》（NYT）援引虚假信息研究公司Graphika的调查称，Graphika在一个有害线上社区A社区内追踪Swift相关深度伪造图像后，得出了上述暂时结论。A社区因分享仇恨言论、阴谋论以及利用人工智能（AI）生成的种族歧视和攻击性内容而臭名昭著。去年，美国情报机构针对韩国等盟国的窃听活动等敏感内容的大量美国机密文件在网上扩散时，该社区也曾被指为主要扩散渠道之一。

Graphika表示，该社区内部曾多次尝试绕过OpenAI的“DALL·E”、微软的“Microsoft Designer”“Bing Image Creator”等图像生成人工智能所设定的安全防护机制。用户在论坛上收到“分享寻找绕过过滤器新方法的提示和技巧”的指示，还有人对他们说“祝你好运，发挥创造力”。A社区用户把测试能否用人工智能生成出现实中知名女性的淫秽图像，当作一种“游戏”“挑战”来进行，从而生成了深度伪造内容。A社区目前并没有禁止人工智能生成的露骨性图像的规则。

在“挑战”人工智能图像生成工具保护装置的心态和用户的赞美声中不断扩散

此后，Swift的深度伪造图像于1月6日首次出现在A社区。成功绕过监管的人获得了大量称赞。随后，社区内出现了要求分享用于生成图像的提示词（命令语言）的帖子。11天后，这些图像出现在Telegram上，从第二天起又通过X（X，原推特）被进一步传播。为阻止图像扩散，X自上月27日起禁止在平台上搜索“Taylor Swift”或“Taylor Swift AI”等关键词，并删除深度伪造图像。针对姓名的搜索限制措施已于29日解除。

Graphika首席研究员Christina Lopez表示：“这些图像源自一个聚集了因‘挑战’绕过人工智能产品安全装置而获得动力的人的社区，在这里，新的监管被视为必须征服的又一道障碍。”她同时强调：“Swift并不是唯一的受害者。”这意味着，A社区中还存在大量以演员、歌手、政治人物等为对象的深度伪造图像。

有外媒指出：“利用软件生成的虚假色情内容至少从2017年起就已成为问题，给不情愿卷入其中的名人、政府官员、Twitch主播、学生等带来了冲击。”并批评称：“在监管松散的情况下，几乎没有受害者能够通过法律途径获得帮助，像Swift这样拥有足以对抗假图像的强大粉丝群体的人也极为少见。”