真假界限被打破的深度伪造：用1分钟语音数据就能生成

# 住在首尔的20多岁上班族A某，上周看到一个陌生KakaoTalk账号发来的照片时大吃一惊。对方把她上传到Instagram和KakaoTalk上的个人头像，与女爱豆暴露照片合成后发给了她。一开始只是发送合成照，随后却升级为威胁，称要将这些照片散布给她在社交媒体上的熟人，并要求她汇款300美元。

# 大学生B某听说这份电话咨询工作时薪比别处高，就开始做起了电话客服。结果事后才发现，自己的声音被篡改成咨询对象熟人的声音，用于实施诈骗。B某一夜之间成了深度伪造语音诈骗的加害者，面临警方调查。

以Taylor Swift深度伪造视频为代表的冲击，正扩散到普通人身上。利用人工智能（AI）的图像、语音合成技术“深度伪造”愈发高明，受害规模也随之扩大。信息技术企业为防止深度伪造受害，已着手开发标记与检测技术。

据广播通信审议委员会7日消息，自去年1月至11月，在国内要求对深度伪造色情虚假视频实施屏蔽和删除整改的案例共计5996件，远超2022年全年3574件。更早的2020年仅有473件，2021年增至1913件。在各类网络社区中，很容易就能找到诉说深度伪造受害经历的帖子。

View original image

深度伪造自生成式AI出现后急剧扩散，因为普通人也能轻易制作深度伪造语音或视频。过去必须让AI学习海量数据才能生成深度伪造，如今已不再需要。随着用少量数据训练AI的方法发展，只需几张照片或1分钟的语音数据，就能生成以假乱真的深度伪造内容，质量也大幅提升。此前仔细观察还能通过手部形状不自然、脸部轮廓模糊等破绽加以辨别，如今却越来越难以分辨。

技术发展也带动相关市场扩大。从简单进行照片合成，到能根据语音自然调整口型的应用程序陆续出现。在Google和Apple应用商店中搜索“deepfake”，相关应用比比皆是。全球用户超过1亿的“Reface”应用，只要每周支付6500韩元，就能制作不带水印的深度伪造图像。用户上传特定人物的照片以及希望与之合成的其他照片或视频，应用就会将脸部替换上去。

提供生成式AI服务的韩国企业也开始应对。科学技术信息通信部在AI生成内容强制加注水印标识之前，已向业界发出自律应对的建议。Naver和Kakao正在研究AI内容识别技术等，防止自家生成式AI被用于大量生产深度伪造内容。Kakao正考虑在Kakao Brain的图像生成模型“CALLO”中引入不可见水印。不可见水印是在像素（点）层面留下的极细微痕迹，肉眼难以察觉，又难以被删除或编辑，被视为能够防止深度伪造的一项技术。Naver则在研究向AI生成物中植入类似公认认证书的加密算法等多种技术。Naver Cloud AI创新中心负责人Ha Jungwoo表示：“业界已经形成共识，认为有必要在AI生成物上添加水印等标识”，“我们也在考虑标识被擦除或破坏的可能性，提前做技术准备”。

深度伪造检测技术也在不断进化。AI初创企业DeepBrain AI最近推出了利用AI的检测解决方案，通过让AI模型同时学习原始数据和深度伪造数据，从而区分二者。比如捕捉被篡改数据中语音间夹杂的特定噪音，或在某些语尾音高低变化上存在差异等细微特征。

必读新闻

“月薪150万不如去美国年入5亿” 首尔大·KAIST人才纷纷收拾行囊 [科学家正在消失]①

• [快讯] Jungno委员长 Park Sugeun：“三星电子劳资部分意见已拉近”
• “还不如直接买股票”…挂名ETF，实则“半导体重仓”成短线游乐场
• “我深感一切责任”……Chung Yongjin 就星巴克“5·18争议”亲自道歉(更新)
• “无药可治却扩散加速”……已致105人死亡恐慌蔓延，美国人亦被感染

但现实是，想完全过滤愈发精巧的深度伪造技术并不容易。有人故意污染深度伪造图像，让检测更加困难，新型深度伪造技术也在不断出现。DeepBrain AI深度学习团队研究员Lee Yuhyun解释称：“由于对深度伪造的需求更大，资本和技术也更多地涌向这一领域”，“就像只学会加减法的AI无法理解乘法题一样，要检测全新的深度伪造技术非常困难”。

版权所有 © 阿视亚经济 (www.asiae.co.kr)。 未经许可不得转载。