虚拟背景、虚拟形象到灯光实时合成的“虚拟制作”
从视频压缩到生成式内容…由AI加持的下一代媒体技术
可将博客文章自动转换为短视频的技术将在年内推出
“这里是博物馆，而在我身旁……有一位宇航员。”
16日，在Naver大楼内部的“Vision Stage”上见到的这一幕是真实场景。以文艺复兴风格的博物馆大厅为背景，身为沉浸式媒体平台负责人的Kim Seongho与一名身穿宇航服的人物并肩站立打招呼。舞台上实际上只有Kim一人，但屏幕中却出现了一位动作逼真的宇航员角色。
在Naver虚拟制作工作室“Vision Stage”中，利用生成式人工智能和实时动作捕捉技术实现的与虚拟宇航员互动演示现场。左侧为Naver沉浸式媒体平台负责人 Kim Seongho。照片由记者 Park Yujin 提供
View original image这名宇航员的真实身份是什么？“从刚才开始大家一直看到的那位宇航员，其实是我们的Naver同事。我们将其实时动捕的动作映射到虚拟空间中。”舞台被称为“Vision Stage”，旁边空间是用于动作捕捉的“Motion Stage”，两块空间实时联动，完成一场虚拟表演。看上去像科幻电影中的技术，但这一切都是通过实时进行的虚拟制片完成的。
在当天举行的Naver“沉浸式媒体平台”技术论坛上，Naver集中展示了融合媒体人工智能、扩展现实（XR）演播室和虚拟流媒体技术的实感技术。这一被命名为“Vision Tech Triangle”的技术架构，从视频识别与生成技术，到基于虚拟演播室的内容制作基础设施，全部囊括其中。Naver正通过这一布局强化其在自家内容生态中的主导权。
Vision Stage和Motion Stage作为可实现电影、电视剧级内容制作的虚拟制片基础设施备受关注。通过将生成式人工智能、3D虚拟形象和动作捕捉技术相结合，打造出一个可以自由穿梭现实与虚拟的内容制作环境。Kim负责人表示：“即便现实空间中一个人都没有，基于人工智能的虚拟背景与角色也能实时互动完成内容制作”，“从舞蹈挑战到直播电商，各种类型都可以在这里制作。”
尤其是，这一演播室利用生成式人工智能，在短时间内即可实现品牌或艺人所需的背景效果，并且在实时直播过程中也能随时切换背景，这是其一大优势。灯光也会根据背景颜色实时自动调节。众多虚拟主播在这一空间拍摄实际表演，10人以上的协作内容制作也在这里实现。
当天Naver还表示，从技术高度化角度出发，将于下半年推出一项名为“AutoClipAi”的服务，能够把以文本为主的博客内容自动生成短视频（短片）。该服务通过多模态大型语言模型，对博客内容进行摘要，再自动合成与之匹配的语音、背景音乐和画面效果，生成时长约3分钟的短视频剪辑。Naver称，这是“让原本以文本为强项的平台扩展到以视频为中心生态的核心技术”。
视频压缩效率也得到增强。去年引入的“AIEncode”在保持视频画质的同时，最多可将传输码率负担降低30%。这一技术有助于提升实时流媒体的稳定性，码率降低后，用户可以在更快速的媒体环境中观看视频。
面向全球市场的直播推流应用“PRISM Live Studio”也颇为抢眼。根据Naver方面介绍，该应用累计直播推流达260万次，每日平均约产生12万场直播，下载量中有90%以上来自海外。应用采用自研技术，可根据实时网络状况自动调节视频质量，并具备基于人工智能的脚本与章节制作功能，这是其主要差异化优势。Naver将其定位为技术测试平台兼工具型商业模式。
Naver今后还将公开XR内容平台。该平台基于安卓系统，支持增强现实（AR）、虚拟现实（VR）、混合现实（MR）内容；在Vision Stage制作的内容，未来也可在虚拟现实环境中以立体方式体验。Kim负责人表示：“我们正顺应虚拟与混合现实大众化趋势，专注开发基于XR的媒体技术”，“通过提升人工智能创作技术水平，为用户提供跨越线上与线下的生动媒体体验。”
版权所有 © 阿视亚经济 (www.asiae.co.kr)。 未经许可不得转载。
