4by4与乐天购物频道签署虚拟人逼真化项目合同

Published 06 Jul.2023 08:57(KST)

视觉科技解决方案企业4by4于6日表示，已与乐天购物频道签署合同，推进基于像素AI的虚拟人（虚拟人类）逼真化项目。这是自2021年以来与乐天购物频道共同制作、运营的虚拟人“露西（Lucy）”在此基础上，使其进化得更加精细、自然的计划之一环。

露西通过将数万张数据由深度学习人工智能进行学习，再以计算机图形方式进行精细合成而实现。她通过与粉丝互动，实时进行直播电商节目等，积极展开活动。

作为“打造100%自动化露西”的第一阶段，双方决定开发让露西拥有自然声音以及与说话内容相匹配的表情合成与转换解决方案。本项目由负责研究开发4by4自研视频画质提升AI解决方案“Pixel（Pixell）”的Pixel事业部门承担。

Pixel事业部门将基于在开发和高度化视频增强AI Pixel过程中积累的经验，开发并应用能够将与声音和话语相匹配的表情自然合成和转换的AI解决方案。通过利用现有的视频画质提升AI，有望更加精细地表现和改进虚拟人在发声瞬间最容易让人感到违和的“口型同步（Sync）”以及“与词语不相符的表情”等问题。

完成露西的语音解决方案开发后，将能够实现“输入文字让其开口说话的方式（文字转语音，TTS）”以及“把实时听到的语音转换成露西声音的方式”等功能。预计无论在何种情境下，都可以始终如一地保持露西的声音身份特征。

项目还计划扩展到无需替身模特就能实现“身体动作”的阶段。只要事先以动作捕捉方式拍摄大量露西的动作，并让AI学习这些动作，就可以将其程序化，使其在任何情境下都能做出相应的动作。

虚拟人逼真化项目的最终目标，是搭载基于ChatGPT的对话引擎，打造能够与人类进行自然对话的“对话型虚拟人”。

4by4首席执行官Yoon Junho强调称：“要在行业内证明价值，每一个虚拟人都必须拥有其独创的内容。”