用物理定律理解并实现“舞步” KAIST开发3D生成式AI

by Jeong Ilwoong

Published 22 Oct.2025 08:45(KST)

一项能够理解并真实描绘舞蹈时衣物摇摆所产生的散乱与褶皱的人工智能（AI）技术已经被开发出来。

这种方式并非只是“看上去像那么回事”，而是通过学习物理法则，在捕捉和理解与现实相同的运动后再进行描写。由于有望提升电影、元宇宙、游戏虚拟形象等的沉浸感和真实感，预计今后可应用于沉浸式媒体产业。

KAIST（韩国科学技术院）表示，电算学部 Kim Taegyun 教授研究团队开发出了空间与物理相结合的生成式AI模型“MPMAvatar”，并于22日对外公布。

（自左起）博士课程生 Lee Jihyun、教授 Kim Taegyun、硕士课程生 Lee Changmin。KAIST 提供

为解决二维技术存在的问题，研究团队采用高斯喷溅（Gaussian Splatting）技术，将多视角视频重建为三维空间，再与物理仿真方法——物质点法（Material Point Method，MPM）相结合，以全新方式开发了MPMAvatar模型。

其核心在于，将从多个角度拍摄的视频立体重建，使人工智能能够理解其中物体如同现实一般运动和相互作用的过程。在这一过程中，MPMAvatar模型会计算物体在材质、形态和外力作用下的运动，并将结果与真实视频进行比较后，依据物理法则再现，从而完成学习。

研究团队还成功地将三维空间以点（Point）为单位进行表达，并在每个点上同时应用高斯与MPM，从而同时实现物理上自然的运动和逼真的视频渲染。通过将三维空间切分为无数微小点，使每个点都像真实物体一样运动和变形，从而生成与现实毫无违和感的自然画面。

尤其是在本次研究中，为了精细表达类似衣物这类薄而复杂物体之间的相互作用，采用了同时计算物体表面（Mesh）与粒子级结构（Point），并在三维空间中按照物理法则计算物体运动与变形的物质点法（Material Point Method，MPM）技术。

此外，为了真实再现衣物或物体在运动中互相碰撞的场景，研究团队开发并应用了新的碰撞处理（collision handling）技术，使MPMAvatar模型能够逼真再现穿着宽松衣物的人的动作和交互，并成功实现了对既有数据（经验）中不存在情况的自主推理与处理，从而生成“零样本（Zero-shot）”结果。

由于所提出的方法能够表现刚体、可变形物体、流体等多种物理特性，预计不仅可用于虚拟形象，还可用于一般复杂场景的生成。