韩国国内开发出一种可以通过分析时间连续性,将受损视频清晰复原的人工智能(AI)技术。


KAIST表示,生物及脑工学系Jang Mooseok教授团队与Kim Jaechul AI研究生院Ye Jongchul教授团队通过联合研究,世界首次开发出能够复原运动散射介质背后隐藏视频的“基于视频扩散的图像复原技术”,并于31日对外公布。


(从左起)Yeh Jongcheol 教授、Kwon Taeseong 博士研究生、Song Gukho 博士研究生、Jang Museok 教授。KAIST 提供

(从左起)Yeh Jongcheol 教授、Kwon Taeseong 博士研究生、Song Gukho 博士研究生、Jang Museok 教授。KAIST 提供

View original image

所谓散射介质,是指雾气、烟雾、不透明玻璃、皮肤组织等会无序扰乱光的传播路径、从而扭曲视觉信息的物质。


此次开发的技术利用时间轴信息的一致性,可以通过扩散模型将模糊或受损的视频重新还原。


联合研究团队为克服既有AI复原技术只能在训练数据范围内发挥性能的局限,采用了将光学模型与视频扩散模型相结合的新型复原方式。


利用这一技术,即便在雾气弥漫的道路上打开汽车前灯视野仍然模糊,或透过布满水汽的浴室玻璃看到的景象发生畸变等光线被严重散射的环境中,也能将视频清晰地复原为原本的形状。


特别是即使散射环境会随时间变化,研究团队也通过引入学习了连续视频时间相关性的扩散模型,实现了稳定的视频复原,并在不同距离、厚度和噪声条件下,获得了优于现有最高性能复原模型的图像复原结果。


此外,团队还引入了一种最优化方法,即便无需额外训练,也能自适应地执行视频去雾、提升画质(生成高分辨率帧)、盲去模糊(将模糊视频清晰化)等处理来实现视频复原,由此为“基于视频扩散的图像复原技术”向通用复原框架扩展打开了可能性。


光学测量构成示意图及损伤图像复原结果。KAIST提供

光学测量构成示意图及损伤图像复原结果。KAIST提供

View original image

联合研究团队认为,一旦扩展为通用复原框架,该技术有望在日常生活和整个产业界得到广泛应用,包括无创医疗诊断(观测血液和皮肤内部)、火灾现场烟雾中的人员救援、利用墙面反射光进行成像的非视线成像、雾天道路安全驾驶辅助、不透明玻璃或塑料内部的工业检测等。


KAIST博士课程研究生Kwon Taeseong表示:“本次研究证实,学习了时间相关性的扩散模型在解决‘运动散射介质背后不可见数据’复原这一光学反问题上十分有效。今后,我们计划将研究领域扩展到不仅包括去雾、画质提升、盲去模糊,还包括所有需要逆向追踪光的时间变化的各类光学反问题。”



另外,本次研究中,KAIST生物及脑工学系博士课程研究生Kwon Taeseong与Song Gukho作为共同第一作者参与。研究成果近期也发表于人工智能学术期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI)》。


本报道由人工智能(AI)翻译技术生成。

版权所有 © 阿视亚经济 (www.asiae.co.kr)。 未经许可不得转载。