开发出可同时提升低质量视频分辨率和帧率的AI模型

可应用于实时流媒体、医疗、监控视频修复,被CVPR录用

一种能够将模糊、卡顿的视频清晰、流畅地复原的人工智能模型已经被开发出来。


UNIST人工智能大学院Yu Jaejun教授团队于24日表示,已开发出一款可同时提升视频分辨率和帧数的人工智能模型“BF-STVSR(Bidirectional Flow-based Spatio-Temporal Video Super-Resolution,基于双向流的时空视频超分辨率)”。

研究团队,(自左起)教授 Yoo Jaejun,研究员 Kim Eunjin(第一作者),研究员 Kim Hyunjin。UNIST 提供

研究团队,(自左起)教授 Yoo Jaejun,研究员 Kim Eunjin(第一作者),研究员 Kim Hyunjin。UNIST 提供

View original image

分辨率和帧数是决定视频画质的关键要素。分辨率越高,画面越清晰、细节越鲜明;帧数越多,视频中的运动就越不会出现卡顿,而是更加流畅。


既有的人工智能视频复原技术通常将分辨率和帧数分开处理,并在帧数增强方面依赖预先训练好的光流预测网络。光流是通过计算物体的运动方向和速度来生成中间画面的一种方法,其运算复杂且易累积误差,在视频复原速度和画质方面存在局限。


相比之下,“BF-STVSR”引入了适配视频特性的信号处理方法,在不依赖外部光流预测网络的情况下,自主学习帧与帧之间的双向运动。


在这一运动信息的基础上,同时推理物体轮廓等内容,从而可以同步提升分辨率和帧数。


将该人工智能模型应用于低分辨率、低帧率视频后,在峰值信噪比(PSNR)、结构相似性指数(SSIM)等画质指标上,表现均优于现有模型。PSNR和SSIM数值越高,意味着即使在运动较多的视频中,人物外形也不会破碎或失真,而是能够自然地被复原。

C-STVSR 方法的视频复原结果。可以看出,所开发的人工智能模型(各测试画面下方)相比现有模型能够更清晰地复原视频。

C-STVSR 方法的视频复原结果。可以看出,所开发的人工智能模型(各测试画面下方)相比现有模型能够更清晰地复原视频。

View original image

Yu Jaejun教授表示:“这一技术不仅可以快速高质量地复原用低配置设备拍摄的闭路电视(CCTV)或行车记录仪视频,还能对为降低传输带宽而被压缩的流媒体视频进行快速高质量复原,因此有望在媒体内容制作、医学影像分析、虚拟现实(VR)技术等领域得到全方位应用。”


本次研究由研究员Kim Eunjin担任第一作者,研究员Kim Hyunjin作为共同作者参与,已被计算机视觉领域权威学术会议——2025年计算机视觉与模式识别会议(Conference on Computer Vision and Pattern Recognition,CVPR 2025)录用。2025 CVPR于今年6月11日至15日在美国纳什维尔举行,全球共提交论文1万3008篇,其中仅有2878篇被录用,占比22.1%。


本研究在科学技术信息通信部所属韩国研究财团、信息通信规划评价院以及UNIST超级计算中心的支持下完成。





本报道由人工智能(AI)翻译技术生成。

版权所有 © 阿视亚经济 (www.asiae.co.kr)。 未经许可不得转载。

不容错过的热点