光州科学技术院(GIST)电气电子计算机工程系黄义锡教授研究团队于20日表示,团队开发出一种新的自适应采样技术,可解决在求解偏微分方程(PDE)的物理信息神经网络(PINN)训练中出现的不稳定性问题。
此次研究成果的特点是,在相比现有方法显著提高精度和稳定性的同时,降低了计算成本,有望广泛应用于各种科学与工程问题。
物理信息神经网络是一种将物理定律直接嵌入神经网络训练过程的下一代数值分析方法,相比有限差分法、有限元法等传统数值分析方法,能够降低数据采集成本并提升计算效率,因此备受关注。
然而,现有的基于残差(误差)的采样技术存在这样的问题:一旦在训练过程中偏微分方程的某些区间误差增大,训练就会过度集中在该部分,导致学习偏向。由此造成训练过程不稳定,且即便只对学习速度(学习率)做出微小调整,结果也会发生巨大变化。
为解决这一问题,研究团队提出了一种基于“朗之万动力学(Langevin dynamics, LD)”的新型“自适应采样框架(Langevin Adaptive Sampling, LAS)”。
“朗之万动力学”原本是物理学和统计力学中用来解释粒子随机运动(布朗运动)的数学模型,其特点在于,粒子的运动并非单纯的随机游走,而是能量地形与概率因素相结合的结果。
研究团队将这一原理应用于训练过程中,引导人工智能(AI)自动更频繁地探索误差较大或具有复杂边界条件的区域。也就是说,AI像进行随机漫步一样在多个区间中搜索,同时又更频繁地关注误差较大或更重要的部分,从而自动提升学习效率。
“自适应采样框架(LAS)”的核心在于,不再直接估计基于残差的概率分布,而是向残差变化方向(梯度)信息中注入噪声(一定的概率因素),以动态调节采样过程。通过这种方式,使AI相比于误差急剧变化的“尖锐”残差区域,更偏好“平缓(flat)”区域,从而大幅提高训练稳定性。
结果表明,即使在学习率或模型结构多样变化的情况下,LAS也能始终保持一致的性能,并且在高维偏微分方程问题上,相比既有方法展现出更稳定地收敛至最终解的表现。
研究团队通过多项实验验证了LAS的高性能。在波动、化学反应等一维偏微分方程问题中,LAS的误差远小于现有方法,且在训练过程中结果始终稳定收敛。在更为复杂的4~8维传热方程问题中,现有技术均因不稳定而难以完成有效学习,只有LAS能够稳定地找到解。
此外,即便在将神经网络结构设计得更加复杂或大幅提升学习速度的情况下,现有技术会变得不稳定,而LAS在更宽泛的条件下依然保持了稳定性和精确度。其计算效率也十分优异,在与现有方法相近的计算成本下,能够给出更快速、更精确的结果。
此次研究成果有望大幅拓展物理信息神经网络的应用范围。由于能够稳定再现复杂的多维物理现象,其在流体力学、传热、材料仿真以及交通、电力网络分析等多个工程领域都具有较高应用潜力。尤其是由于其相较传统数值分析方法具有更高的计算效率和数据利用率,预计也将有助于工业界降低仿真成本。
黄教授表示:“本研究提出了一种既能在复杂模型中实现稳定训练,又能降低计算成本的方法。制造与工艺、能源与发电、环境与气候等高维偏微分方程领域普遍需要接近真实值的精确计算结果,本方法有望在整个工业领域提供高可靠性的AI解法。”
本次研究由黄教授指导,博士课程研究生 Seo Gieop 与硕士毕业生 Jung Minseok 共同完成,并得到了韩国研究财团中坚研究者支援项目和基础研究室支援项目的资助。
研究结果被选为人工智能领域世界最高权威学术会议“NeurIPS(Conference on Neural Information Processing Systems)”中,位列全部投稿论文前约3.5%的“Spotlight”论文。该论文已于上月18日获准发表,并将于2025年12月2日至7日在美国圣迭戈举行的“NeurIPS 2025”大会上进行报告。
版权所有 © 阿视亚经济 (www.asiae.co.kr)。 未经许可不得转载。