“学习如何学习” KAIST找到类脑人工智能学习的“钥匙”

by Jeong Ilwoong

Published 23 Oct.2024 08:15(KST)

在人类获得外部感官信息之前，大脑就已经通过自发的随机活动开始学习。在无意识的流动中，大脑自行积累所需信息，从而实现针对不同情境的多样化学习。相反，人工智能是基于已存储的数据进行机械式学习，与大脑的学习模式有所区别。

这一点一直被视为模仿生物学大脑的人工智能开发中最大的难题之一（权重传输问题），也是一般人工神经网络在学习时，与生物学大脑不同，必须依赖大规模存储器和累积数据进行计算的根本原因。

通过人工神经网络理解大脑运作原理的研究示意插图。KAIST提供

KAIST表示，脑认知科学系Baek Seibeom教授研究团队已经解决了这一权重传输问题，阐明了在生物学大脑神经网络中实现资源高效学习的原理，并于23日对外公布。

过去数十年间，人工智能反复发展的过程，是以今年获得诺贝尔物理学奖的Geoffery Hinton提出的误差反向传播（error backpropagation）学习为基础实现的。

然而，人们一直认为误差反向传播学习在生物学大脑中是不可能实现的，因为为了计算用于学习的误差信号，必须假定单个神经元掌握下一层中所有连接信息，这一前提被视为不切实际。

这一被称为权重传输问题的难题，是在1986年Hinton提出误差反向传播学习之后，由因发现脱氧核糖核酸（DNA）结构而获得诺贝尔生理学或医学奖的Francis Crick提出的，用以区分自然神经网络与人工神经网络在运行原理上的根本差异。

此后，Hinton等研究者一直在人工智能与神经科学的交界处不断尝试，试图解决权重传输问题，构建能够实现大脑学习原理、在生物学上站得住脚的模型。

2016年，英国牛津大学与DeepMind联合研究团队首次提出，即便不使用权重传输，也可以实现误差反向传播学习的概念，因而备受学界关注。

但不进行权重传输、在生物学上合理的误差反向传播学习，存在学习速度缓慢、准确度不高等效率低下的问题，在现实应用上显示出局限性。

与此不同的是，Baek教授研究团队开发的技术，在类脑人工神经网络中预先学习随机信息，使其在接触真实数据时能够实现快速且准确的学习，在这一点上具有重要意义。

（自左起）脑认知科学系 Baek Se Beom 教授、Lee Sang Wan 教授、Cheon Jeong Hwan 硕士研究生。KAIST 提供

在开展研究之前，Baek教授研究团队注意到，生物学大脑在进行外部感官体验之前，就已经通过内部自发的随机神经活动开始学习。

此外，研究团队借鉴（模仿）这一点，在不进行权重传输、在生物学上合理的神经网络中预先学习无意义的随机信息（random noise），结果确认可以形成误差反向传播学习的必要条件——神经网络在前向与反向中神经元连接结构的对称性。通过随机的预学习，实现在无权重传输情况下的学习。

Baek教授研究团队还发现，在真实数据学习之前先学习随机信息，具有“学习如何学习”的元学习（meta learning）特性；并确认在预先学习了随机信息的神经网络接触真实数据时，能够以更快、更准确的方式进行学习，从而在无需权重传输的情况下提高学习效率。

研究团队期待，这一成果今后将成为基于大脑的人工智能及神经形态计算技术开发的突破口。

Baek教授表示：“本研究团队打破了既有机器（数据）学习的惯例，关注于在学习之前就营造适当条件的大脑神经科学原理，提出了新的视角。利用发育神经科学中获得的线索，不仅解决了人工神经网络学习中的重要问题，还通过人工神经网络模型对大脑的学习原理提出了新的洞见，这是本次研究的主要成果。”

另一方面，本研究在韩国研究财团理工领域基础研究项目、信息通信企划评价院人才培养项目以及KAIST奇点教授项目的支持下完成。

本研究由KAIST脑认知科学系硕士研究生Cheon Junghwan（第一作者）和教授Lee Sangwan（共同作者）参与。研究成果（论文）将于今年12月10日至15日在加拿大温哥华举行的人工智能学术会议“第38届神经信息处理大会”上发表。

本报道由人工智能(AI)翻译技术生成。