在尽量降低功耗的同时，又能以超高速处理大规模语言模型（LLM）的人 工智能（AI）半导体核心技术，已由韩国本土研究团队全球首次开发成功。
科学技术信息通信部6日表示，韩国科学技术院（KAIST）PIM半导体研究中心与人工智能半导体研究生院Yu Hoejun教授研究团队，通过三星电子28纳米工艺开发出了“互补型Transformer”。
所谓互补型Transformer，是一种神经形态计算系统技术，通过有选择地使用“脉冲神经网络”（SNN，指大脑神经元利用随时间变化的脉冲信号来处理信息的方式）和“深度人工神经网络”（DNN，用于视觉数据处理的深度学习模型），来实现Transformer功能，其设计模仿了人脑的结构和功能。
Transformer是一种追踪句子中词语等数据内部关系，从而学习语境与含义的神经网络，也是ChatGPT的源头技术。
此前，与GPT类似的大规模语言模型必须依靠大量图形处理器（GPU）并消耗250瓦电力才能运行，而研究团队在一枚尺寸为4.5毫米×4.5毫米的小型AI半导体上，仅以400毫瓦的超低功耗就实现了超高速运算。
由Kim Sangyeob博士作为第一作者参与的本次研究成果，已于上月19日至23日在美国旧金山举行的被称为“半导体设计奥运会”的国际固态电路设计学会（ISSCC）上进行了发表和演示。
科学技术信息通信部表示，通过此次成果，不仅实际验证了实现超低功耗、高性能端侧（On-Device）AI的可能性，而且将此前停留在理论层面的研究内容，全球首次以AI半导体的形式加以实现。
研究团队介绍称，此次开发的AI半导体用硬件单元具有四大特点：▲ 采用融合DNN和SNN的神经网络架构，在保持精度的同时将运算能耗最优化；▲ 开发出可高效处理DNN和SNN的AI半导体一体化核心结构；▲ 开发出可降低SNN处理功耗的输出脉冲预测单元；▲ 采用有利于高效压缩LLM参数的技术等。
GPT-2大规模模型的参数量从7亿800万个减少到1亿9100万个，用于翻译的T5模型参数则从4亿200万个减少到7600万个。
Yu Hoejun教授表示：“我们自信地认为，利用超低功耗神经形态加速器运行大规模模型，是全球首次实现”，并称“作为端侧AI的核心技术，今后也将持续推进相关研究”。
版权所有 © 阿视亚经济 (www.asiae.co.kr)。 未经许可不得转载。
