基于340亿参数模型在Hugging Face开源
自主研发A.X 3.1两款、大规模训练A.X 4.0两款
SK电信24日表示,公司将把以自主技术开发的大规模语言模型(LLM)向开源社区公开,并已报名参加科学技术信息通信部的“自主人工智能(AI)基础模型开发项目”。近期,SK电信与Naver、LG人工智能研究院、KT等一起,作为政府招募的共15个财团之一提交了申请。
SK电信当日通过开源平台“Hugging Face”公开了拥有340亿参数(34B)的“A.X 3.1”模型。该模型从最初设计到训练全部由公司独立完成,采用“从零开始(From Scratch)”方式构建。A.X 3.1通过提升代码与数学能力,扩大了向推理型模型扩展的可能性;在规模不足既有A.X 4.0(72B)模型一半的情况下,在主要韩语基准测试中的性能约达到其90%。
至此,SK电信已将自主开发的A.X 3.1(标准型与轻量型)和A.X 4.0(基于大规模预训练的标准型与轻量型)共4个模型以开源形式公开。不仅可用于学术研究,也可用于商业应用。
SK电信以从半导体、模型、数据到服务全链条覆盖的“全栈AI(Full-stack AI)”战略参与此次政府项目。财团中包括Krafton、Forty Two Dot、Rebellions、Riiid、Select Star等构成人工智能价值链的代表性企业,以及首尔大学和KAIST研究团队。另有SK海力士、SK创新、SK宽带等集团公司,以及Moloco、Siemens、Gauss Labs、Scatter Lab等K-AI联盟企业也提交了参与意向书。
SK电信计划通过该财团开发“代表大韩民国的自主AI模型”,并将其拓展为不仅能处理文本,还能处理图像、语音和视频的“全模态AI(Omni-modal AI)”。公司还将并行推进超越现有Transformer结构的创新型新架构研究,挑战为全球技术自立开发超大规模模型。
SK电信基础模型负责人Kim Taeyun表示:“将通过与各领域领军企业的合作,在主权AI时代创造新的成果”,并称“将提出兼顾国内AI生态的综合性创新模型”。
版权所有 © 阿视亚经济 (www.asiae.co.kr)。 未经许可不得转载。