[新闻人物]撰写生成式AI核心论文的研究员，为何在东京创办初创公司

by Jeong Hyunjin

Published 18 Aug.2023 08:44(KST)

Updated 18 Aug.2023 13:36(KST)

open/close

Lion Jones，2017年“Transformer”论文作者
“谷歌出现大型企业副作用……能感到官僚主义”
目标是用小型模型而非大型AI模型构建集群

一位曾在谷歌任职、撰写过为ChatGPT等生成式人工智能（AI）奠定基础论文的AI研究员，在日本东京创办了一家AI初创公司。他表示，自己在谷歌这样的巨型企业中因官僚主义等原因感到AI研究受到限制，因此将在新公司专注于研发小规模AI模型。

据美国消费者新闻与商业频道（CNBC）等媒体当地时间17日报道，前谷歌研究员Leon Jones与其昔日谷歌同事、近期在图像生成AI企业Stability AI担任首席研究负责人的David Ha共同创立了一家生成式AI公司“Sakana AI”。

在谷歌任职时期的研究员Leon Jones。X 图片提供

Jones创业者的动向备受关注，是因为他是2017年由谷歌深度学习AI研究团队8名研究员共同撰写的论文《Attention Is All You Need》的作者之一。这篇论文首次提出了作为生成式AI核心的神经网络模型“Transformer”，被评价为生成式AI的起点。GPT这一术语本身就是“Generative（生成式） Pre-trained（预训练） Transformer（Transformer）”的缩写，可见完全以Transformer为基础。

尤其是，他是这篇论文作者中最后一位仍留在谷歌的人。其他作者在他之前相继离职，大多创办了初创公司，还有部分加入了ChatGPT开发公司OpenAI。

Jones在接受CNBC采访时解释离职原因称，“（谷歌）存在大型企业的副作用”，“感觉官僚主义严重到仿佛什么都做不了”。他表示，自己在谷歌越是开发AI软件，就越会追问为什么系统不起作用、责任究竟在谁，这类问题反而干扰了研究。他还补充说：“我每天都在为获取资源和数据而耗费时间。”

Jones于2012年通过YouTube加入谷歌，在谷歌工作10余年后，最终在东京创办了这家初创公司。他表示，这家公司将与曾在谷歌东京分公司一同工作的创业者伙伴一起经营，与大企业关注的超大型AI系统不同，计划先从开发小型系统做起。公司名称“Sakana”在日语中意为“鱼”，寓意要像小鱼聚集成群，依靠简单规则展现一致运动那样来开发技术。

两人认为，目前大企业集中投入的大型AI模型，就像桥梁或建筑物那样一旦建成结构就难以更改，存在局限。他们判断，小规模模型通过结成“鱼群式”的集群，更能对变化做出敏锐反应并实现适应。Jones指出，“整个公司（谷歌）都在把所有精力押注在一种技术上”，在这种高度集中的有限体系中，创新难免受限。