“OpenAI GPT-5 开发延迟”……AI 开发速度放缓成现实？（综合）

by Byun Seonjin

Published 23 Dec.2024 09:13(KST)

《华尔街日报》：因数据受限 GPT-5 开发推迟
市场担忧的 AI 开发放缓成为现实

据报道，开发ChatGPT的OpenAI，其下一代人工智能（AI）模型GPT-5因为数据瓶颈而无限期推迟。业界评价认为，由于今后在AI模型学习与推理中起核心作用的数据日益短缺，科技企业的AI技术开发速度将开始明显放缓。

GPT-5究竟何时发布？——“开发困难重重”

路透社联合新闻提供

《华尔街日报》（The Wall Street Journal）22日（当地时间）援引多名消息人士报道称，OpenAI代号为“Orion”的下一代AI模型GPT-5，尽管投入了巨额开发成本，但开发进度却远远落后于原定计划。

据悉，OpenAI在去年3月发布GPT-4后，立即着手开发GPT-5。OpenAI最大投资方微软（Microsoft）原本预计该模型将在今年年中问世。然而，在至少两次使用海量数据进行大规模训练的过程中，每次都会出现新的问题，导致始终未能获得预期结果。

《华尔街日报》评价称：“新模型的性能虽然优于现有的GPT-4，但其提升幅度不足以证明投入的巨额成本是合理的。”据业界估算，如此规模的AI大模型训练，仅计算成本在6个月内就可能高达约5亿美元（约7200亿韩元）。

OpenAI首席执行官（CEO）Sam Altman于本月20日发布了高级推理AI模型“o3”，但并未提及何时会推出可被称为GPT-5的新一代旗舰模型。《华尔街日报》预测称：“GPT-5不仅将能处理机票预订等人类日常事务，还将有望开启新的科学发现之门。”一位前OpenAI高管则表示，如果说GPT-4的水平相当于聪明的高中生，那么GPT-5在部分任务上的表现将达到拥有博士学位的水准。

不过，迄今为止开发延迟的最大难题在于：缺乏足够的数据来支撑更高层次的智能训练。此前的模型中，OpenAI主要使用从互联网收集的新闻报道、社交媒体帖子、科学论文等数据来训练AI，但现在这些数据已被认为不够用了。

为此，OpenAI决定自行生成数据。公司为此雇用软件工程师和数学家，让他们编写新的软件代码或解答复杂的数学问题，再让AI对这些内容进行学习。

然而，这一方式的致命缺点在于效率极其低下。《华尔街日报》补充称：“GPT-4是通过大约13万亿个标记（即GPT模型的基本输入单元）进行训练的。（更不用说为了开发GPT-5）即便有1000个人每天写5000个单词，仅仅生成10亿个标记就需要花费数个月时间。”

与此同时，竞争对手正以数百万美元的高薪不断试图挖走OpenAI的顶尖研究人员。仅今年一年，包括OpenAI联合创始人Ilya Sutskever在内，已有20多人离开OpenAI。《华尔街日报》指出：“在此期间，竞争公司已推出了可与OpenAI的GPT-4相媲美的AI产品”，并举例提到Anthropic的Claude 3以及谷歌的NotebookLM。

AI开发速度放缓正在成为现实？

连生成式AI的领跑者OpenAI在开发AI模型时都遭遇瓶颈，舆论担忧，AI模型性能提升是否将正式进入停滞期。

OpenAI前联合创始人Ilya Sutskever在本月13日的一场演讲中指出：“计算机算力在不断提升，但数据量却没有增加，因为互联网只有一个。”他将AI模型学习与训练所需的数据比作有限资源的化石燃料，并预测称：“我们目前所知的（生成式AI模型）预训练终将因资源耗尽而结束。”谷歌首席执行官Sundar Pichai也在本月4日《纽约时报》（The New York Times）主办的DealBook峰会上就此表示，“容易采摘的果实已经全部被摘完”，强调AI技术开发速度正在放缓。