奇绩大模型日报（4月 20-21日）

推特

Zuck在Dwarkesh的采访中谈AI：从现在开始，进展将是渐进式的

贡献人：

概要: AI寒冬已至。Zuck是一个现实主义者,他认为从现在开始,进展将是渐进式的。2025年前不会有通用人工智能(AGI)出现。​

1.
Zuck基本上是一个现实世界的增长悲观主义者。他认为能源的瓶颈很快就会出现,需要几十年才能解决。因此,AI的增长将受到现实世界限制的制约。​

"我实际上认为在我们达到那个目标之前,你会遇到能源限制。我不认为有人建造了千兆瓦级的单一训练集群。你会遇到这些在现实世界中最终会变得更慢的事情。" ​

"我只是认为有所有这些物理限制使得这不太可能发生。我只是没看到这会成为现实。我认为我们将有时间来适应一点。"​

2.
如果模型本身就是产品,Zuck会停止开源。​

"也许模型最终更像是产品本身。我认为这时候,是否开源就是一个更棘手的经济考量了。"​

3.
相信他们很快就能从英伟达GPU转向定制芯片。​

"当我们能够将其转移到我们自己的芯片上时,我们现在能够仅将更昂贵的英伟达GPU用于训练。希望在某个时候,我们自己会有芯片,可以用它来首先训练一些更简单的东西,然后最终训练这些非常大的模型。" ​

观点

总的来说,我对这次采访的负面程度感到惊讶。

A) 能源 - Zuck对支持计算增长所需的现实世界增长持悲观态度。与此同时,过去十年来,单位能耗的原始计算能力每2年翻一番。Jensen也意识到了这一点,很难相信他没有想到一些前进的道路,在那里他必须继续这个坡度。​

在 http://x.ai 上,发布公告写道:"在 xAI,我们把最大限度地提高每瓦特的有效计算作为我们努力的重点。"

因此,能效(包括算法和其他方面)显然是各公司将关注的领域。与此同时,Zuck 计划很快停止使用英伟达芯片,基本上认为拥有最先进计算集群份额的 AI 价值将下降。​

B)对AGI持负面看法

从根本上说,Zuck

不相信模型,即AI本身,会成为产品。

产品是背景、每个用户的友谊网络图、审核、记忆、基础设施。​

这使他可以自由发布开源模型,因为他已经完成了面向用户的其余部分。​

一个真正的AGI

一个小模型长期学习并陪伴用户

同时保持自己的状态

有一套它能做什么或不能做什么的规则

而不是频繁地从中央服务器更新

这对Meta的业务将是不利的

50%

50%

奇绩大模型日报（4月 20-21日） ​