Jay 发自 凹非寺
量子位 | 公众号 QbitAI
AI正从「规模时代」，重新走向「科研时代」。
这是Ilya大神在最新采访中发表的观点。
这一次，Ilya一顿输出近2万字，信息量爆炸，几乎把当下最热门的AI话题都聊了个遍：
AI为什么总在泛化上输给人类？如何保证安全与对齐？预训练范式有什么问题？
Ilya认为，目前主流的「预训练 + Scaling」路线已经明显遇到瓶颈。与其盲目上大规模，不如把注意力放回到「研究范式本身」的重构上。
不少网友也认同这个判断。
然而，对于已经喊了好几年「LLM已死」的LeCun来说，这一幕未免有些令人无语。
甚至在X上转发梗图，大概意思是：
咋我说的时候没人当回事儿呢？
以下附上访谈全文，在不改变原意的前提下，对语言做了适当润色。
访谈全文
Ilya Sutskever
你知道最疯狂的是什么吗？是这一切都是真的。
Dwarkesh Patel
你指的是什么？
Ilya Sutskever
你不这么觉得吗？所有这些AI的事儿，整个湾区现在发生的一切——这不就像科幻小说里的情节变成现实了吗？
Dwarkesh Patel
另一个疯狂的点在于，「慢起飞」在体感上有多正常。按理说，人类拿出1%的GDP投到AI上，这听起来本该是件惊天动地的大事，但现在真实感受上就是……还好。
Ilya Sutskever
事实证明，我们适应新东西的速度其实挺快的。而且现在这一切还是有点抽象。那意味着什么呢？
就只是你在新闻里看到：某家公司宣布又投了多少多少美元。你能感受到的就到此为止了，暂时不会以别的方式真正「砸到你身上」。
Dwarkesh Patel
要不我们就从这儿开始聊？我觉得这个话题挺有意思。
我觉得你刚才那个观点——从普通人的视角看，就算到了奇点，生活也「没那么不一样」——大概率会一直成立。
Ilya Sutskever
不，我不这么觉得。我刚才说「感觉不出太大区别」，指的是那种：「好吧，某家公司又宣布了一个巨大得难以想象的投资数字。」这种东西大家其实无从感受，它只是个数字，普通人不知道该怎么处理这种信息。
但我认为AI的影响是会被真正「感受到」的。AI会渗透进整个经济体系里，会有非常强的经济动力去推动这一点，我觉得它带来的冲击会非常明显。
Dwarkesh Patel
你觉得这种冲击会在什么时候到来？现在的情况就是：模型看起来比它们在经济上体现出的影响「聪明得多」。
Ilya Sutskever
对，这正是当下这些模型最让人困惑的地方之一。你如何去调和这样一个事实：一方面它们在各种评测上表现得非常好——你看看这些评测就会说，「这些题挺难的啊」，模型却做得很好；
另一方面，经济上的实际影响却明显落后很多。很难理解：一个模型怎么可能在某些方面做出这么惊人的事情，同时在另一些场景里又会干出像「连犯两次同样的错误」这种事？
举个例子：假设你用所谓的vibecoding干点事情，跑去某个地方写了段代码，然后遇到一个bug。你跟模型说：「帮我修一下这个bug。」模型说：「天哪你说得太对了，是有个bug，我这就给你修。」
然后它给你引入了第二个bug。接着你又说：「你现在多了一个新的bug。」它又说：「天哪我怎么会这么干，你又说对了。」然后把第一个bug再次引回来。你们俩就这样反复在这两个bug之间来回切换。
怎么会这样？我也不确定。但这确实暗示着这里面有点奇怪的东西。
我有两种可能的解释。比较「异想天开」的那个解释是：也许RL训练让模型变得过于单一目标、过于「直线型」，在某些方面反而缺乏觉察力——尽管在其他方面它又更有觉察力。正因为这种过度单向专注，反而会让它在一些很基础的事情上做不好。
但还有另一种解释：在大家还只做预训练的时候，「该用什么数据」这个问题其实已经被回答了——答案就是「全部的数据」。做预训练你就是要所有数据，用得越多越好，所以你不必去纠结「要这一份数据还是那一份数据」。
可当人们开始做RL训练时，就不得不思考这个问题了。
大家会说：「我们想要针对这个能力做这样一种RL训练，针对另一个能力做那样一种RL训练。」据我所知，各家公司都有专门的团队不停地产出新的RL环境，然后把它们加进训练混合里。
问题是：这些环境到底是什么？这里有巨大的自由度——你可以设计出千奇百怪的RL环境。
其中一种做法，我觉得在现实中是「无意间发生」的，就是：大家会从eval中汲取灵感。「我希望我们家模型上线时，评测成绩好看。那我们应该设计什么样的RL训练，才能让它在这项任务上的表现变好？」
我认为这种事情确实在发生，它可以解释目前很多现象。
如果你再把这点和「模型的泛化实际上还不够好」结合起来，就很有可能解释我们看到的大部分情况：也就是——为什么评测表现与真实世界表现之间有这么大的落差。而这个「落差到底是什么意思」，其实是我们到今天都还没想清楚的。
Dwarkesh Patel
我很喜欢这个说法：真正的「奖励黑客」不是模型，而是那些过度关注eval的人类研究者。
你刚才提到的这个问题，我觉得可以从两种角度去理解。
一种角度是：如果事实证明，「在编程竞赛上达到超人水平」并不会自动让一个模型在实际代码库中更有品味、更会做判断，那答案也许就是：你应该扩展环境的集合，不要只测试它在竞赛题里能不能拿最高分，还应该测试：它能不能为X场景做出最好的应用？能不能为Y场景、Z场景写出真正好用的东西？
另一种角度是：「为什么一开始我们要假设：在编程竞赛上变成超人，就一定能在更广泛的意义上变成一个更有品味的程序员？」
也就是说，或许正确的策略不是不停往上叠不同的环境，而是想出一种方法：能让模型从一个环境中学习到的东西迁移到另一个任务里，从而真正提升「广义能力」。
Ilya Sutskever
我有个类比，也许对理解这个问题有帮助。既然你刚才提到竞赛编程，那我们就拿它来举例。
假设现在有两个学生。学生A决定要成为最强的竞赛程序员，于是花了一万小时专门练这一个领域。他把所有题都刷了，背熟了所有证明技巧，非常擅长快速、正确地实现各种算法，最后果然成了顶尖选手。
学生B的想法是：「竞赛编程挺有意思的。」他也练了，但只练了大概100小时，远远少于前者，但成绩依然不错。
你觉得这两个人中，谁未来职业发展会更好？
Dwarkesh Patel
是第二个。
Ilya Sutskever
对。我觉得现在模型的状况，基本就像学生A——甚至更极端。
因为我们会说：「好，我们要让模型在竞赛编程上表现出色，那就把所有竞赛题都喂进去。」然后还要做数据增强，造出更多变体题，再用这些海量的竞赛题来训练。结果就是，你得到了一名非常优秀的「竞赛程序员型模型」。
在这个类比下，很多事就更直观了。
当你在这个细分领域训练得这么极致所有算法、所有证明技巧都随手可得，你就更容易理解：为什么这样的训练未必能很好地泛化到其他任务上。
Dwarkesh Patel
那在人类世界里，第二个学生在那100小时「微调训练」之前，究竟在做什么，类比到模型上又是什么？
Ilya Sutskever
我觉得那就是所谓的「it」——那个「那股劲儿」。我本科的时候就认识过这样的人，所以我知道这种存在是现实的。
Dwarkesh Patel
我觉得有趣的一点在于，要区分这个「it」和「预训练到底做了什么」。
理解你刚才关于预训练数据选择的一个方式是：其实它跟「一万小时练习」并没有那么不同，只是你可以把那一万小时「免费打包」到预训练里，因为这些内容本身就存在于预训练的数据分布中。
但也许你在暗示的是：预训练其实并没有带来我们想象中的那么多泛化，它只是依赖了海量的数据量，但这种泛化未必比RL更强。
Ilya Sutskever
预训练最大的优势在于两点：第一，数据量极其庞大；第二，你不用特别纠结「选哪些数据」，因为要做的就是——全要。
这些数据非常「自然」，里面包含了各种各样人类的活动：人们的想法、经验，以及大量关于世界的特征。可以说，它是「人类把世界投射到文本上的那一层」。预训练的目标就是：用巨量数据去捕捉这层投射。
预训练之所以难以被彻底理解，是因为我们很难弄清楚：模型究竟是以什么方式在利用这堆预训练数据。
每当模型犯错时，你都会想：「是不是因为碰巧某个东西，在预训练数据里支持得不够？」这里的「被预训练数据支持」，其实是个很松散的说法，我也不太确定能不能把它解释得更好。
我不认为人类世界里存在一个真正对应「预训练」的类比。
情绪和价值
Dwarkesh Patel
以下是一些人们提出的关于人类「前期训练」的类比。我很想听听你们的看法，为什么这些类比可能存在问题。
一种类比是思考一个人生命的前18年、15年或13年，这段时间他们未必具有经济生产力，但他们所做的事情让他们更好地理解世界等等。另一种类比是将进化想象成一场持续30亿年的探索，最终形成了人类的一生。
我很好奇你是否认为这两者类似于预先训练。如果不是预先训练，你会如何看待人类终身学习？
Ilya Sutskever
我认为这两者与预训练有一些相似之处，预训练试图同时扮演这两者的角色。但我认为它们之间也存在一些很大的差异。预训练数据的数量非常非常庞大。
Ilya Sutskever
不知何故，即使人类拥有预训练数据的一小部分，经过15年的训练，他们所掌握的知识仍然远不及AI。但无论他们掌握了什么，他们的理解都更加深刻。到了那个年纪，你都不会犯AI会犯的错误。
还有一点。你可能会问，这会不会跟进化有关？答案是也许吧。但就这件事而言，我认为进化论可能更有优势。我记得读过相关的案例。神经科学家了解大脑的一种方法是研究大脑不同区域受损的人。有些人会出现你想象不到的奇怪症状。这真的很有意思。
我想到一个相关的案例。我读到过一个人，他脑部受损，可能是中风或意外事故，导致他丧失了情感处理能力。所以他不再能感受到任何情绪。他仍然能言善辩，也能解一些简单的谜题，考试成绩也一切正常。
但他感觉不到任何情绪。他不会感到悲伤，不会感到愤怒，也不会感到兴奋。不知何故，他变得极其不擅长做任何决定。他甚至要花几个小时才能决定穿哪双袜子。他在财务方面也会做出非常糟糕的决定。
这说明我们与生俱来的情感在使我们成为合格的行动主体方面扮演着怎样的角色？说到你提到的预训练，如果你能充分发挥预训练的优势，或许也能达到同样的效果。但这似乎……嗯，预训练是否真的能达到这种效果还很难说。
Dwarkesh Patel
「那」是什么？显然不仅仅是情绪。它似乎是一种类似价值函数的东西，告诉你任何决定的最终回报应该是什么。你认为这不会在某种程度上隐含在预训练中吗？
Ilya Sutskever
我觉得有可能。我只是说这并非百分之百确定。
Dwarkesh Patel
但那是什么？你如何看待情绪？机器学习中情绪的类比是什么？
Ilya Sutskever
它应该是一种价值函数之类的东西。但我认为目前还没有很合适的机器学习类比，因为价值函数在人们的实际行为中并没有扮演非常重要的角色。
目前强化学习的训练方法很简单，人们是如何训练这些智能体的呢？首先，你需要一个神经网络，然后给它一个问题，并告诉模型「去解决这个问题」。模型可能需要成千上万次的动作、思考或其他操作，最终生成一个解决方案。然后，这个解决方案会被评分。
然后，这个分数会被用来为你的轨迹中的每一个动作提供训练信号。这意味着，如果你正在执行一个持续时间很长的任务——如果你正在训练一个需要很长时间才能解决的任务——那么在你找到建议的解决方案之前，它根本不会进行任何学习。这就是强化学习的简单实现方式。这就是o1和R1的实现方式。
价值函数表达的意思类似于：「我或许有时能告诉你你做得好还是不好。」价值函数的概念在某些领域比其他领域更有用。例如，当你下棋丢掉一个棋子时，我犯了错。你不需要下完整盘棋就能知道我刚才的走法不好，因此之前的任何走法也都不好。
值函数允许你缩短等待时间，直到最后才做出决定。假设你正在进行某种数学运算或编程，并试图探索某个特定的解决方案或方向。经过大约一千步的思考后，你得出结论，这个方向没有希望。
在你得出这个结论的那一刻，你就可以提前一千步收到奖励信号，也就是在你决定沿着这条路径前进的时候。也就是说，在你真正想出解决方案之前很久，你就已经告诉自己：「下次遇到类似情况，我不应该再走这条路了。」
Dwarkesh Patel
这是DeepSeekR1论文中提到的——轨迹空间如此之大，以至于可能很难从中间轨迹和值之间学习映射关系。
此外，例如在编程中，你可能会有错误的想法，然后你会回头修改，然后再修改一些东西。
Ilya Sutskever
这听起来像是对深度学习缺乏信心。当然，它可能很难，但没有什么深度学习做不到的。
我预期价值函数会很有用，而且我完全相信它们将来会被用到，即便现在还没有。
我之前提到的那个情感中心受损的人，或许更确切地说，这表明人类的价值体系在某种程度上受到情感的调节，而这种调节方式是由进化预先设定的。也许这对于人们在社会上有效运作至关重要。
Dwarkesh Patel
这正是我要问你的问题。关于价值函数中的情感因素，确实有一点非常有趣，那就是它们既实用又相当容易理解，这一点令人印象深刻。
Ilya Sutskever
我同意，与我们所学习和讨论的事物，以及我们所讨论的AI相比，情感相对简单。它们甚至可能简单到可以用人类能够理解的方式将其描绘出来。我觉得这样做会很酷。
但就实用性而言，我认为存在一种复杂性与稳健性之间的权衡：复杂的东西可能非常有用，但简单的东西在更广泛的情况下也同样有用。
我们可以这样解读我们所看到的现象：这些情感主要源自我们的哺乳动物祖先，然后在我们进化成原始人类的过程中略作调整。
我们确实拥有相当数量的社会情感，而哺乳动物可能缺乏这些情感。但这些情感并不十分复杂。
正因为它们并不复杂，所以在这个与我们过去生活的世界截然不同的世界中，它们才能如此有效地帮助我们。
实际上，它们也会犯错。例如，我们的情绪……嗯，其实我也不知道。饥饿算是一种情绪吗？这还有待商榷。但我认为，在这个食物丰富的世界里，我们凭直觉感受到的饥饿感并不能正确地引导我们。
我们在扩展什么？
Dwarkesh Patel
人们一直在讨论数据扩展、参数扩展和计算扩展。那么，有没有更通用的扩展思路？还存在其他扩展维度吗？
Ilya Sutskever
我认为有一个可能正确的观点。过去的机器学习基本依赖于人们不断尝试各种方法，看看能否得到有趣的结果——这是早期的模式。
后来，「规模化」这个洞察出现了。规模化法则、GPT-3……突然之间，所有人都意识到：我们应该去规模化。这其实是语言如何影响思维的例子。「规模化」只是一个词，却非常有力量，因为它直接告诉大家应该怎么做——「继续扩大」。
于是问题来了：要扩大什么？预训练，恰恰是最需要规模化的东西。它是一种非常清晰的「配方」。
预训练最大的突破，在于它证明了这套配方是可行的：只要你把一定量的数据和算力灌进一个规模足够大的神经网络，就会得到好的结果。你也自然会相信：继续放大，效果就会继续提升。
这种方法的优势是，公司愿意为它投入资源——因为这是「低风险投入」。相比之下，把资源投入研究要困难得多。研究意味着：「研究人员请继续探索，争取有所突破」，而不是「再拿点数据、再加点算力」。但预训练几乎能保证一定的收益，这种确定性非常诱人。
根据推特上某些讨论，Gemini似乎找到了让预训练更有效的方法。但预训练最终会遇到一个硬上限：数据有限。那之后怎么办？要么寻找新的「强化预训练」方式，要么探索强化学习，或其他完全不同的路径。当算力巨大到一定程度，我们又会重新回到「科研时代」。
如果要划时代：2012—2020是研究时代；2020—2025是规模化时代。
这几年大家几乎都在喊「继续扩大！再扩大！」。但当规模已经这么大时，你真的会相信再扩大100倍就能彻底改变一切吗？
会有变化，但我不认为仅靠更大规模就能带来根本性的转折。我们正重新回到研究时代，只不过这一次，我们手里多的是巨型计算机。
Dwarkesh Patel
你刚才说到一个概念——「配方」。那我们究竟在扩展什么？这个配方到底意味着什么？在预训练里，数据、算力、参数量、损失函数之间并不存在一种像物理定律那样明确的关系。那我们到底应该追求什么？新的配方应该怎么构思？
Ilya Sutskever
我们已经看到了规模化路径的迁移：从预训练转向强化学习。
如今大家正在扩展的是强化学习。从外界讨论看，近期RL消耗的计算量可能已经超过了预训练，因为RL天生「烧算力」——它需要极长的迭代过程，而每次迭代的学习增益又很小。结果就是，它极其耗算力。
我甚至不愿意把它称为「扩展」。我更愿意问的是：「你的做法是最有效率的吗？你能不能找到更经济的方式去利用算力？」这就回到之前提到的价值函数。如果人们真的掌握价值函数，也许资源利用效率能提高很多。
但当你提出一个全新的训练方法时，又会产生另一个问题：「这到底是扩展，还是在浪费算力？」这两者之间的界限正变得越来越模糊。从某种意义上说，我们正在回到从前那种科研模式：「试试这个，再试试那个……哦，那里有点意思。」我认为这种局面会再次出现。
Dwarkesh Patel
如果我们真的进入了新的研究时代，哪些部分是最值得重新审视的？你提到的价值函数现在被广泛应用，大家也把LLM引入为评判者。但这似乎仍只是在现有流程末端做加法。是不是应该重新思考预训练，而不仅仅是在其后叠更多步骤？
Ilya Sutskever
我认为关于价值函数的讨论非常有意思。我想强调的是，价值函数确实能让强化学习更高效，我相信这会带来显著的提升。但我同样认为，只要给足时间和算力，任何价值函数能做到的事情，不用价值函数也能做到——只是速度会慢很多。
最根本的问题是：这些模型的泛化能力远远不如人类。这是显而易见的，而且我认为它是最核心、最棘手的问题所在。
为什么人类比模型更擅长概括
Dwarkesh Patel
所以关键就在于泛化能力。这里其实包含两个子问题。
第一个问题更偏向样本效率：为什么这些模型需要比人类多得多的数据才能学会一项能力？
第二个问题是：即使不谈数据量，为什么让模型真正理解「我们想要它做什么」比让人类理解同一件事要困难得多？
对人类来说，学习并不依赖明确的奖励信号。比如，你现在可能正在指导一群研究人员，你和他们交流、展示代码、解释思考方式，他们就能从中学会如何进行研究；你并不需要为他们设立一个个可验证的奖励环节，比如：「这是课程下一部分」「这一轮训练不太稳定」之类的人工流程。
这两个问题或许是相关的，但我想分别讨论：第二个更像「持续学习」，第一个更像「样本效率」本身。
Ilya Sutskever
关于人类样本效率，最可能的解释之一就是进化。进化在视觉、听觉、运动等核心能力上，为我们提供了少量但极其有用的「先验」。
例如，人类的灵巧度远超机器人。即便机器人在模拟环境中可以通过大量训练变得灵巧，但要让机器人在现实世界里像人一样快速掌握一项新技能，几乎不可能。你可能会说：「哦，对，移动能力是我们祖先在数百万年里都极度依赖的能力，所以我们拥有某些不可思议的进化先验。」
视觉也类似。YannLeCun曾说，孩子练十个小时就能学会开车。确实如此——但那是因为孩子的视觉系统极其强大。我记得自己五岁时，对汽车非常着迷。我可以肯定，五岁时我对汽车的视觉认知已经足够支撑基本的驾驶操作了。但五岁孩子的信息摄取量其实非常有限，大部分时间都只在父母身边。
这说明视觉能力可能深深植根于进化，而非后天学习。
但当我们谈到语言、数学、编程时，它们出现得太晚了，不太可能是进化带来的。
Dwarkesh Patel
但即使在这些「近期才出现的能力」上，人类似乎仍然比模型更强。模型虽然在语言、数学、编程上已经优于普通人类，但它们在学习能力上真的更好吗？
Ilya Sutskever
是的，当然如此。语言、数学、编程——尤其是数学和编程——表明，人类擅长学习的能力，可能并不是因为复杂的进化先验，而是某种更基础、更普遍的能力。
设想某项能力，如果它对我们的祖先在数百万甚至上亿年里都十分重要，那么人类在这方面可靠而稳定的表现，很可能来自进化层面的先验知识——某种隐秘编码在我们神经系统里的东西。
但如果人类在一些「近期才被发明的能力」上——如数学、编程——依旧表现出极强的学习能力和稳健性，那这就更像是人类天生就拥有一种「通用的机器学习能力」。
换句话说：如果连不靠进化积累的领域，人类依然能快速学习，那真正的关键可能并不是先验知识，而是人类学习机制本身的效率。
Dwarkesh Patel
那我们该如何理解这种「学习能力」？它似乎具有一些很特别的特征，比如：它需要的样本量很少，更像无监督学习。青少年学开车，并不是通过预设奖励体系学习，而是通过与环境的互动。
他们的样本量很低，却能快速掌握，而且学习过程也非常稳健。有没有机器学习的类比？
Ilya Sutskever
你刚才提到青少年司机如何在没有外部指导的情况下自我纠正、从经验中学习。我认为答案在于他们拥有自己的价值体系。
人类有一种极其强大的普遍感知能力。无论价值体系是什么——除了少数被成瘾行为破坏的例外——它在绝大多数情况下都是非常稳固的。
所以，对正在学车的青少年来说，他们一坐上驾驶座，立刻能感觉到自己驾驶得有多差、哪里不稳。他们立即拥有内在反馈，于是自然开始改进。再加上年轻人本身学习速度极快，十个小时之后，他们基本就能熟练驾驶了。
Dwarkesh Patel
我好奇的是，他们究竟是怎么做到的？为什么对我们来说这么自然，而对模型来说却如此困难？我们需要怎样重新构思模型训练方式，才能逼近这种能力？
Ilya Sutskever
这是个非常好的问题，我对此也有很多想法。但是，很遗憾，我们现在处在一个并非所有机器学习理念都能公开讨论的时代，而这正是那些无法轻易公开讨论的想法之一。
我相信是有路径可以做到的。我认为这是可以实现的。而且，人类的这种直觉，本身就暗示了这种方法的可行性。
当然，可能还存在另一个难点：人类神经元的计算能力，可能比我们以为的还要强很多。如果这是事实，而且对学习过程至关重要，那么我们要做的事情会更复杂。
但无论如何，我相信这确实指向某种机器学习的根本原理。只是出于某些原因，我无法进一步详述。
ASI
Dwarkesh Patel
我很好奇。如果你认为我们已经重新进入「科研时代」，那么作为当初经历过2012–2020那段时期的人，你觉得现在的科研氛围会是什么样的？
比如，即使在AlexNet之后，人们用于实验的计算量仍持续增长，前沿系统的规模也不断扩大。你认为如今的科研时代是否同样需要庞大的计算资源？需要重新翻阅旧论文吗？
你曾在谷歌、OpenAI、斯坦福大学工作，那里都属于学术氛围最浓的地方。你觉得未来的研究社区会呈现什么景象？
Ilya Sutskever
规模化时代的一个结果，是规模本身挤压了创新空间。由于「扩大规模」被证明有效，所有人都去做同一件事，最后变成「公司数量远远超过创意数量」的局面。
硅谷有句老话：「创意不值钱，执行力才重要。」这话有道理。
但后来我在推特上看到一句反讽：「如果创意这么便宜，为什么没人有创意？」我觉得这同样准确。
如果你从「瓶颈」的角度看科研，会发现有好几个瓶颈：一个是想法本身，另一个是把想法变成现实的能力，而后者往往依赖计算资源或工程能力。
比如，上世纪90年代许多研究者其实有不错的想法，但受限于算力，他们只能做很小规模的演示，没法说服任何人。因此当时真正的瓶颈是计算资源。
在规模化时代，算力暴涨，瓶颈就转移了。当然，我们仍然需要一些计算资源，但并不意味着科研一定要用到极限的规模。
举个例子：AlexNet只用了两块GPU。Transformer刚出现时的实验规模，大多在8～64块GPU范围内。按今天的标准看，那甚至相当于几块GPU的规模ResNet也一样。没有哪篇论文靠庞大的集群才能完成。
你可以说，如果要构建一个「最强系统」，更多算力一定有帮助——尤其在大家都遵循同一范式的情况下，算力自然会成为差异化因素之一。但科研本身，其实不需要无限制的大规模计算。
Dwarkesh Patel
我问这些，是因为你当时就在现场。当Transformer刚提出时，它并没有马上爆红。它成为入门工具，是因为后来在越来越大的算力上不断被验证，模型规模提升后效果也持续提升，大家才开始真正基于它进行实验和扩展。
那假设SSI有50个不同方向的想法，在没有其他顶尖实验室那种巨大算力的情况下，你们怎么判断哪个是可能的「下一次变革」，哪个想法太脆弱？
Ilya Sutskever
这里我可以稍微解释一下。你提到了SSI——事实上，我们的研究算力比外界想象的要多。
原因很简单：SSI虽然「只有」30亿美元，但你要注意，对大多数大公司来说，它们巨额的算力预算主要用于推理。这些钱、贷款、GPU资源，都必须用于产品推理服务。
其次，如果你要打造面向市场的AI产品，就需要庞大的工程、销售团队，需要大量资源去做产品相关功能。真正能用于纯研究的资源，扣掉这些之后，其实并没有想象得那么高。
反过来看SSI，我们的资金绝大部分用于研究，因此可用于实验的算力并不少。
更重要的是：如果你在做「与众不同」的研究，真的需要极限规模来证明它吗？我不这么认为。对于我们要验证的方向，目前的算力完全足够让我们说服自己，也说服世界。
Dwarkesh Patel
公开估计显示，比如OpenAI这样的公司，仅在实验上的年度开销就有50–60亿美元，还不算推理服务的成本。他们每年在研究实验上的投入甚至比你们的总经费还高。
Ilya Sutskever
关键不在于「有多少算力」，而在于「如何使用算力」。
他们的系统规模巨大，模态更多，工作流更多，因此算力需求自然庞大且分散。你要做一个能推理、能多模态、能产品化的系统，需要在非常多的环节投入计算资源。
但这不代表研究一定需要那种规模。
Dwarkesh Patel
那SSI未来会如何盈利？
Ilya Sutskever
目前我们只专注于研究。商业化问题到时候自然会水到渠成，我认为会有很多可能的路径。
Dwarkesh Patel
SSI的计划仍然是直接研发超级智能吗？
Ilya Sutskever
也许吧，这个方向确实有意义。避免卷入市场竞争是一件好事。但有两个原因可能促使我们改变策略：
第一，实际时间表可能比预期更长；
第二，真正强大的AI造福世界的价值巨大，我认为这是非常重要的事。
Dwarkesh Patel
那为什么默认策略要「直接研发超级智能」？
OpenAI、Anthropic等公司强调要逐步增强能力、让公众慢慢适应。为什么直接冲向超级智能反而可能更好？
Ilya Sutskever
正反两方面都有道理。
正方观点是：参与市场竞争会迫使公司做出艰难权衡，可能偏离长期目标。完全专注于研发是极具优势的。
反方观点是：让大众真正看到强大的AI，本身就是一种价值。你无法通过一篇论文或一套理念来「解释」AI的冲击力——只有亲眼看到它在做什么，人们才会真正理解。这就是为什么大规模部署AI会带来巨大社会收益。
Dwarkesh Patel
我同意，不仅是理念，更是让人真正「接触AI本身」。另一个原因在于：几乎所有工程领域都依靠「现实世界中的部署」不断提高安全性。
比如：飞机的事故率随每一代机型不断下降；Linux漏洞越来越难找到；系统越来越稳健。因为它们被全球范围使用，问题被发现，然后被修补。
我不确定AGI或超级智能为什么应该是个例外。尤其是——超级智能的风险远不止「回形针恶魔」那样的故事。它太强大了，我们甚至不知道人们会如何使用它，更不知道它会如何与人类互动。
逐步普及似乎是让社会做好准备的更安全方式。
Ilya Sutskever
我认为，即使采取「直接实施」的路线，也必然是一个循序渐进的过程。任何计划都必须分阶段推进，关键是你最先推出的是什么。
第二点，你比其他人更强调「持续学习」，我认为这非常重要。我想用一个例子来说明语言如何影响我们的思维。有两个词几乎定义了整个行业的认知：一个是「AGI」，另一个是「预训练」。
先说AGI。这个词为什么会出现？它的目的并不是为了描述某种「最终形态」的智能，而是对「狭义AI」的一种反应。在AI的早期，大家谈论的是「跳棋AI」、「国际象棋AI」、「游戏AI」。它们确实很强，但人们会说：它们太狭窄了，没有通用能力。因此，「我们需要通用AI」这个概念逐渐流行起来。
第二个词是「预训练」。尤其在今天的强化学习工作流下，「预训练」这个概念可能正在变得模糊。但它曾经非常重要：预训练越充分，模型在各方面的能力都会提升。换句话说，预训练促成了「通用AI」这一想法的流行。
问题在于，这两个词——AGI和预训练——其实都带来了某种误导。如果你仔细思考，就会意识到：在人类身上不存在所谓的「通用AI」。人类确实在一些基本能力上很强，但真正的知识储备极其有限，而我们真正依赖的是「持续学习」。
因此，当我们设想「创造出一种安全的超级智能」时，关键问题并不是它「已经掌握了多少技能」，而是：它在持续学习的曲线上处于哪个阶段？
想象一个非常聪明、求知欲旺盛的15岁少年。他懂得不多，但学习能力极强，可以在不同领域持续扩展技能。如果你把这样一个系统部署出去，它也会经历学习和试错的过程。这不是一个「成品」，而是一段学习旅程。
Dwarkesh Patel
明白了。你说的「超级智能」并不是一种已经掌握所有技能、能胜任所有工作的成熟系统，而更像是一个能够学习完成所有工作的「可成长心智」。它和一些组织对AGI的定义不同，后者强调「能做任何人类可以做的工作」，而你强调的是「能够学会任何工作」。
而只要有了这种学习能力，它就能像人类一样，被部署到世界各地，从事不同工作，并在工作中不断学习。
接下来可能有两种情况——也可能都不会发生。
第一种是：这种学习算法强到不可思议，它在研究方面甚至能超过你，随后不断提升自身能力。
第二种是：即便没有出现这种递归增强，只要你有一个统一的大模型，它的不同实例在全球范围内执行不同任务，不断学习，再把彼此的学习成果整合起来——那么你最终也得到了一种「功能性超级智能」。它几乎能胜任经济体系里的所有工作，而且不同于人类，它可以完美共享知识。
那么，你是否预期这种模型的广泛部署会引发某种形式的「智能爆炸」？
Ilya Sutskever：
我认为我们很有可能看到经济的快速增长。关于广泛部署的AI，业内有两种相反的观点。
一种认为：只要AI具备快速学习和执行任务的能力，而且数量足够多，经济体系就会强烈地推动它们被部署，除非监管阻止它发生——而监管很可能会出现。
另一种观点认为，即便有监管，在足够大的规模部署下，经济都会在一段时间内进入高速增长。问题只是：增长能快到什么程度？这一点很难预测。世界足够大，系统复杂，各行业的运行速度不同，但AI的劳动效率极高，因此经济快速增长是完全可能的。
我们可能会看到不同国家因监管尺度不同而出现增长差异。哪些国家更早允许部署，哪些国家的经济增长更快——很难提前判断。
狗仔卡
发表于 2025-11-28 06:02 PM
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡