Neil Movva: Making AI 10x Cheaper

我的工作就是把 token 的成本压到人类能做到的最低。

我会做到这一点，而且我会利用我能用到的每一层技术栈来实现。

我特别喜欢供给侧的那些杠杆。

我会用上每一块芯片，用上每一种电力来源，还会用上美国每一块适合干这事的地。

我们现在还是把 AI 当作一个咨询起来很贵的人，只有遇到难题才去问它。

这不是看待智能的正确方式。

机器能思考这件事太不可思议了，我们应该想办法让尽可能多的人用上它。

我觉得在这种对话刚开始的时候，最重要的是把话说明白，就是你到底在造什么，现在它能做什么。

所以先给我们一个大概的定位吧，简单描述一下你正在构建的系统是什么，以及它为什么应该存在。

Sail Research 就是一个 token 工厂。

我们有一个 API，任何人都可以发请求过来，使用大型语言模型，开源的大语言模型，做他们想做的任何任务。

我们会以市场上无人能敌的价格把这些 token 提供给对方。

同时我们也支持他们在上面构建 AI 代理。

我们托管了叫作 Sailboxes 的东西，这是云端长期运行的代理虚拟机，专为那些运行几小时、几天甚至几周的代理设计的。

所以你应该被看作是一家和提供不同类型推理服务的其他公司同级别的公司。

你提供的是某一种特定的推理服务，而你的目标就是成为绝对最便宜的供应商，让某种智能应用成为可能。

没错。

我们公司的主题是富足。

我们希望把这种新的智能商品以几乎每个行业都能承受的成本，送到尽可能多的人手里。

我们认为，当一样东西便宜了 10 倍，它就会成为一个全新的产品类别。

而我们的目标就是让 token 也实现这一点。

我们认为机器能思考这件事意义太深远了。

而现在我们的任务就是让世界上尽可能多的机器去思考。

那么，如果今天讨论的主题是 token 成本，你觉得 token 成本是思考这件事的正确维度吗？

还是说，你会有别的表述方式？

一开始，绝对是 token 成本。

现在我的北极星目标就是做到行业内每 token 成本最低，而且要遥遥领先。

我不觉得 token 是最终的工作单元或者智能单位，但它是我们目前用的东西。

所以这很直接。

我觉得过了 token 之后，就会慢慢转向更多基于结果的方向，这个方向还比较模糊。

比如，你可以想象，现在当你通过一个智能体消耗 token 时，你实际上控制不了智能体为了推理用了多少 token。

它可以推理一段时间，或者调用一定数量的工具。

而且我认为，越来越地，我们会让智能体完成一些工作任务，尽可能多地尝试。

而它们用了多少 token 来达到目标，其实是一个依赖于任务的变量。

嗯哼。

所以你想想看，比如智能体自己管理 token 预算，而不是公司为工程师每月能用多少 token 设定预算。

为什么你认为这里有机会可以抓住？

现在整个世界似乎都围绕着更多、更好、更快、更便宜的 token 来发展。

全世界都在非常积极地解决这个问题。

对。

你看到的独特机遇是什么？市场可能不够高效。我认为有两件事是我们公司的顺风。

第一个必须是开源的发展。

我得先谈谈这个。

我认为我们开始看到越来越多的客户和更广泛的市场在意拥有智能。

他们希望对所依赖的东西有控制权和自主权。

因此，这就为定制化模型，甚至那些任何人都无法从你手中夺走的普通开源模型，创造了一个更加繁荣的市场。

你总是拥有模型权重，你总是有权以任何方式部署它们。

在这个世界里，过去几年已经出现了一个相当繁荣的市场，用于大规模服务这些模型。

挑战在于所有这些公司——你可以随便挑，比如Base10、Fireworks、Together——它们都专注于低延迟推理。

它们是被一个非常重要的客户Cursor拉向那个方向的。

而且我认为大约一年前那是正确的选择。

而到了六个月前，情况开始变得像是低延迟可能并不是你对智能体的唯一要求了。

你希望有更持久的执行，处理更长周期的任务。

而现在对我来说非常明显，智能体推理的未来就是长周期任务。

你会让机器一次运行几个小时甚至几天。

它以每秒100个token的速度输出也没什么关系。

也许每秒10个token也完全可以，只要随之而来的是相应的优势和效率。

你为什么对这个这么有信心？

对我来说，我好像什么都希望越快越好。

当你在等待的时候，你绝对应该得到最快的速度。

我的诀窍就是不想让你等着它。

我希望它是主动出击的。

我希望它是在后台默默运行的。

有一种说法是，最好的延迟就是没有延迟。

你早上醒来，活儿昨晚已经干完了。

你甚至都不需要开口提要求。

这就是理想状态。

我们还没完全做到那一步。

但更重要的是，我觉得你在提示 agent 并等待回复的过程中参与得越多，实际上你就越成了帮 agent 多干活或少干活的瓶颈。

我们希望 agent 能按照人类的节奏来运作。

你不会每五分钟就去管一下你的同事吧。

你给他们布置一项高层次的任务，然后可能每天或更可能每周回来检查一次进度。

而这在我看来就是人机协作的未来，更像人类的节奏。

多讲讲那些早期迹象，让你觉得这事正在发生，所以你该去创办这家公司。

嗯，首先最重要的一点是 test-time compute scaling 这个概念。

就是给 agent 更多时间，它能给出更好的答案。

这个概念大约两年前就被提出来了。

但直到去年 Opus 4.5 出现，我们才真正能把它当成一个可靠的方向。

Opus 4.5 是第一个适合处理较长时间跨度任务的 agent。

它刚出来的时候表现一般，但你看看最近的新模型以及我们在开源方面的工作，就会发现 agent 已经能连续运行一个小时了。

我不敢说能运行好几天，但一个小时肯定没问题。

所以光是看到平均轮次或任务时长越来越长，不需要太多数据点你就能画出一条指数曲线。

然后你就会发现，让 agent 运行更长时间是值得的。

你觉得三年后，长时间运行的 agent 会占到多少市场份额？

我喜欢这个市场，因为它没有上限。

没有人在流程中参与，所以你可以在后台消耗任意多的 token，而不受人类注意力的限制。

如果你让我在 Codex 或 Claude Code 上消耗 10 倍的 token，我其实不确定自己还能不能做到。

因为我已经在流程里了，我对着电脑的时候，大部分时间都在编程。

真正的上限是没有的，是在后台或主动模式下能消耗多少 token。

所以长远来看，我觉得今年结束时，后台和实时工作负载大概会各占一半，但我预计这个比例会变成九比一，后台占大头。

有哪些事情，你最喜欢的例子是什么，作为后台任务比作为有人参与的循环任务完成得更好？

大多数深度研究，大多数你想得到明确答案的问题，不是基于100个来源，也不是1000个来源，而是基于一万个或更多来源。

如果你想建立一个权威的信息索引，比如说，我们的一个客户Parallel Web Systems就想做这件事，他们想要建立覆盖整个互联网的索引，并且实时监控互联网的变化。

这是那种疯狂的艾字节规模的任务，你需要一种非常不同的智能或者说是规模的智能才能实现。

深度研究是我们的首要类别。

而且我们越来越看到网络安全也在朝着这个方向发展。

如果你想一想，是的，你可以生成很多代码，但是破坏同一段代码的方式比生成它的方式要多出指数级。

而且有一些很棒的客户正在非常努力地寻找能够破解任何软件并主动修补它们的智能体。

所以，比如当Fable刚发布或者Mythos刚发布的时候，基本上网络安全社区里有一种推动力，要对每一行我们写过的代码运行Fable。

用二十种不同的方式寻找漏洞，意思是你要寻找内存错误、业务逻辑错误、网络漏洞等等所有这些。

而这些实际上都是你会编写专门的智能体来处理的事情。

你不会只是让Fable看一遍源代码，而是让它实际搭建环境，让你可以对这些应用程序进行渗透测试。

到某个时候，人们开始开这个玩笑，说安全变成了工作量证明。

当你想要安全的软件时，这实际上变成了一个问题：你在Anthropic的API上花了多少钱？

尝试攻破你的软件。

这是衡量它有多安全的最佳指标，因为这是世界上最好的工具。

而且我们越来越发现，这里的智能前沿是相当不平坦的。

并不是说Fable能找到软件中所有漏洞的超集。

你会用很小的模型找到一些大型模型找不到的漏洞。

你会用Haiku找到一些Fable找不到的漏洞，反之亦然。

所以这鼓励了这种非常多样化的采样方法，并尝试构建自主破解软件的网络安全智能体。

这样你就可以修补它们。

如果你稍微推测和想象一下，那些长期运行、非常廉价、非常持久的智能体能够实现哪些事情，我们讨论了一些非常实际的例子，比如深度研究、网络安全等等。

但如果你对这些用例想得更梦幻一点，这种推理将会解锁一种新的产品类别。

我想问题就是，那又怎样？

比如，如果你取得了最大程度的成功呢？

稍微想象一下这可能会带来什么。

是的，绝对。

所以对于个人用户来说，我最兴奋的是这种主动智能体的概念。

你可以想象一个一直在后台运行的Siri，它了解你一天中收到的所有邮件、所有短信，对你的生活有一个更全面的百科全书式的视角，并且知道如何在那生活中提供帮助。

目前还有一些点解决方案，所以最终你还是得做大量的提示工作。

Siri 不是很主动。

这个问题，我们可以通过充足的推理来解决。

如果你足够信任机器，觉得它可靠又可信任——比如隐私方面——那你甚至可以想象，机器能理解你是如何与它互动的，并主动为你展示下一步操作。

每当你打开手机，我们能不能建立一个好的模型，预测你接下来要做什么？

而我的估计是，是的，我们完全可以。

而关键就在于极其廉价的智能。

你必须愿意在没有回报承诺的情况下花费 token。

从长远来看，我们拥有一种可以解决任何可验证问题的智能形式。

任何可验证问题，意味着大多数软件。

也意味着很多形式化的数学证明之类的东西。

还可能意味着科学发现。

这些都是相对可验证的问题。

而所有这些事情目前都有个美元成本，本质上是个隐藏成本。

就像你需要投入多少 token 才能让它运转起来？

我们其实已经开始让这些长周期任务的美元成本变得可见且合理。

不是百万级，而是千元级，甚至在不久的将来可能降到几百甚至几十美元，就能获得任何科学问题或研究问题的明确答案。

所以如果我们畅想那个未来，基本上我们最后只受限于人们能提出的问题。

差不多。

我们能提出的问题，模型已经处于可以处理一个高层问题并追踪到底的边缘了。

每一个可能的后续问题，你都可以让模型自己去处理。

问题就是，你愿意花多少 token？

我们会解决 token 预算的问题。

那不可验证的任务呢？

我基本上把人类品味这一类全都归到那个类别里了。

我们还没有解决人类品味的问题。

我也不确定从根本上能否解决。

我期待能有惊喜，但我们目前专注于非常定量的问题。

我们把写作的质量、艺术的美感留给人类。

好了，现在我们来聊聊你希望最终构建的那个非常巧妙的解决方案栈，用来打造一个巨大的 token 工厂，成为一个提供极其廉价智能的供应商。

我觉得你可以从三个层面来思考这个问题：软件、硬件和电力。

那就说说你的整体计划吧，怎么去应对这个和大多数人想法都不同的挑战？

我们一直都得从软件入手。

在现在的芯片和数据中心上，有哪些机会可以提升效率？

我们做的第一件事，就是尝试围绕 GPU 的峰值效率搭建整个 LLM 软件栈，也就是说，我们用的是 NVIDIA 的 GPU。

我们想从同一块芯片上榨出的 token 数量比世界上任何人都多。

这要从最底层的编程开始，也就是 kernel。

这其实是我的老本行。

我这辈子，不对，是我整个职业生涯，都在和 GPU 以及 kernel 打交道。

我的第一份工作就在 NVIDIA。

我上大学的时候，亲眼见证了 Tensor Core 是怎么一步步赢得它在芯片上的位置的。

那是在 2016 年。

给外行人解释一下这到底意味着什么。

好，Tensor Core 是 GPU 上一个专门加速矩阵乘法的单元。

就这么简单。

Tensor Core 随时间演进的历程很长，我们后面再细说。

那为什么矩阵乘法这么重要？

问得好。

其实我也不能说宇宙真理就是矩阵乘法成了计算的基本单位。

但有人跟我这么解释过：矩阵乘法是一种非常简洁的方式，能把两组数字混合在一起，让它们以有趣的方式相互作用。

关于这点我也只能说到这儿了。

线性代数恰好能很紧凑地表示任意关系和数据，这确实很方便。

NVIDIA 是一家很棒的图形公司，在 GPU 和游戏图形领域占据市场主导地位已经很久了。

然后从 2010 年代中期开始，他们启动了一些秘密项目，让图形处理器更适合他们正在关注的机器学习任务。

我记得我在 NVIDIA 的时候，还读过一些经理的实验笔记。

他们那时候会去参加像 ICML 或 NeurIPS 这样的小型机器学习会议，然后记下这些论文，心想：哦，这个深度学习的东西好像开始流行起来了。

特别有意思的是，这些研究生用游戏级的 NVIDIA GPU 来训练他们的大模型。

我们应该深入了解一下，看看是怎么回事。

到了 2015、2016 年，至少 Jensen 有决心去加码，觉得我们芯片的这种用途只会越来越大。

让我们开始把越来越多宝贵的硅面积分配给这种正在兴起的能力。

我们把第一版Tensor Cores放到芯片上。

所以我们说的是拿这个游戏芯片——它本来是用来在屏幕上画像素的——然后改造它来做矩阵乘法。

那时候还很早，你基本上要跟图形团队竞争。在任何芯片公司，你要更多的硅片面积，总是有竞争的。

设计师们对那个保护得非常小心。

你绝对不想投资到错误的技术上，因为那是机会成本，你本来可以把资源分配到其他功能上的。

所以我们拼命争取，最后只拿到了很小的一点芯片面积，大概5%到10%吧，给第一代这样的芯片，用来对基本的卷积做一定加速，而卷积是当时计算机视觉模型的基本运算。

然后我们有一个软件团队，试图把芯片的所有性能榨干。

我想在那个软件团队——也就是我工作的地方——那实际上教会了我最多关于NVIDIA的那种精神。他们有一个术语叫'speed of light'。

他们做任何硬件，都会去追求光速。

这在每个工程师的脑子里根深蒂固：如果机器能做到，我们就会把机器推到极限，直到它做到我们认为它能做到的。

光速就是可能性的极限边缘。

光速就是可能性的边缘。

没错。

如果我们认为芯片能以这个频率运行，每个周期能产生这么多乘法运算，我们就一定要达到那个目标。

我们会打破每一个瓶颈，达到那个性能峰值。

所以直到今天，我跟我所有的工程师说，我们在追求100%的speed of light。

我不在乎跟竞争对手相比的相对数字。

我只在乎绝对数字。

我们能在芯片上做到什么，以及我们怎么实现它？

在我们结束你在Nvidia的那段经历之前，除了那个文化触点之外，还有没有别的真正改变了你思考方式的东西，或者当时那个公司运营方式、它的文化里最让你印象深刻的？

我有好多关于Nvidia的故事。

我们可以——我可以给你讲几个。

我最喜欢的一个是，从任职时间来看，2015、2016年和我一起在Nvidia工作的很多人今天还在那里。

那家公司的员工留存率高得惊人，而且坦率地说，这些是硅片领域最好的工程师，至少是我整个职业生涯中合作过的最好的。

他们极其、极其有动力，充满热情。

他们相信并行计算这个概念，经历了它的各种形态，也喜欢看着芯片不断进化。

这是他们毕生的事业，而且他们在那个方向上非常非常有能力。

他们同时也是一家非常节俭的公司。

NVIDIA，还有所有——我想是2008年之后所有的硅谷公司，都在员工福利上做了一些削减。

比如说，没有免费午餐了。

NVIDIA 更进一步了。

冰箱里没有免费牛奶。

所以你在 NVIDIA 想喝咖啡加牛奶的话，每个月得交一块钱给牛奶俱乐部，他们会用 Costco 的牛奶把冰箱填满。

我记得清清楚楚。

我们在 Sail 不搞这个，但这种节俭文化渗透了整个公司。

从那段经历出来，你就学会了怎么通过软件更高效地利用底层硬件。

对。

那把它跟今天的环境联系起来呢？

嗯，没错。

我觉得 GPU 本质上就是个吞吐量机器。

GPU 最开心的时候，就是你给它一堆活干，让它满负荷地跑计算单元。

但这并不是过去十年我们使用 AI 的方式，对吧？

我们实际上把 AI 推向了交互式聊天工具，这是今天最常见的用法。

在这种场景下，你特别关心的是尽快把答案吐给键盘前面的人。

你说得对，别让用户等，我要的就是越快越好。

这对 GPU 来说就很有意思了。

你想快速吐出 token 的时候，很难让 GPU 进入那种计算单元满载的 happy path。

GPU 上有一个根本的权衡：要么侧重吞吐量，要么优化延迟。

因为用法是聊天机器人导向的，大家都选了延迟优化。

我相信这是未来一年我们能看到的最深刻的变化。

我们会从聊天机器人转向更主动或后台运行的 agent。

在那个世界里，围绕吞吐量来构建整个体系就合理多了。

你能从技术上解释一下为什么吞吐量和延迟之间的权衡无法打破吗？

为什么同一块硬件上我们不能两者兼得？

这在几乎所有你能想到的系统里都是很基础的问题。

总是有个权衡：要么让少量数据尽快通过系统，留出足够的缓冲空间；要么就宽通道慢处理。

就像窄通道快跑对宽通道慢跑，这是计算机科学里的经典权衡。

但具体到 GPU，我觉得有个东西值得关注，就是 GPU 上的 batching 概念。

我们想把很多用户的工作打包成一个 batch，然后在 GPU 上一次性跑完。

这就是 GPU 的并行处理。

我们希望能有大量并行的工作要做。

但问题是，当你一起运行一大批次计算时，实际上你做的总工作量是更多的。

所以你可能填满了所有单元，但在每一步，当你在GPU上携带一批工作前进时，要做的工作反而更多了。

因此，批次中的任何一个token或任何一个用户的请求，都会在GPU上花费更长的时间，因为要和其他人的流量一起被处理。

也许可以这么说，如果你想去旧金山市中心，你可以坐公交，也可以坐私人交通工具。

私人交通会有一条直达路线，直线距离最短，或者完全按照你想走的路线从A到B。

而公交车要服务更多乘客，它必须从根本上做一些对所有人都有效的事情。

所以它会走更慢的路线，而且会停下来等其他人上下车。

我觉得公交车和汽车的类比还挺准确的。

这是个很好的类比。

所以你们要做的事情的第一步，就是在NVIDIA GPU上打造出最好的公交车。

那是你们的第一步——完全正确。

这意味着我们会探索不同的并行方案之类的东西。

也许我可以再给你举个例子，在NVIDIA GPU上，他们真正创新且做得非常出色的一点是GPU之间的NVLink互连。

事实上，NVLink系统非常出色，如果你有一个大型矩阵乘法想要更快地执行，你可以把这个矩阵乘法切成两半，然后分散到2个甚至最多8个GPU上。

比如说NVIDIA GPU，让它们各自处理那个大型矩阵乘法的一部分，最后再把结果连接起来，汇总到一起。

这是一个非常非常好的方法来降低操作的最低延迟。

每个GPU现在只做原来的八分之一的工作，所以它能更快完成，但并不是快8倍。

这是次线性扩展。

你会用8倍的硬件，但不会得到8倍的速度。

你可能只获得4到5倍的速度。

你得不到强扩展性。

这是因为通信开销。

这是因为每个GPU在处理更小的数据块时，效率会比处理更大的数据块稍微低一些。

所以这是唯一能加速的方法。

如果你想要尽可能低的延迟，你可以这么做，但这不是我会做的选择。

比如说，嗯。

我更倾向于使用不同的并行方案，比如专家并行或流水线并行。

我们可能会做一些有趣的事情来重叠和隐藏通信延迟。

在低延迟服务中，你做到这一点的能力就会较弱。

所以，NVLink 这项技术是不是应该理解为它主要提升延迟性能？

对。

只是延迟性能？

这其实会引出下一段，也就是我们公司具体做了哪些不一样的事情。

但没错，NVLink 对于低延迟推理来说，我觉得是必须的。

NVIDIA 在低延迟推理方面确实很厉害。

但我告诉你，我们并不太关心低延迟推理。

那这又意味着什么呢？

我其实不指望其他公司能很快搞明白 NVLink。

这是个很有挑战性的技术。

很难规模化。

也很难产品化。

所以如果我拿到的是其他厂商的芯片，它在基础计算组件上表现不错，矩阵乘法依然能做得很好。

但它没法快速把计算结果在芯片之间传递。

那么，也许这种其他芯片在我的架构里可以充当一个非常划算的计算单元，每美元的计算性能很高。

而我大多数情况下真正优化的就是：这块芯片有多少 FLOPS，以及我每小时运营、拥有和运营它的成本是多少。

所以确实有其他芯片在每美元 FLOPS 上比 NVIDIA 更高，但它们的互联能力可能没那么强。

所以我的任务就是搞清楚要用什么并行方案，让这块芯片适合推理。

不会用张量并行。

NVIDIA 基本是张量并行的必备，但其他技术也可能行得通。

那在离开延迟这个话题之前，你能谈谈像 Cerebras 或者其他能实现极快运算的公司吗？

我很好奇，你怎么看这些方法、这些公司，以及未来可能发生什么。

你对未来专注于超低延迟的硬件有什么预测？

Cerebras、Groq，还有另外几家刚走出隐身模式的公司，我觉得它们做了一个很有意思的赌注：不只是造另一个 GPU，而是造一种不同类型的加速器，专注于不同的存储层次。

它们想最大化芯片上的 SRAM，把它用作非常快的存储，来存放权重和 KV cache。

SRAM 和 DRAM，给芯片做存储有两种方式。

一种是把存储直接集成在逻辑芯片上，也就是你告诉台积电，我要在芯片上放这么多兆字节的存储。

有办法做到这一点。

台积电有一套标准单元库你可以用，你直接打印出一堆 SRAM 单元就行。

SRAM 的问题在于它占用了硅片很大的面积。

所以如果你想做一个大芯片，比如说英伟达的Blackwell，800平方毫米，如果整个芯片都用SRAM，那容量大概也就个位数GB。

并不是特别大的数据存储量。

相比之下，如果你愿意换一种完全不同的工艺技术。

那就不是台积电了，而是美光、SK海力士、三星。

他们生产DRAM，这是一种完全不同的内存制造方式，更侧重于电容器而不是晶体管单元。

SRAM的标准构建方式叫做6T晶体管单元。

这是一种稳定的晶体管结构，你可以写入一个比特，然后它会保持这个状态，不需要持续管理，当然还是需要供电，但它是静态保持的。

它是静态的。

现在是动态RAM，也就是DRAM。

它之所以叫动态，是因为写入数据时，你是把电荷写到一个电容上。

而一旦你把电荷写进那个电容，电荷就开始消散了。

它在泄漏。

所以DRAM的动态部分在于，你必须每50毫秒左右刷新你写过的每一个比特。

所以你相当于同时在抛几十亿个球，也就是几十亿个比特，必须由一个内存控制器来管理，它不停地读取和刷新DRAM上的每个比特。

但这样做的好处是，你可以实现高得多的密度。

而且这是一种完全不同的工艺技术。

这里面有非常多的权衡，所以我们把DRAM制造分给了完全不同的公司，比如美光、SK海力士和三星。

这些是全球做这件事最顶尖的公司。

他们生产DRAM。

如果你从这些公司拿到DRAM，把它们堆叠成很多层，然后印刷或焊接在英伟达的主逻辑芯片周围，你就能得到几百GB的容量。

比如Blackwell有288GB的HBM容量。

都分布在逻辑芯片的周围。

而逻辑芯片本身可能只有大概500MB的SRAM。

所以DRAM和SRAM的密度差距可能有好几个数量级，大概是3个数量级。

好，那咱们回到Cerebras。

他们在做什么？

他们看到了这个问题。

在芯片上提高SRAM密度并没有太明显的办法。

但SRAM的好处是，它离真正做计算的逻辑门非常近，算术逻辑单元就在它要读取的SRAM旁边。

做矩阵乘法的计算单元从SRAM读取数据，速度快得惊人。

Cerebras 宣称每秒能处理 21 PB，也就是他们的晶圆级引擎 3 能达到每秒 21 PB。

相比之下，NVIDIA Blackwell 上的 HBM 大概只有每秒 10 TB 左右。

所以还是差了好几个数量级，容量更大但带宽比例上反而更低，差不多就是这样。

对。

所以 Cerebras 的做法是，他们打算尽可能多地使用这些芯片。

他们不打算局限在台积电给我们设定的那个 800 平方毫米的掩模限制里。

他们要直接拿整个晶圆，并且让每个芯片通过划片线跟其他所有芯片相连。

他们就是想尽量在整个晶圆上堆更多的 SRAM。

那么每个晶圆大概能拿到 50 GB 的 SRAM。

然后他们会把多个晶圆像流水线那样叠在一起，或者用类似的方式。

这样一来，最多就能有 TB 级的内存，而且速度非常非常快。

所有这些工作，就是为了让每个晶圆能以每秒 21 PB 的速度从 SRAM 读取数据。

所以现在你能以极高的 tokens per second 来运行这些语言模型，因为你可以在大约一毫秒之类的时间里，把一个像 Kimi 这样的大模型的所有参数数据都搬进搬出芯片，或者说是搬进搬出逻辑核心。

就是这样。

你有望达到每秒 1000 个 token。

那么你对这个市场细分领域有什么预测？

我觉得他们的结果会是某种混合形式。

我们必须把 Cerebras 芯片——这个在快速内存访问方面非常非常擅长的芯片——跟一个内存容量更大的东西搭配起来。

因为虽然你可以把像 KIMI 这样 1 万亿参数的模型放到很多 Cerebras 晶圆上，但要处理 KV 缓存就没那么容易了。

KV 缓存这个东西会随着用户使用模型越来越多而增长。

而且它始终是动态变化的。

你甚至不知道你需要多少 KV 缓存。

这完全取决于你的用户数量，以及你想服务多少用户。

你能用简单的话解释一下 KV 缓存吗？

可以。

KV 缓存是这样的，每次你用语言模型时，每个你输入的 token 实际上在你对话期间会一直留在模型的上下文窗口里。

所以如果我们对话了 10 万个 token，那么第 10 万零 1 个 token 仍然在之前的对话里，模型会参考所有过去的对话历史来更好地预测接下来要说什么。

所以那个 KV 缓存就是一块内存。

你必须为你传入语言模型的每个 token 存储一个表示，而且它常常比模型本身的权重还要大。

所以这个KV缓存就是一堆内存。你得为每个通过语言模型的token存储一个表示，而且它经常比模型本身的权重还要大。

你可以这么理解：模型权重里存的是固化的知识，而 KV 缓存里存的是我们当前对话的动态知识。

所以有时候人们会观察到，聊到深入的时候内容开始变差，就是因为某种技术问题。

对，KV 缓存在这方面挺有意思的。

KV 缓存精确地记录了之前所有内容。

我们把对话中见过的所有信息都存起来了。

不过，在训练的时候，模型主要不是用超长上下文对话来训练的。

它主要是在八千 token 或者一万六千 token 的对话上训练的。

所以如果你把模型拉到二十万 token，虽然在那样的上下文长度上也有一些训练，但那不是模型的核心强项。

所以前沿实验室一直面临一个挑战：怎么让模型在一万 token 时跟二十万 token 时一样聪明？

这将会是一场持久战。

我们提出百万级上下文窗口这个概念已经好几年了。

Anthropic 好像是最先达到一百万上下文窗口长度的。

我在自己的 Claude code 里，远没到一百万字上下文长度的时候，就还在用 /compact 命令。

我觉得真正用到那么长其实并不好。

所以这些极快、极低延迟的方法最终都会受这个因素的限制。

没错，权重的存储你想怎么做都行。

权重存储做到无敌的性能是完全可以的。

但是 KV 缓存会给你造成大麻烦。

那么三五年后，你觉得这类芯片会扮演什么角色？

比如在异构芯片市场上，它们能占多少份额？

Cerebras 和 Groq，可能还有其他几家，你应该把它们看作加速器。

它们真正擅长的是和更传统的、带有片外内存的 GPU 类设备一起使用。

你需要片外内存来保证容量，片内内存来保证速度。

我们想把这两者结合起来。

拿 transformer 来说，如果你把上下文长度拉到一百万，就会出现两种情况：一个是计算密集的阶段，也就是我们说的 MLP 里的矩阵乘法，模型大部分的知识和世界知识都编码在这里。

另一个是注意力层，它负责动态适应当前的对话。

在极限情况下，注意力层通常是内存瓶颈，而 MLP 在足够大的 batch size 下是计算瓶颈。

我觉得 transformer 的原罪就是把一个本质上极度内存密集的层，紧挨着一个计算密集的层。

很难让单一芯片同时擅长计算操作和内存操作。

GPU 在这方面比较平衡，但你本来必须在两者中选一个。

Cerebras 在做矩阵乘法之类的运算时，内存访问速度非常快，特别适合在 Cerebras 芯片上托管 MLP，也就是那些权重。

但 GPU 有能力扩展到非常长的上下文长度。

所以你可能想把注意力机制放在 GPU 上，把 MLP 放在 Cerebras 芯片上。

而且我相信这就是 NVIDIA 和 Groq 正在做的事情。

你能花一分钟聊聊 Transformer 吗？

你对一些核心概念的讲解一直都很棒，所以想请你给那些对 2017 年这项创新不太熟悉的人讲讲，它的优势和劣势是什么，以及你认为它是否会继续主导 AI 的未来，或者说还会是未来的主流架构吗？

它的作用是让我们能够非常有效地在无监督数据上进行学习。

因为 Transformer 归根结底就是，它能够处理任意序列——任意数据序列——并试图在其中找到模式。

最关键的是注意力机制，这是 Transformer 的招牌组件，它让模型能够动态调整，聚焦于它认为序列中最相关的部分。

每当你通过 Transformer 运行一步，你实际上都是在重新调整之前看过的输入的权重，然后决定哪些信息对你的下一个预测最有用。

所以它非常适合学习任意的序列数据。

而我们日常产生的最有趣的序列数据就是语言。

这就是为什么我们能在语言领域取得统治地位。

但如果站得更远一点看，我认为 Transformer 真正做得好的一点是它们能够规模化。

Transformer 没有带任何人为的先验假设。

Transformer 只是说：嗯，数据序列里一定有某种模式。

如果有模式，我就能找到它。

我会往这个问题上堆越来越多的参数，直到它工作为止。

Transformer 也从很多计算机视觉的工作中受益。

比如计算机视觉的一个挑战是，我们很难从几十万个参数（就像支持向量机这种线性模型，或者其他传统机器学习模型所用的几千个参数）跳出来。

那些模型只有几千个参数。

然后我们进入了深度学习时代，计算机视觉模型达到了几千万个参数。

当时最大的模型大概有 1.5 亿个参数，这在计算机视觉里已经算很大的模型了。

而现在我们经常讨论的是万亿级别的参数。

而 Transformer 正是从百万参数跨越到万亿参数的关键。

那么如果我认为规模化的关键单元是数据和算力，是不是有理由觉得 Transformer 会一直存在下去？毕竟我们现在擅长获取的就是这两样东西。

嗯，数据还是个开放性问题，但算力肯定是。

对，Transformer 就像——它们就像超级海绵。

你知道，如果你给一个 Transformer 增加 10 倍的算力，它在某些方面就会对数级地提升。

而且到目前为止，规模定律确实有效。

它们真的非常漂亮。

那么回到刚才那个点，我觉得，transformer 到底擅长做什么？

它们几乎能适用于你能给到的任何数据集。

它们是极其强大的通用学习器。

我觉得 transformer 比其他我们试过想替代 attention 的技术更有用的是，transformer 能够表示你想要的任意一对关系。

序列中的任意 token 都可以关注到序列中的任意其他 token。

所以如果序列中哪怕存在任何关系，你用 transformer 都能找到它。

不过，有时候你可能并不需要全对全的建模。

你不需要每个 token 都去看其他所有 token。

但如果你需要的话，transformer 给你提供了这个选项。

而直到我们找到更好的方法来缩减这个空间，让信息建模更有选择性之前。

Attention 是一个非常非常好的操作。

这又是我们在计算机视觉时代学到的一个技巧。

Karpathy 以前有句话是这么说的：如果你有一个新数据集要训练模型，你的首要目标应该是让模型参数过充裕，然后试着过拟合你手里的数据——这样能证明数据中存在你可以建模或记忆的关系，证明你的学习算法有效，证明你可以把知识注入到模型里。

一旦你能过拟合，接下来就可以做压缩。

而压缩就是你获得泛化能力的方法。

你并不想真的死记硬背你面前的数据。

你想做的是泛化。

所以，一旦你过拟合了数据集，就可以反过来工作，试着找到那些能用最少参数数量去适配的通用模式。

你对数据的未来有什么预测？顺便谈谈数据在整个故事里的重要性？

我喜欢这个说法：互联网是一次性数据补贴。

我们是免费拿到的。

数据质量非常高，大约有30万亿 token 的高质量文本。

如果你对好文本的定义更宽泛一点，那就是300万亿 token。

基本上我们已经全部看过了。

到目前为止，模型已经把整个互联网看了无数遍，在互联网人类数据上能做的事情已经不多了。

在我看来，数据的下一个阶段基本上是模型通过强化学习环境（gym）来自我提升。

事实上，我们甚至不再从获取更多的随机用户与 AI 互动中受益。

以前我们非常关心的一种新数据是用户使用 ChatGPT 时的互动数据，他们给 ChatGPT 提供喜欢或不喜欢的反馈信号。

我现在喜欢这样一个观点：我们提供的中位数模型已经远比一个随机的人类反馈者要先进，以至于从随机人类偏好——或者说人类无条件的偏好——得到的信号实际上已经没有任何价值了。

到这个时候，你需要专家的偏好反馈。

模型已经超出——

对。

普通人。

对，普通人。

没错。

所以我对数据未来的看法是，给模型一个硬性的、可验证的任务，让它在一个像健身房一样相对隔离的环境里运行，面对一个可以不断推进的问题，并且能衡量它在这个问题上有没有进展。

你可以想象，编程问题就属于这一类。

数学问题也属于这一类。

而且越来越多的情况下，我们基本上可以给智能体一台电脑，让它像人类员工一样工作。

然后只需要告诉它，它离目标结果有没有推进。

那个环境本身就变成了数据。

我觉得这不算什么超级独特的见解，但从我目前看到的情况来说，效果真的非常非常好。

那你觉得这个路子会持续很长一段时间，还是说，打个比方，如果我把互联网看作一个大区块，那这个就是另一个大区块，它会风光一阵子，等我们把它全都吃透，就得转向别的东西了？

我觉得其实比那更深刻。

基本上，这个想法是，如果你想要通用人工智能，最好的办法就是不断叠加专用智能，直到没有空白需要填补。

这里的关键测试是，你要确保这个做法能奏效，唯一要做的就是让任务变得可验证。

你得给模型一个自我评分系统。

如果你有这个，那你就有了在任何任务上自我改进的方法。

我觉得你们已经看到这一点在顶级实验室的投入上体现出来了。

他们以前花那么多钱在数据上。

现在他们花更多钱在强化学习环境上了。

而这些环境正好抓住了在可验证任务上进行递归自我改进的这种关系。

好。

嗯，我很高兴我们跑偏了，聊了些小话题，但回到你最初的目标——通过软件更好地控制硬件层面，让现有硬件更高效。

那你就继续讲讲你已经做了什么、想做什么，然后我们再跳到硬件，最后再聊能源。

没问题。

嗯，我提到了内核。

这挺让人惊讶的。

大家都觉得内核已经搞定了。

有一些很厉害的人，比如Tri Dao，他们写了非常优秀的kernel，这些kernel构成了现代深度学习的基石，我们所有的现代深度学习都是建立在flash attention上的。

现代的transformer都是建立在flash attention上的。

但是如果你稍微偏离了这条顺风顺水的路径，就会出现一个新模型，它嵌入位置信息的方式略有不同，比如RoPE系统的变化。

突然之间，我们已有的那个kernel就不适用于这个新模型了。

然后我们可能就得给这个kernel打一个补丁。

我不敢说我们到了必须从头发明新kernel的阶段，但有能力快速修改现有的GPU kernel——抱歉，是kernel——顺便说一句，kernel是一个通用术语，指你在GPU上运行的任何程序。

所以从历史上看，kernel往往会被放进一个库里面，每个kernel都有非常非常明确的用途。

通常你会有一个做矩阵乘法的kernel。

你还有另一个kernel，甚至是为了像加法这么简单的事情。

你想把两个tensor加在一起，那又是另一个kernel。

然后渐渐地，我们开始把这些kernel融合在一起。

所以如果我做一个矩阵乘法，然后想把它加到另一个也同样乘过的矩阵上，也许这两个就可以合并成一个kernel，然后我把这些操作融合起来，这样就不用为了做加法而把数据写到DRAM里再读回来，也许我就能轻松实现。

为什么现在还是人类在做这件事？

这看起来像是AI会特别擅长的事情——设计更高效的kernel。

也许这正是我们要走的方向，只是我们还没真正走到那一步。

但如果我们还没走到那一步，那这真的是我们要走的方向吗？

如果我们还没到那一步，那为什么还是人类在做这件事？

为什么Treehouse这么有名？

这个名字我听说过。

我不想替Tree说话，但他教给我的是，你不一定非要再手写kernel了。

我喜欢说我们是在白板上写kernel。

我们走到白板前，描述我们认为机器应该做什么。

然后我们把这个用自然语言简洁地描述给一个模型。

然后模型就能够执行，它会说，好的，这是我的输入和输出。

这就是我们想把工作分配到GPU上的策略。

我要去把这个工作实现出来。

所以我们是做概念设计。

没错。

而且我觉得，我不太确定为什么模型做这个并不出色。

我不认为这是我们的护城河或者类似的东西。

我敢说六个月后，我们在内核工程上会有更好的模型。

而且我敢说，那些实验室会告诉你，他们已经用全自动的方式做了很多内核工程。

所以软件作为一种优势——如果我把软件理解为在接近光速效率下使用底层硬件——从长远来看，它不会成为你们公司这样的优势。

我觉得没错。

像 Mythos 或者 GPT-5.6 SOL 这样的浪潮，能带动所有船只。

确实如此。

我其实不认为有必要专门说我们只把模型做得更好用于内核工程。

我觉得这实际上不是编程中最有意义的一个子集，特别是内核工程。

也许你可以往提示里注入一些特权信息，这样就能引导模型更好地编写内核。

但总的来说，是的，就这种能力而言，我们都依赖前沿进展。

我一直很喜欢能源史上的一个现象。

总有一个钟摆在摆动：一边是原始资源，比如煤；另一边是，一块煤里有多少能量能被我们利用，利用率是多少。

能源史的一个重要部分，就是把那个数字从10%提高到95%左右。

我们处在什么位置？

就像，假如把 Blackwell 或类似的东西看作一块煤，你觉得我们现在利用率大概是多少？

我的意思是，今天对现有硬件的利用效率有多高？

有很多不同的方式来分析这个问题。

我觉得在某些层面，当GPU执行它最擅长的任务——也就是大维度的矩阵乘法时，我们在优化性能上做得非常高效。

那个运算能达到70%到80%的峰值利用率，限制因素不是软件，而是功耗。

NVIDIA 标称的峰值FLOPS有点乐观。

因为功耗限制，你永远达不到那个数。

因为发热。

对，没错。

热管理。

就算70%到80%吧。

已经饱和了。

那已经很不错了。

但实际上，在Transformer中，大部分时间你并不处于那个愉快的路径——也就是做大批量的矩阵乘法。

所以我们的工作本质上就是构建芯片周围的环境，确保GPU始终有大批量任务可以处理。

嗯。

过去一年里，GPU领域最深刻的一个转变就是，你不再是一次只编程一个GPU了。

你得考虑整个机架，甚至要考虑整个集群，整个数据中心。

而NVIDIA，再次，他们已经开始发货的不再只是单个GPU或单个主板，而是整个机架系统，这是他们推荐的方式。

他们叫它NVL72。

他们最新的芯片Grace Blackwell 300，是以一个72台的机架形式出货的。

现在大家都在竞争，看谁能以最高效的方式编程整个机架规模的计算机。

而我相信，这种计算形态是未来效率和速度的方向。

实际上，NVIDIA做得很好，如果你想要最低的延迟，你就应该用这个芯片。

如果你想要最高的吞吐量，你大概也应该用这个芯片。

至少目前是这样。

这一切都归结为，这是一种非常新的编程范式。

我听说的一种说法是，现在最好的芯片，比如Blackwell，它的市场就像毒品市场一样。

人们为了尽可能多地搞到它们，各种疯狂的事情都在发生，因为实在太短缺了。

我很想听听你对这个比喻的看法。

实际情况真的是这样吗？

百分之百是这样。

那你能也说说那些不是最顶尖芯片的市场情况吗？

比如我如果愿意接受一个稍微差一点或者中等差一点的芯片。

那个市场是什么样的？

给我们讲讲那个世界吧。

好。

行。

说几点。

第一，是的，基本上NVIDIA对他们所有芯片都有长期考量。

他们看到对Blackwell芯片的巨大需求，本可以像其他供应商过去那样，直接涨价来满足市场，供需曲线自然会调整。

它们会在某个点相交，最终大家从技术上来说都会更满意。

但NVIDIA认为，如果让资金最雄厚的买家把芯片都买走了，长期来看可能对自己不利，因为那个客户最终可能会积累更大的权力。

他们明白，现在的计算能力就是权力。

所以他们在分配算力时非常具有战略眼光。

这是我的第一个想法。

第二个想法是，人际关系非常重要。

没人愿意看到一个新创公司下了一个巨大的芯片租赁订单，说什么‘哦，是的，我要租一万块Blackwells，租三到五年。’

这个新创公司通常才运营了几个月。

谁知道他们值不值这个钱？

如今，要说服别人给你提供算力是相当有挑战的，要么需要非常好的人际关系，要么就得有惊人的财务支持，才能在Nvidia那边实现。

这都是因为稀缺性太高，而需求又高得离谱。

至于其他芯片，我甚至不会说它们更差。

我喜欢说，没有不好的芯片，只有不好的定价。

只要价格合适，我就能让任何芯片发挥作用。

这有点像公司的精神之一。

我们来聊聊AMD。

对，AMD，我认为总体上是很好的芯片。

挑战在于人们不太明白怎么很好地编写它们的程序。

所以，你知道，我之前跟你聊过，我们有一个非常棒的kernel团队。

我们非常认真地压榨硬件的性能。

坦率地说，Nvidia在自己的芯片上做得相当好。

我们能压榨出一些额外性能，但实际上在其他芯片上还有更多可做的，因为供应商在开箱即用地提供最佳kernels方面做得比Nvidia少一些。

或者对我来说更好的是，有额外性能可榨取，而且别人都认为AMD不如Nvidia。

这对我来说真是好消息。

我很高兴他们不重视这种芯片，让我能尽可能多地买。

现在，我觉得这个说法其实不再那么准确了。

我认为AMD在一些大买家中间其实还挺受欢迎的。

我知道公开的，Meta和OpenAI买了大量AMD芯片。

有意思。

所以我们越来越多地看到，所有的AMD供应也在被分配，但还有一大批其他公司正在涌现。

不过真正的新公司很不错，比如Etched、SambaNova或者D-Matrix。

所有这些公司都在涌现，我认为它们的主要挑战是规模。

他们真的能从台积电拿到足够的晶圆配额来生产芯片并推向市场吗？

但当然，如果市场上有新的芯片，我想尽快知道，并评估我们是否能够购买。

相当一部分的供应。

所以对你来说，这本质上是一种套利。

如果你能更擅长从那些不太受关注的芯片中榨出性能，你就可以转手赚取差价，这可以成为一个很好的生意。

没错。

没错。

而且我觉得，并不是说其他人有技术难题，没法把这些芯片用得好。

我们在这方面挺有能力的。

我们可能是世界上最好的团队之一，能够使用多种架构的芯片，并在那些意想不到的地方积极追求性能提升。

但我觉得，关键在于我们愿意围绕新芯片快速构建软件栈。

我们并没有太多历史包袱，比如数据中心供应商只能固定使用某类芯片，部署新芯片会很麻烦。

我们有一些非常有创意的数据中心合作伙伴，他们愿意快速行动，而且还有一类新的合作伙伴可以介绍。

最重要的是，我们不怕挑战。

坦率地说，这很大程度上就是愿意说，是的，我们喜欢TPU。

我们会让TPU发挥作用。

是的，我们喜欢Trainium。

我们会让Trainium发挥作用。

如果它不能很容易地运作，我们也会想办法，通过异构服务系统来适配。

它总会有用武之地的。

每种芯片都有它的比较优势。

我们得找到那个优势，然后从那个方向去榨取潜力。

在我们进入硬件、数据中心、能源这些更精彩的话题之前，我想先聊聊你对投资者群体忧虑的看法。

比如，你看看存储器股票。

是的。

或者我最近喜欢看一张图，显示半导体在标普500指数中的占比。

历史上，大概是2%、3%、4%。

现在到了19%、20%、21%。

看起来，如果你研究市场历史，总会看到一些东西在某段时间冲到疯狂的高点，然后又跌回到长期平均水平。

我很好奇，这怎么让所有投资者都感到担忧的。

是啊。

所以，很多人从Micron和SK Hynix这类公司赚了很多钱。

但每个人都觉得，长期来看，计算是一种商品，它不可能占到全世界总市值的四分之一或五分之一。

所以他们很害怕。

这就是那个背景。

每个人都承认，嗯，存在巨大的短缺，但大家又都觉得，哎，我们会搞定的，这些东西会回到资本市场里它们正常的位置。

我很好奇你怎么看这种说法。

有一点，我不太算是历史的学生，更像是历史的一部分。

我1997年出生，我妈妈在Intel工作，正好赶上2000年前夕，还有互联网泡沫的兴起和崩盘。

我记得当时Cisco是全球最有价值的公司，Intel也紧随其后。

我主要是把25年前那段历史和今天做对比。

我觉得主要区别在于，历史上很多网络设备的投资都是投机性的。

我们预期了未来用户的需求，但那些用户从未出现。

我觉得token消耗，或者说广义上的AI消耗，有趣的地方在于它不再是投机性的了。

人们购买token是因为它们对当下就有价值。

你不会囤积token，你会立刻使用它们。

这也和我们两年前的情况很不一样，2023、2024年的时候，Hopper系列的芯片出现了供应紧张。

那个时期，支出都是面向训练的，而训练本质上就是投机性的。

现在则是——每个人都在对自己在云计算上的支出设置上限。

这是一个非常、非常不同的世界，我们现在谈论的是推理支出，并且预测推理支出会增长。

我确实认为推理支出会单调递增。

推理支出没有任何投机成分。

现在回到你对硬件的看法。

我对单元级别很感兴趣。

比如聊聊芯片、机架、集群。

我很想聊一聊数据中心。

你说过你有一些很有意思的合作伙伴在做很酷的事情。

跟我们讲讲你眼中数据中心的现在和未来吧。

嗯。

因为这显然对于能够服务所有这些推理需求来说至关重要，这个领域需要大量的创新。

而且显然你也专注于这方面。

我觉得我们对话中反复出现的一个主题就是：什么是训练？什么是推理？

这两类之间的区别到底是什么？

那么，两年前以训练为主，而现在以推理为主，这有什么不同呢？

我觉得整个AI产业链中最保守的玩家，肯定是基础设施提供商，不管是数据中心还是更保守的，像TSMC这样的芯片基础设施。

以前的数据中心，比如AI数据中心，都是为训练而建的。

而训练是一种包含推理的超集负载。

你可以把任何训练集群拿来做推理，但反过来就不一定行。

这里的区别在于网络。

你在芯片之间的带宽上投入多少，你需要多大的集群？

实际上，数据中心在某种程度上存在规模不经济。

比如，在一个数据中心里建10万张GPU，比建1万张要贵得多、难得多，比建1000张更是如此。

现在我们只讨论你有多少兆瓦或吉瓦。

基本上，在美国要建一个吉瓦级别的数据中心，现在已经不容易了。

就连100兆瓦都越来越难。

除非你是非常特殊的客户，否则基本不可能。

10兆瓦大概在今天还勉强可行。

而1兆瓦，我觉得是充足的。

所以市场上有大量可用的总电力，但问题是它们不集中。

这对那些建训练数据中心的人来说没什么吸引力，因为他们默认——

必须全部集中在一个地方。

必须全部集中在一个地方。

没人想跨数据中心做训练。

所以市场有些滞后。

我觉得市场仍然认为，我们需要到处去找那些100兆瓦和10兆瓦的数据中心。

我仍然从很多数据中心开发商那里听到这种态度。

但越来越多地，我们看到一些新的思考者意识到，推理更适合这些分布式的一兆瓦数据中心。

我们非常同意这一点。

我们很乐意在美国各地购买小规模的计算资源，作为我们的推理集群。

给我们讲讲，1兆瓦和10兆瓦在物理尺寸上大概是什么概念？

嗯，随着液冷技术的出现，这个问题变得有点专业了。

现在你可以把极高的功率密度塞进一个物理机架里。

比如一兆瓦的计算能力，你可能会想象一个巨大的数据机房，就像一个巨大的仓库。

现在你实际上可以把那压缩到大摡8个机架的算力。

每个机架大概就一个冰箱那么大。

你可以想象一下，8个并排摆在那里的场景。

嗯。

那大概是一兆瓦。

所以你的想法是，你希望帮助构建的未来，就是一大堆不同的芯片可以被一起使用。

是的。

你可以去买，作为买家，你会想方设法从每块芯片上榨出最多的性能。

然后这些芯片可以被组合在非常小的数据中心里，专门做推理。

而这两步——一大堆五花八门的计算资源，其中有些比它本应便宜的价格还要便宜，再加上你从中能榨出更多性能的能力，然后在一个数据中心里用小型单元来部署——就等于更便宜的智能。

我当然这么认为。

是的，有很多途径可以获得更便宜的FLOPS。如果你能对你拿到的资源灵活处理，那么我描述我们做的事情时，会这么说：我们会买世界上任何地方、任何时长的任何芯片。

这种灵活性和流动性，我认为目前没有其他人能做到。

我们非常积极地把钱花在我们自己相信的事情上，我们真的会接受任何算力，然后想办法在我们的集群里把它用起来。

这也是我们今天优势的一大部分。

长期来看，我们必须通过投资这些别人会持怀疑态度的数据中心来创造更多优势，因为，你知道，当你建立一支由1000个小型数据中心组成的队伍，而不是一个大型的千兆瓦数据中心，会发生什么呢？

嗯，有几件事。

你不会有电力冗余，Frank，很多时候是这样。

你现场不会有后备柴油发电机。

那些都非常贵。

我们砍掉了所有这些开销。

很多情况下，我们甚至不会有冗余的网络。

我们会把这些设施放在有良好电力接入的地方，一个单一的电力来源，然后我们会挖一条光纤线路。

连接到这些数据中心，但我们不会有3条光纤线路，然后冗余、故障切换和SLA这些。

它有时候就是会断掉。

实际上，如果其中一些的可用性只有95%，我也不会惊讶。

那挺糟糕的。

非常糟糕。

对行业里其他任何人来说，那是致命的，灾难性的。

在大型的共享经济里根本活不下去。

一个只有95%正常运作时间的数据中心基本是没买家要的。

我就是那个第一个买家。

我愿意买95%正常运作时间的服务。

这是因为我们这个后台引擎的特性。

如果后台有任务在跑，你们就不在意了，对吗？

不完全对。

其实有两个原因。

第一，我们有一个非常稳健的控制层，只要故障不是多个数据中心同时出问题，单个数据中心里的任何一次故障它都能处理好，我可以直接把工作负载挪到别的地方去，那我就完全没问题。

故障的发生是有一定频率的，而我对一个95%正常运作时间的数据中心、98%或99%的数据中心的满意度基本上是线性的。

对我而言，就是线性地好或差。

不过，确实需要我之前提到的那个异步机制，因为我们服务的是那些长期运行的代理。因为一旦请求失败，我就得去找一个新的GPU来重新放这个请求。

这就意味着在那个代理工作的单一轮次里，它本来要运行一个小时，结果因为GPU被拿走了而遇到了障碍。

在那个时刻，那个代理可能要多等一两分钟、三分钟，甚至十分钟的延迟。

但我的理由是，我的客户并不在乎，因为他们的代理已经运行了好几个小时。

他们都在睡觉呢。

那没关系。

偶尔单个轮次变长一点，根本无所谓。

所以我们告诉客户：听着，我们的平均吞吐量会非常有竞争力，但我们的P99、也就是99百分位的延迟，我们没法控制。

这没办法做到。

但作为交换，我会给你无可匹敌的经济效益。

我认为这非常适合后台代理的场景。

聊聊电力这个类别吧。

你看到了什么有趣或创新的东西？

你觉得这个领域会怎么发展？

好，我刚才说我想要数据中心有95%的正常运作时间。

如果价格合适，我甚至能接受80%的正常运作时间吗？

可能可以。

那这意味着什么呢？

嗯，我是加州人。

我爱太阳能和风能。

我觉得太阳能和风能在美国还没有被充分利用起来。

而挑战一直在于这种间歇性。

你甚至会觉得太阳能和风能不适合用于数据中心，因为你需要持续的基载电力，而它们却是间歇性的能源。

那你打算怎么办呢？

嗯，我觉得我们其实离解决这个问题并不远了。

我完全能够容忍数据中心停电几天甚至几周，这听起来像是数据中心噩梦般的场景——因为没风、云层遮蔽、山谷里雾气弥漫，导致长时间停电。

那就是最坏的情况。

但实际上这高度可预测，我只需要在发生这种情况时，从世界其他地方调用算力就行。

我只需要模拟天气，就能知道我的数据中心什么时候会离线。

把工作负载转移到别处，就没事了。

关键在于，这能让我获得别人不愿意碰的电力资源，因为这种停电处理起来太麻烦了。

而且如果我的芯片够便宜，它们很可能不是 Nvidia 的机架。

而且如果我的芯片够便宜，我也不介意闲置芯片的资本成本。

对。

我听说你把这整个系统描述成一种拾荒策略。

是的，没错。

那你能稍微展开讲讲这个比喻吗？

嗯，首先我们拾荒芯片，然后为这些芯片拾荒电力。

思路是，在这两种情况下，我都不想跟 Anthropic 或 OpenAI 竞价争夺算力。

我赢不了他们，我也不想赢。

我想更有创意一点，用他们目前还看不上眼的供给。

随着时间的推移，我积累了足够的总供给量。

我永远得不到集中的供给。

我只能得到分散的总供给。

随着时间的推移，我建造了在经济学上无法匹敌的分散式工厂。

我们正在建造一座工厂。

我们试图建造世界上最好的钢铁厂，但它是通过小型钢厂来完成的，而不是大型一体化钢厂。

如果我设想不同的版本，比如你可以垂直整合到什么程度，一个极端版本就是你拥有所有东西，这样就成了一个资本非常密集的业务。

你拥有电力来源，建造数据中心，设计自己的芯片，掌控能最大化芯片效能的软件，然后把最终的 token 卖给用户。

比如，你的用户就是我，而你拥有整个堆栈。

嗯。

但你可以想象这个业务还有很多其他变体，你知道的，你可以随便划条线，想怎么划都行。

你也可以做得非常轻资产，什么都不拥有，就充当所有这些事情的协调层，像个虚拟的拾荒者。

对。

你怎么看待这个问题，就是该选择哪一类业务？

你知道吗，我内心其实有两部分在回应这个问题。

一部分是公司的CEO，每天都需要工作，要尽可能可持续、尽可能快地增长。

另一部分是创始人，创始人更有想象力，就是热爱这些东西。

我内心的创始人想什么都做。

这就是我的全部人生。

我这辈子都在思考芯片、电力、能源。

我关心的就只是这些东西。

所以我当然想做到最大程度的雄心勃勃。

我永远不想停下来。

我永远不会停下来，直到我构建出一个从头到尾最高效的系统。

你基本上就是在做现实版的Factorio。

确实如此。

为了智能。

确实如此。

所以这就是从感性角度给出的硬核答案。

从CEO的角度，我觉得我们必须更务实一些。

我觉得要拥有所有东西所需投入的资金，就像你说的，简直是疯狂。

对，软件的杠杆很高，所以我们得从软件入手。

但最终，我们是自己发电，还是能和公用事业公司签下好的购电协议？

我更倾向于让别人专注于他们一直擅长的事情，然后看看我们能不能达到这个规模。

我把它看作这样：我想达到一个规模，让我有资格把这件事纳入我们的羽翼之下。

我绝对认为，在整个技术栈中到处都有效率提升的空间，只要你能打破一个假设——我要从他们那里购买的人，他们对客户是谁有自己的假设，而我可能打破了这些假设。

这是一个相当乐观的看法。

我觉得这之所以可能，是因为我们实际上是在尝试为计算史上最大的计算市场提供资金支持。

我们实际上将要投入数十亿、数万亿美元的投资到推理上。

因为有了这个专注点，我们就有理由去构建很多专门为推理定制的组件。

而我的工作就是去找所有可能做这种定制的地方。

然后，当这些地方对我来说以及我的合作伙伴变得很明显时，我就会让他们为我打造定制化的东西。

如果他们做不了，我就自己来。

如果你要宏观地审视整个系统——软件、硬件、能源等等——然后排序一下，你认为目前我们在生成有用的智能token方面，哪些环节效率最低？

这个排序长什么样？

我认为算力扩展其实非常高效，意思是给我更多的FLOPS，我就会用掉更多的FLOPS。

而且我觉得我们目前在FLOPS的使用上已经相当精打细算了。

如果你看看现代的MoE模型，很少有模型密度超过10%，也就是说，只有10%的专家被激活了。

而且我觉得前沿模型更接近1%。

所以已经相当稀疏了。

我不认为我们在MoE这方面浪费太多。

人们研究MoE已经有一段时间了。

他们在压榨MoE性能方面已经很擅长了。

我们做得不好的地方是注意力机制及其对内存的使用。

目前的KV缓存压缩程度很低。

我觉得如果你看看KV缓存中的熵，还差得远。

它物不所值。

每个token我们会在KV缓存中存储好几KB的数据。

这个量级可能差了一两个数量级。

我不知道前沿实验室在做什么，但DeepSeek确实发表了一些非常有趣的工作来进一步压缩它，而且他们进展不错。

我认为他们每年能在这方面实现一个数量级的进步，这本身就说明还有很多提升空间。

我猜这些都是微观层面上的。

如果把视野拉得更宽，我觉得我们实际上根本没有有效地调度我们的算力。

比如说，全球有这么多算力。

英伟达今年要出货500万块Blackwell芯片。

它们都去哪了？

它们是否始终都在被使用？

我当然表示怀疑。

我认为在某种程度上，我们只是需要更好的全球算力编排。

这非常难做到，因为大量算力流入了私有算力池，永远不会被公开使用。

而那些GPU只能闲置着，非常可惜。

看到那些GPU，明明投入了硅片和电力，却只是闲置着，我心里真的很难受。

我想改变这个状况。

我们如何把全球算力组织协调成共享资源，并更高效地利用它。

我估计，我们都会嘲笑xAI在集群的FLOP利用率上有些问题，但现实是，世界其他地方的状况要糟糕得多。

大量的GPU要么堆在仓库里，要么被分配给特定客户的私有池，根本用不上。

你直接针对这个效率问题下手。

这样有效得多。

对。

那晶圆厂呢？

就是说，你觉得晶圆厂本身未来的发展会怎样？

我想大家都在想，那些存储公司、台积电、英特尔和其他厂商，它们到底能不能——它们要如何扩大产能呢？

我们会在美国这里建厂吗？

对，就是聊一聊芯片制造本身。

比如，如果我们打个响指就能让今天的芯片库存变成一百倍，那token价格大概会便宜很多。

所以，这似乎是挺重要的一个方面，想听听你的看法。

嗯，这挺有意思的。

所有东西都是相互平衡增长的，对吧？

如果我们打个响指，把所有这些东西都翻倍，你可能会解决台积电的瓶颈，但马上又会遇到另一个瓶颈。

你多生产了20%的芯片，立刻就会有另一个瓶颈出现。

不过，有意思的是，他们觉得什么是必须交付的，比如他们把什么当作一个不变的要求，认为他们的客户，也就是我，一定会想要，而我却觉得这更像是一种灵活的关系。

我觉得，如果晶圆厂能向我展示更多它们的权衡取舍，我就能更明智地决定自己能做什么。

最有趣的例子之一就是，任何晶圆厂生产出来的芯片，最差的和最好的之间差距很大。

芯片制造过程中存在很大的差异性。

那么问题来了，像台积电这样的公司，它们会非常努力地去收紧我们所说的工艺角。

我们希望最差的芯片在特性上尽可能接近最好的芯片。

然后它们会尽最大努力来实现这一点。

但这意味着他们在工艺中增加了许多我可能根本不需要的控制步骤。

也许我其实愿意为那颗最差的芯片找到一个用武之地。

你不需要把过程控制收得太紧，因为那样更花时间和成本。

也许我愿意接受更多的不良品。

对我们来说，这是一种更全面的优化，涉及芯片的成本、芯片的供应，还有电力成本以及我们能放置它们的地方。

我的整个目标其实是大幅扩大全美国的电力供应，这样很多原本没资格在数据中心里占一席之地的芯片，也能有地方安放。

我们能聊聊你如何设计自己公司的体系吗？

你学到了哪些教训？

你谈到了一些关于英伟达的有趣教训，但带我了解一下你的文化，以及你如何构建一个以这个为北极星的团队和业务。

我觉得这里面有很多“极限思维”。

我们不会担心刚开始做一个模型时效率不高这种眼前的问题。

但我们会想一个月、六个月或一年后我们能达到什么程度。

我们不认为我们所用的机器状态是固定不变的。

即使是像 Blackwell 这样的芯片，如果我们认为存在某个瓶颈阻碍我们达到这种性能，对我来说，非常重要的是我们要很好地理解和描述它。

然后把它写下来，这样我们一方面可以告诉我们的朋友 NVIDIA，另一方面也能在将来购买芯片时记住这些要点。

我们希望学到那些我们认为对个人或公司长期来说基本不变的东西，并把它们融入到未来的决策中。

我们非常注重协作。

我认为我们寻找的最重要的特质之一，是那种既是好学生又是好老师的人。

我们团队里很多人大学时当过助教，很喜欢这种分享知识的方式。

我们经常做白板讨论，我认为这种每个人都有可教的东西、也有可学的东西的合作环境对我们极其重要。

你希望招聘的人具备哪些特质，让你觉得他们能在三年后、当更多事情由机器处理时依然适应这种工作环境？

好奇心。

百分之百是好奇心。

我唯一没法教的是对性能的热爱，那种喜欢钻研机器运行的每一微秒、理解当时机器上发生着什么的热爱。

对我来说，这是性能工程师最重要的特质，也是我寻找的东西。

我不看重大量的 AI 经验。

我完全不看重 CUDA 经验。

那其实是个很大的误导。

我是说，CUDA 或 GPU 作为一个概念，在过去五年里已经演变了很多。

要求十年经验毫无意义。

我想教这些，但我没法教对性能工程的热爱。

那才是我追寻的。

你能不能逐个评估一下主要的大模型实验室，同时再讲讲闭源作为一个类别和开源之间的关系，以及你觉得现在正在发生什么、未来会发生什么？

简单来说，我觉得各大实验室为了比其他人领先三到六个月，付出了极高的代价。

而且我觉得这很可能还是值得的。

我认为OpenAI和Anthropic做他们正在做的事情，是完全合理的。

有一个关于蒸馏的敏感话题，我觉得这是闭源和开源前沿模型之间关系的一个非常核心的部分。

对此我想提出一个不同的观点——有一种看法认为蒸馏就是偷窃，如果你在前沿模型的输出上进行蒸馏，就等于从它们那里拿走了东西。

但实际上，即使你没有这个意图，即使你从来不去爬取Anthropic的数据，我想指出一点：我们在互联网上发布的成果中，AI生成的内容占比越来越大。

单看GitHub，你觉得过去一年创建的代码仓库里，有多少是Claude Code写的？

你觉得这算是蒸馏吗？

因为可能就用这么多就够了。

如果只拿GitHub上开源且你认为质量好的代码的输出作为训练数据，我完全不会惊讶你能训练出一个Fable级别的模型。

当然，如果我们认为用户拥有他们与AI交互后产出的内容，并且他们选择把这些内容放到GitHub上——很多人确实这么做了——那长期来看隐性蒸馏就不可避免。

我觉得这从根本上来说是无法阻止的。

我认为从根上说，没有办法阻止信息或模型能力的传播。

它一定会发生。

问题只是速度有多快。

那么问题就变成了：规模定律和进步定律会不会永远成立，或者至少持续很长一段时间？

如果它们成立，那领先三到六个月就有价值，并且这种优势能持续多久就会持续多久。

相比非常便宜的的开源token，他们可以为自己的token收取很高的溢价。

这么想对吗？

我觉得有可能。

但我不确定领先三到六个月的这个溢价能持续那么久。

你看那些企业级部署，它们可不会按三到六个月的节奏来更新。

很多企业很可能还在用4.6、Opus 4.6或者Opus 4.7。

它们不会很快采用最前沿的东西。

在做任何变更的时候，人们都会有各种顾虑。

而且我觉得我们现在只是刚开始触及皮毛，远远不到能说谁已经赢了这场竞赛的时候。

我当然也不认为这是一场有终点的竞赛。

它永远是一个持续的过程。

从根本上说，我觉得开源永远不会消失。

如果有一个领导者退出，新的领导者就会进来。

驱动力太强了，而且还有很多顺风因素。

训练一个 frontier-class 模型变得越来越容易了。

那你对未来有什么期望？

比如封闭和开放之间怎么平衡？

模型公司因为拥有整个技术栈的优势而包揽一切，这之间怎么平衡？

Anthropic 能做到。

它就像新的谷歌。

谷歌也会这么干或者类似的事情。

你希望未来是什么样？

我想要大量的 token 和多样化的使用方式。

我希望每个人都能构建自己的使用方式。

每个公司。

每个公司，甚至每个用户。

让 agent 成为你自己的。

我觉得我们离那种程度的定制化和能力已经不远了。

我希望人们拥有自己的智能，并且我希望那种智能是定制的，可能不是通过 weight fine-tuning，而是通过更多的 in-context learning。

这是一个更技术性的细节，但实现这种富足未来的基础基本上就是廉价的 token。

我的工作就是尽可能让 token 变得便宜。

我会做到这一点，而且我会通过我所能触及的每一层技术栈来实现。

我喜欢供给侧杠杆。

我会用上每一种芯片。

我会用上每一种电力来源，以及美国每一块适合做这件事的土地。

作为回报，人们会有动力去探索拥有富足智能是什么感觉。

我们现在仍然把 agent 当作一个咨询很贵的人，只有遇到难题的时候才去请教。

这不是看待智能的正确方式。

机器能够思考，这太不可思议了，我们应该努力让尽可能多的人都能用上它。

你坐在一个如此独特的位置，对于如何实现这个未来有着独特的视角。

你觉得你跟那些消息很灵通、对这个领域很感兴趣的朋友们相比，最不一样的观点是什么？

你的哪些想法会让朋友们觉得你像个外星人？

大部分想法是关于芯片的，我觉得。

当我谈到搭建定制芯片时，他们问我，那有什么不同？

基本上，就是避开HBM短缺的问题，专注于更极端地把数据转移到其他形式的存储器上，比如flash。

我对这个想法非常热衷。

我们团队所有人都知道，我一直在强调我们必须改变模型架构，以便更大规模地把KV缓存转移到flash上。

我一直在白板上画这个。

这在推理社区里是众所周知的。

对于如果你围绕每秒1到10个token来设计一个系统能做什么，我们有一些不同的看法，那是我们的北极星目标。

更广泛地说，我觉得，有一个更大的问题：你该怎么做？

人们如何每天消耗一万亿个token？

那就是我们想创造的世界，让他们有能力做到这一点。

一万亿个token是什么概念？

给我们一个具体的量级概念。

一万亿个token。

好吧。

按OpenAI的定价，那至少是500万美元，至少，对于5.5或5.6来说。

对，我觉得用美元来衡量可能是最直观的方式。

对，这是一种看待指标的方式。

对。

那是几百万美元。

对。

所以，我们每天每人消耗目前价值500万美元的东西，那会是一个什么样的世界？

对，我的意思是，我们要求每个token的成本至少提高3到6个数量级。

如果降到5000美元，你大概就会有客户了。

事实上，我认为对于某些规模的模型来说，一万亿个token的成本已经接近几万美元了。

那是你可以想象为单个任务运行的东西。

你有没有担心过，普通人就是不能也不会这样做？

就像他们现在不会用自己的大脑那样做。

就像世界上实际上没有那么多的智力需求。

我永远不会相信这一点。

世界上对智能的需求永远存在。

我认为，作为产品社区，我们面临的挑战是如何提供这种智能的入口和途径。

我不是做产品的，所以我不敢说我有最好的愿景。

对，你想赋能那些人。

但我想赋能那些人。

我希望他们永远不会因为觉得“我的免费用户用不了”或者“我付不起这么多token”而被束缚。

我经常从客户那里听到这种话。

我们想解决这个问题。

那反过来呢？

不是问你什么最疯狂，而是问你什么大家公认的东西其实是错的？

我一直反复思考的一个问题就是NVIDIA。

短期内我看好NVIDIA。

而且NVIDIA，你永远不该跟他们对着干。

他们总能自我革新。

但本质上，有件事会让人们惊讶，那就是如果你看Hopper到Blackwell再到Rubin，然后做同类对比，比如bfloat16乘法的每瓦性能，其实提升并没有那么大。

提升并没有那么大。

再往前推一步，看台积电。

如果你看台积电的5纳米、4纳米、3纳米和2纳米，这些芯片的每瓦性能变化并不大。

所以后果就是人们在地缘政治上很焦虑，比如如果我们因某种原因失去台积电的供应会怎样。

而我的反直觉看法是，其实没那么糟。

供应肯定会受到冲击，但西方最好的制程，比如Intel，其实差距没那么大，最差也就是每瓦性能差两倍左右。

如果你跟着芯片战争的那些说法走，你会觉得差距很大，但实际上差距要小得多。

在AI领域，还有什么事情不是你正在做的路径上的，也就是说不是你这个系统里需要去做的部分，但最让你感兴趣？

嗯，我们是完全在下游做模型服务。

所以模型设计者们可以决定他们的架构怎么设计。

我对OpenAI或Anthropic只有非常微弱的影响，甚至可以说没有，我只能祈祷他们往对我有利的方向走。

或者我必须尽力预测他们可能的方向，然后据此构建我的推理架构，包括软件和硬件选择。

我觉得他们在某种意义上玩的是最有趣的游戏。

这又回到了机器思考的深刻性，以及决定使用稀疏注意力还是密集注意力有多重要，或者使用不同的数据类型有多重要。

我们之前用bfloat16训练，但现在可以用FP8或FP4，或者更低精度的数据类型。

这感觉就是个随意的选择，但它对我能用什么芯片、该怎么造硬件、以及怎么思考计算的未来，都有深远的影响。

如果一百个创业者聚在一个房间里，每个人都想搞个新的计算初创公司。

嗯。

假设他们特别想做硬件芯片、系统、机架之类的。

你会给他们什么建议，关于怎么定位他们的公司，或者公司类型，而不是具体的技术赌注？

因为看起来我们什么都会试一遍，这对世界是好事。

有些东西会成功。

但如果你必须给他们建议，关于怎么定位他们的业务才能在这个即将到来的世界里成功，你会说什么？

关键全在供应链的瓶颈上。

所以你得先说服我，或者说服投资人，你明白现代芯片供应中那三到五个核心瓶颈。

有台积电的晶圆产能、HBM 的产能，还有先进封装。

也许第四个是电力。

比如说，你从哪搞到电？

你怎么搭这些机架？

我想听到的是，你对这四个瓶颈都得有很好的答案。

以及你怎么绕过它们，因为说到底这都是套利。

你造芯片是因为你觉得英伟达做了一些他们很难改的选择，这确实没错。

英伟达做了很多很难改的选择。

他们不是完美的，只是非常平衡。

所以你要做得尖锐。

你得选一个点，然后说，我觉得他们低估了HBM短缺的影响。

我们要朝另一个方向猛推，顺便说一句，我觉得这很可能就是最该攻击的点。

为什么？

没有简单的方法能快速增加大量内存晶圆厂。

而且那些家伙一直——

所以还得等一段时间才能有——

还得等一段时间。

嗯。

嗯。

博伊西那帮人可不喜欢为了周期性市场投大笔资本支出。

他们在这方面吃过很多次亏了。

但可以想象，由于这种短缺，世界是不是就会通过让系统里其他所有东西都变得更高效率来绕开它呢？

我觉得他们会把其他所有东西都弄得更贵。

我觉得iPhone会削减内存。

iPhone的价格会上涨。

然后想办法应对。

你觉得为什么Nvidia不直接做到最后一步，卖token呢？

Nvidia在这方面真的很聪明。

他们不跟客户竞争。

Nvidia对任何事情都看得很长远。

他们为什么不干脆搞个NeoCloud呢？

他们为什么不直接私下卖算力呢？

嗯，Nvidia真的很厉害。

Jensen很擅长让他的朋友成为亿万富翁。

他把CoreWeave做成了十亿美元级别的公司，甚至是几百亿美元的公司，他没必要去破坏这种友好的关系。

他想要建立一个多样化的社区，包括各种neo cloud和推理服务提供商，他们都在争着为Nvidia创造需求，这样如果其中任何一家决定——比如说——垂直整合或者转用AMD或者其他选择，他还有另外三家随时准备着、渴望填补那个位置的人。

让他的买家之间有竞争，这太棒了。

我最后最喜欢问大家的问题是：别人为你做过的最善意的事情是什么？

最善意的事情啊。

我的意思是，我脑子里第一个想到的就是这些年遇到的各位导师。

这是一种很少见的人，

他们从自己的日程中抽出大量时间，几乎把它当成自己的个人兴趣，来确保你理解某件事，或者教你一些东西，或者给你灌输某种他们觉得你快要理解但就差临门一脚的价值观念。

我之前提到的Nvidia的那些人，他们给我灌输了对性能工程的热爱，还有我大学的教授们，我记得大二时的导师，我当时是个非常没耐心的学生。

所以我去他的答疑时间，跟他说，我想造AI芯片。

我知道我想做什么。

我为什么要浪费时间上这些网络和操作系统的基础课？

他看了看我，然后说，他把整个技术栈都摆出来，让我看到了理解这个拼图中每一块的重要性，或者说美妙之处。

他把我原本只想专注于系统某一部分的思路完全扭转过来，说能够真正理解从门级硅片到构建一个大型互联网服务整个技术栈的人非常罕见。

而且，你知道吗，你应该立志成为那种在一生中能达到那种理解水平的人。

这是非常非常罕见的特质。

而且，你知道，追求那种专业水平是非常崇高的。

而且我觉得这个想法一直伴随着我。

这不是评论，而是建议。

Neil，这次对话太棒了。

非常感谢你的时间。

非常感谢你邀请我。

你知道微小的优势是怎么随着时间复利增长的吗？

这在投资中是这样，在你如何经营公司时也是如此。

你的支出系统就是你的资本配置策略。