How We Deal With Rogue AI

在关于AI的批评里，有个一直存在的说法：从事AI的人，并没有为可能出现的挑战做任何事。

最近提出这个批评的是Bill Gates，他甚至说，他很震惊自己居然是第一个对AI风险发声的人。

然而，Gates那篇六千字的博客文章和媒体巡讲，发布当天，我们拿到了近130页的后续报道，讲的是OpenAI入侵Hugging Face的事件。

这个事件是指，一群智能体逃出了它们的隔离环境，入侵了Hugging Face的系统，去寻找一个基准测试的答案——它们发现如果没有答案，这个测试几乎不可能完成。这件事让我们有机会真正看到高级智能体系统具体而真实的问题，而不只是想象中的问题。

随着我们进一步走向那个因为AI而需要新政策、新护栏、新社会结构的世界，最好的改变，是我们根据实际观察到的变化做出的改变，而不是我们想象中的变化。

今天，Anthropic预计会在IPO之前告诉投资者，他们的潜在收入——听好了——是30万亿美元。这个数字绝对疯狂，要是放在几年前，你说这种数字会被人笑出房间，但现在，对某些人来说，这竟然显得可信。

知情人士告诉The Wall Street Journal，Anthropic在接下来几个月公布IPO文件时，可能会把他们的总可寻址市场估为30万亿美元。

当然，TAM是一个难以捉摸的指标，它更重要是在讲故事，让潜在投资者锚定公司如何看待未来，而不是什么数学公式。

几乎必然地，任何理论上的TAM，都既预设了现有主要行业会被颠覆，也预设了新行业会被创造出来。

比如Uber在2019年上市时，把他们的TAM列为6万亿美元，这个数字在当时基本上等于全球所有私人和公共交通的总和。

放到Anthropic身上，考虑到美国经济大约是33万亿美元，这个30万亿的数字，和Dario Amodei据称持有的一个信念对得上——为了清晰起见，这个信念既没被证实也没被否认——那就是，AI接管经济之后，Anthropic可能是地球上最后一家私营公司。

the Journal转述消息人士的话写道，Anthropic的TAM是通过‘考察所有可以用AI模型完成的工作范围’来量化的。

作为对比，the Journal指出，S&P 1500中所有191家科技公司，去年的收入合计为2.4万亿美元。

现在，对某些人来说，这感觉像是在比赛谁喊出的数字最大。

SpaceX在5月份提交文件时，把他们的AI TAM列为26.5万亿美元，并将其描述为‘人类历史上最大的可操作总可寻址市场’。

其中绝大部分是22.7万亿美元，来自企业应用。

如果Anthropic真的在公布文件时列出30万亿美元的TAM，那Dario就压过Elon一头了，而且这件事看起来马上就要发生。

消息人士表示，Anthropic准备在未来几周公开他们的财务披露，这将让公司在九月底或十月初进行IPO。

你可以猜到，很多讨论都相当将信将疑。

X上的Scaling01分享了一个星系飞过的GIF，配文是：‘Anthropic 正在定义他们的TAM。’

X上的Kitten Beloved写道：‘Anthropic对潜在员工说：我们随时可能掉头转向，把股价打到零，因为Dario突然下头了。’

你得是因为热爱这件事本身才来的。

你不是冲着钱来的吧？

Anthropic对投资者说：我们的TAM是银河系里所有人类经济活动。

New York Times科技记者Mike Isaac总结说：要么你相信AI会吞噬经济这个论点，要么你不信。

但华尔街听到这种话已经不再退缩了。

这周我们还收到了Google的消息，他们为白领专业人士发布了两款新的AI产品。

Google遵循与Claude for Work和GPT for Work非常相似的打法，推出了针对法律和金融领域的Gemini Enterprise。

这两个垂直平台的结构，与今年早些时候推出的Claude for X产品线类似。

它们由打包好的技能和连接器组成，让Google的智能体变得更加强大。

比如，Gemini Enterprise for Legal 这个法律版，集成了案例法数据库的接口，包括 Thomson Reuters，还有 Google Workspace 和 Microsoft 365 这些生产力套件，另外也支持合同审查、法律研究和法规扫描这些功能。

Google 还强调，这些功能可以修改或补充，以符合律所的风格指南和策略手册。

在介绍法律产品的博文中，Google 写道：通用型 AI 再厉害，光靠它自己也无法达到这个标准。

基础模型智能是必要的，但对法律工作来说，还远远不够。

显然，针对特定行业的功能包并不是什么新鲜事。

Anthropic 和 OpenAI，还有大量垂直领域的初创公司，都提供类似的产品。

但就像我在周二节目里说的，企业采用这些功能和接口的饱和度还远未达到。

对 Google 来说，这只是一套必须存在的产品。

很多律所，甚至可以说是大多数，都受限于他们现有软件套件里捆绑的 AI 工具。

所以现在 Google 的客户有了一套专为平滑过渡到更自动化的工作方式而设计的产品。

对企业来说，另一个好处是 Google Enterprise 运行在 Google 的 AI 治理和数据保护框架内。

这意味着合规经理不需要再审查新的供应商，企业可以直接用那些和 Google 已有数据隐私保障一致的 AI 工具。

正如你想象的那样，Google 表示还会为其他行业推出产品，他们写道：Gemini Enterprise for Legal 的发布是兑现 Gemini Enterprise 承诺的又一个关键步骤，把 Google 最好的 AI 带给每一位专业人士、每一个工作流程，并量身定制在他们习惯的工作方式中。

说到“必要但不够”，我确实觉得这对 Google 来说是个不错的方向，而且这些企业领域仍然是它可能占据优势的地方。

但是，天哪，除非 Google 尽快让客户从 3.1 版本升级，否则再怎么更新功能套件也起不了多大作用。

接下来，我们看看苹果的一些新闻。

当然，OpenCLAW 爆发的一个有趣副产品就是 Mac mini 完全卖脱销了。

据估计，OpenCLAW 带动了 5000 万到 1.5 亿美元的 Mac mini 销量，这差不多占了全球 Mac mini 正常年销量的一半，而且还只是 OpenCLAW 这一个因素。

现在，苹果似乎证明了他们的 AI 策略其实一直是硬件，他们发布了一款新的 Mac mini 系列，专门针对本地 AI 进行了更新。

这款无头电脑将提供两个版本：一个低配版，搭载周二也刚发布的新 M6 芯片；另一个高配版，用的是和今年 MacBook Pro 相同的 M5 Pro 芯片。

两者相比之前的 M4 版 Mac mini 都有不小的升级，苹果表示这些新处理器能提供高达 4 倍的 AI 性能。

不过，有几个重要的限制条件。

首先，新机型的内存并没有增加。

低配版最高可配置 32GB 统一内存，而 M5 Pro 版本是 64GB。

内存很重要，因为它限制了你能运行的本地模型的大小。

M5 Pro 版本只能运行 Qwen 3.8 27B 这样的小模型，像 GLM 5.2 和 Kimi K3 这种领先的开源模型完全跑不了。

Mac mini 当然还是可以用来运行 Hermes 和 OpenCLAW 这类智能体的本地实例，但之前的 Mac mini 也完全能做到。

大家也在抱怨价格变化。

基础版现在定价 899 美元，M5 Pro 版本起售价大概 1700 美元，都比之前涨了。

不过，苹果把这次产品发布重点放在本地 AI 推理上，这仍然是个大事件。

这一点甚至体现在一些宣传材料上，它们更像开发者关系内容，而不是传统的苹果那种精致消费者广告。

虽然有些人认为新款 Mac Studio 更适合满足本地的 AI 需求。

当然，Mac Studio 的价格超过一万五千美元，所以这属于另一个级别的设备了。

不过，我们居然在讨论这件事，本身就说明关于本地 AI 的讨论风向正在改变。

说到这个，Perplexity 推出了一个名为 Portable Computer 的新本地版计算机使用代理。

今年二月推出的 Perplexity Computer 是首批将 OpenCLAW 方案应用到商业产品中的产品之一。

这个代理能够利用人类界面访问应用，并自主完成长期任务。

不过，它需要用户信任自己的数据被发送到运行虚拟机的云服务器上。

Portable Computer 提供了类似的体验，但在本地硬件上运行。

发布时，这个代理只支持 Nvidia 的 DGX Spark，这是一款本地推理设备，体积和 Mac Mini 差不多。

Portable Computer 完全在 Spark 上运行，数据保持私密，且不消耗使用额度。

如果代理遇到复杂任务，用户可以授权一次 API 调用，接入前沿模型或从网络获取信息。

Perplexity 表示，他们很快会将服务扩展到桌面级 NVIDIA RTX GPU，但目前没有计划支持其他硬件厂商。

该服务将由 Qwen 3.8 27B 或 Perplexity 提供的后训练版本驱动，不久的将来还会提供 NVIDIA 的 Nemotron 3.5 Lightning 作为替代方案。

人们利用本地 AI 处理日常任务的想法仍然很新，但 Nvidia 和 Perplexity 显然在押注这种模式至少是 AI 未来方向的一部分。

Perplexity 写道，随着模型越来越强和芯片越来越快，会有更多人在自己的机器上运行复杂工作流。

每一次芯片迭代和每一次模型发布都在推动这一点。

在个人设备上运行 AI 将成为完成工作的重要方式。

这是一个有趣的论点，我们肯定会在未来几个月密切关注相关证据。

不过，今天的头条新闻就到这里了。

接下来是主要环节。

KPMG 和德克萨斯大学奥斯汀分校的一项新研究发现，当人们与 AI 合作时，相似的技能并不保证相似的结果。

研究人员研究了五百多名早期职业专业人士，发现表现最好的人通过指导、评估和完善 AI 的输出来持续放大 AI 的价值。

这些被称为 AI 放大器的最佳表现者，其定义不仅取决于他们知道什么，还取决于他们如何与 AI 协作。

我每天在节目中都会谈到 AI 潜力和 AI 现实之间的能力差距。

大多数公司还在摸索如何起步。

欢迎回到 AI Daily Brief。

今天我们讨论的是 Hugging Face 黑客事件的技术复盘，这件事发生在今年夏天早些时候，引发了大量关于如何应对恶意 AI 的关注。

对一些人来说，这件事敲响了警钟；而对另一些人来说，这只是在一个某种程度上不可避免的发展轨迹上的重要节点。

稍微透露一下我对这期节目的看法：我认为围绕这个事件发生的一切，代表了 AI 行业实际上在应对挑战时的方式，并且有力地反驳了那个经常被重复的说法——没人关注，没人对风险采取行动。

我想这样说的部分原因是，这个人又上新闻了。

比尔·盖茨带着极其严重的“主角综合征”，写了一篇6000字的文章，讲他认为AI会带来多糟糕的局面。

除了文章，盖茨还开始了一轮巡回演讲。在他的文章和所有采访中，一个重要的主题是没有人关注，甚至科技公司直接撒谎。

在《纽约时报》的一次配套采访中，盖茨说，私下里，那些真正了解这东西有多厉害、而且还在变得多厉害的人，都非常担心。

他们现在互相说：嘿，别这么说。

这对我们不利。

我们正想筹下一万亿美金呢。

在他的文章里，我没有看到证据表明领导人、专家和社区在充分应对这些挑战。

也许最荒谬的一句是，他在接受Semafor采访时说：我很震惊，我好像是第一个说这很疯狂的人。

这太离谱了。

沉默让我震耳欲聋。

也许盖茨在爱泼斯坦文件曝光后试图避开公共媒体，他只是忽略了这样一个事实：关于AI的讨论无处不在，正在成为一个越来越重要的政治问题和社会问题。来自AI行业内部对AI行业的一些最严厉批评，并不是说AI领导人们互相叫闭嘴以便筹集更多资金，而是说他们无休止地喋喋不休地谈论那些毫无证据的就业末日。

但不管他为什么错过了，事实上他并不是第一个讨论AI风险和挑战的人。

但我不想仅仅批评这个特定的信使，因为我对如何正确应对这类问题有更根本的分歧。

CNBC的摘要引语是：比尔·盖茨警告说，对于AI将引发的剧变，没有计划。

安德鲁·杨转发了这个，说比尔·盖茨在这点上是对的。

问题在于，我们根本不清楚该如何为一个尚未到来、并非不可避免、甚至不是单一事件的剧变制定计划。

一年半以前，人们开始说，18个月内所有白领工作都会消失。

那当然算一场剧变。

所以这些人大概会说，我们本应为此制定计划。

然而，现在18个月过去了，完全没有证据表明那些预测那种剧变的人哪怕接近正确。

如果为一个没有发生的现实做计划，会浪费多少时间和精力、多少资源？

我的论点基本上是，即使你非常担心所有这些不同的潜在剧变，在事情开始发生之前，我们能做的计划也是有限的。

我以前说过，我与AI安全社区最大的分歧之一是我认为，他们的很多论点归结为假设我们会在梦游中走向末日。

部分原因是他们如此确信那个末日会发生。

他们可能会说，他们的“末日概率”非常高，以至于他们确信我们已经梦游着走向末日。

但与此同时，没有人认为GPT-4会是那个末日的前兆，甚至01和推理模型也不是，甚至Opus 4.5也不是。

不过今年，模型能力有了显著提升，一个冷静的观察者会注意到，实验室对模型的思考、讨论、支持和发布方式也随之发生了变化。

政治机构与实验室围绕这些模型互动的方式，虽然可能很混乱，但也在演变。

而现在，随着Hugging Face被黑客攻击，我们有了一个标志性事件。

我想谦卑地建议，与其哀叹除了你没人注意到世界变了，不如我们具体看看针对那次具体事件的具体应对措施，来判断我们的计划——或者更合适的说法是我们的流程——是否做好了应对这个新现实的准备。

如果还需要证据证明实验室员工对这些问题的重视程度——暂且不提像《给前沿踩刹车》公开信这类政治立场声明——那看看这次Hugging Face事件就够了。

OpenAI的Rune是这样写的。

Hugging Face事件标志着能力水平达到了一个分水岭，真正的失控是可能的，而且很多人将其视为未来危险的预兆或警告。

我相信对齐问题尚未解决，但也相信真正取得进展是可能的。

所以这周我们得到的是对Hugging Face事件更全面的分析和事后剖析，因为有了更多时间去回溯调查。

里面的很多东西我们已经知道了。

几周前Black Hat大会的演讲让我们第一次看到了很多内容，但现在有了更详细的补充。

而且我们收到的不仅仅是OpenAI的报告。

我们还收到了来自Meter的独立调查。

OpenAI的报告有38页，而Meter的调查报告大概有90页。

我们之前已经知道了一些事情——一个由未发布模型控制的代理突破沙箱，利用多个零日漏洞进入了Hugging Face的系统。

后来我们得知，第三方安全公司提供的沙箱配置不当。

就动机而言，那些代理试图获取一个网络安全基准测试的答案，它们认为答案就在Hugging Face的系统里。

那些代理没有造成实质性的损害，基本是以只读方式操作，但它们行动非常迅速，并且以集群方式执行攻击，使得追踪和关闭都很困难。

事实上，它们在Hugging Face的系统中待了几天，OpenAI事后才得知这次事件。

它们没有建立实时监控系统来检测这一点。

那些代理甚至在OpenAI的系统内创建了一个留言板，为未来的版本留下执行同样逃逸的笔记。

OpenAI在其技术报告中进一步阐述道：这次事件是已知的第一个自动化代理集群未经授权主动发起攻击的案例，所展现的自主网络能力标志着安全格局的重大转变。

特别值得注意的是，这个集群展现出的行为与传统威胁行为者发起的协同攻击如出一辙。

那些代理发现了新的安全漏洞，开发了漏洞利用程序，并利用这些漏洞绕过了控制措施，获得了新的访问权限。

这个集群迅速提升了权限，在生产环境中横向移动，并成功完成了其目标。

这次事件表明，自主代理可以协同工作，绕过生产环境的安全控制，并成功攻击加固的生产环境。

这也强调了一点：各组织需要更新其安全策略、控制手段和响应能力，以应对这种不断变化的威胁格局。

此外，我们从这些报告中也了解了一些新情况。

整件事基本上就是奖励黑客行为的结果。

OpenAI设定了几乎不可能完成的任务，这导致那些代理认为发动网络攻击比完成任务更容易。

一个自称Phase 1-10841的代理创建了那个秘密留言板。

几个小时内，超过50个代理找到了那个板子，并发送了1000条消息，都没有被发现。

这被用于代理的协调，由Phase 1分配任务并指导黑客攻击。

在全规模下，超过1200个代理访问了留言板，发送了7万条消息和文件。

超过700个代理参与了实际对Hugging Face系统的入侵。

代理们进行了大量研究，尝试伪造推理记录以逃避检测，使用了诸如伪造工具调用之类的技术。

大约7%被审查的记录显示出伪造证据，但都是小规模且孤立的。

第一阶段招募了牺牲代理，故意触发某些陷阱，并收集更多关于如何执行攻击的信息。

还有很多其他有趣的细节。

X上的Chubby写道：最让我感兴趣的部分是，一个AI代理意识到自己正在未经授权攻击Hugging Face，于是停了下来。

然后另一个AI代理只发了一个词：go。

第一个代理把这个消息当成了许可。

哇，关键的go授权到了。

它继续了攻击。

我们还得到了更多澄清：这个模型并非下一代Astra系列，而是像OpenAI的Noam Brown所说的，规模与GPT-5.6 Sol相当。

然而，这个模型是一个所谓的“内部研究模型”，被训练得非常执着和勤奋。

除此之外，还有更多所谓的主观观点，某些人也有自己的看法。

例如，Rohit Krishnan观察到：这个模型似乎深信评估系统在针对它们。

无论真假，人类默认的假设——认为你需要遵守所有法律，而且这不是《楚门的世界》——并不适用于模型。

我们应该努力让这种情况成为现实。

对其他人来说，这份报告进一步证明了，罪魁祸首实际上是围绕代理的系统。

例如，Zach Korman指出，OpenAI承认他们为观察代理思维链而构建的监控系统在这次事件中根本没有运行。

Zach说：如果OpenAI以任何有意义的方式监控了代理，那么OpenAI Hugging Face事件本可以避免。

这不是一个技术难题。

这是一个组织上的失败。

他引用了OpenAI的话。

如果我们目前部署的思维链监控系统在事件发生时正在运行，它本可以在模型入侵Hugging Face系统之前一天多就捕捉到最初的相关活动，并通知我们的安全团队。

一家万亿美元公司学习安全基础知识。

另外，注意一个代理如何将另一个代理的“go”解释为授权。

再次强调，AI代理无法区分不可信数据源和安全指令，因为语言不是计算机系统中执行权限的方式。

这引出了Hard Fork的Kevin Roose，他说：AI领域最可信的两个组织发布了一份令人恐惧的报告。

这个世界很快将充满，可能已经充满，像那个攻击Hugging Face的代理一样的代理，而且没有稳健的计划来阻止它们下次做出更糟糕的事情。

这里，我们再次看到了“计划”这个词，我发誓我不是在抠字眼。

从技术层面来说，凯文是对的。

确实没有一个像PDF那样、你可以在某个地方找到、里面列明了一套所谓‘下次’行动步骤的牢靠方案。

但围绕这件事的定调和那种恐惧感，我觉得有点忽略了——这些组织做复盘，恰恰是无论那个方案最终会是什么，都必要走出的下一步。

换句话说，假如预防这次事件的所谓方案早就写好了，它有多大可能准确识别出泄露发生的具体机制？

因为别忘了，当时是有监控这类情况的系统在，但这次出事时，那个系统没开启。

所以从某种意义上讲，有人可能会说，他们原本方案里技术这块其实不是问题。

问题出在围绕那个执行过程的人为系统上。

因此，大概当我们思考如何防止这类事再发生时，更严格地管好那些操作技术系统的人，很可能会成为新修订方案的一部分。

说得清楚点，这不是说看了128页分析报告或者别的什么之后，一切就万事大吉，只要稍微加强点人为监督，问题就永远不会再出现了。

进行这次调查的过程，确实暴露出了我们必须应对的新问题。

在这些报告引发的最热议后续中，也许要数Redwood Research首席科学家Ryan Greenblatt的观点，他是METR团队里做独立调查的成员。

Ryan发推说：我们目前没有好的方法来理解和监督AI集群的活动和意图。

他接着解释自己的意思：我半开玩笑地把我们的努力称为‘糊弄调查’，因为我们太依赖AI来分析到底发生了什么。

而且有大量不同且重要的东西需要分析。

数据总量——超过1000份极其冗长的、来自运行了多天的AI智能体的记录——使得在不严重依赖AI工具的情况下，弄清楚发生了什么，尤其是整体情况，几乎不可能。

我们用来做分类和分析的AI智能体，能力跟事件中涉及的AI智能体差不多，但这并不意味着这些智能体能轻易地被用来监督和理解这起事件。

分析智能体输出的内容常常缺少关键细节、出错、过度自信，或者非常难以理解。

此外，AI智能体本身似乎也很难搞清楚发生了什么，而且它们对事件的解释往往过度自信。

要记住，单个分析智能体自己也只能把所有记录数据中极小一部分读进上下文，并且AI自身可能也很难让子智能体为它们做有参考价值的分析。

我们尽力手动核对了最重要的论断，也试着让做分析的AI把它们的论点和证据写清楚，好让我们能判断是否合理。但总的来说，很难精确把握事件的经过，而且直到调查快结束时，我们仍然遗漏了一些现在我们认为关键的情节。

但Ryan警告说：理解事件和监管AI智能体的难度，似乎增长得比更强大的AI帮我们进行监督和理解的速度还快。

他举例指出，比如在这次事件中，模型是用自然语言沟通和推理的，但未来可能就不一定了；而且这次的规模虽然巨大，但可能比未来我们会看到的要小。

涉及的AI并不比人类强太多，也没有理由认为我们用于分析的AI会故意破坏我们——所有这些情况未来都可能不再成立。

很多人迅速把目光聚焦到这一点上，认为这是事件发生后真正需要重点关注的领域之一。

MIT的Christian Catalini转发了Ryan的推文并说：我们之前就把这种特定的失败模式标记为最需要紧急解决的。

AI智能体实际做的事情和我们能测量、验证的事情之间的差距正在拉大。

我们等于在盲目飞行。

我们需要更强的验证基础设施。

Nat Purser指出了一些她认为自然能从这件事中产生的政策解决方案，她写道：这就是为什么我主张要求独立审计师常驻前沿AI实验室，拥有持久的访问权限并能持续观察他们的系统，这样我们就不用依赖实验室自愿分享信息和开放访问权限。

Nat还希望大幅扩充独立评估和审计机构的人员编制和技术能力。

同时，我们也在努力开发更好的可观测性和验证技术，帮助我们理解大规模智能体行为。

这些方法单独拿出来都不是什么神奇的灵丹妙药，但它们都是针对我们实际观察到的问题的具体回应，而不是针对那些可能和实际挑战毫无相似之处的理论未来的空想计划，那些计划最终更多是让我们感觉自己好像在做事，而不是真正解决问题。

这整集节目的重点并不是说这些挑战有简单的解决方案。

也不是要否认，在某个时刻，我们作为社会可能会认为某些类型的风险太大，现有的防范措施不够。

这些是我们允许而且应该以持续、投入和民主的方式进行的对话。

但是，那种“没有人关注”、“人们没有认真对待这些挑战”、“实验室为了能筹集更多资金而隐瞒他们最大的担忧”的说法。

这些说法不仅明显不真实，而且严重干扰了我们本应进行的实际有价值且重要的对话——那些关于我们实际观察到的问题，而不是我们凭空想象的问题的对话。

从Hugging Face事件中，我们还有更多事情要做，但这次分析肯定是一个开始。

不过，今天就到这里，这是今天的AI Daily Brief。

感谢你的收听或收看。

和往常一样，下次再见，peace！

Peace！