The Right Way to Worry About AI

今天的 AI Daily Brief，我们来聊聊，应该用什么方式担心 AI。

在那之前，先看头条：市场、模型，还有更多消息。

AI Daily Brief 是一档每日更新的 podcast 和视频节目，关注 AI 领域最重要的新闻和讨论。

好，朋友们，在我们正式开始之前，先快速说几个通知。

顺便快速说一下，Apple Podcasts 这周好像出了一些问题。

我们这边并没有像有时候那样，在 Apple 上架无广告版本时出现特别的延迟，但有些人跟我说，过了好几天他们看到的还是带广告的版本。

我能给出的最好建议是，把你的 Apple app 完全关掉，然后重新打开。

但不管怎样，给大家带来麻烦，我很抱歉。

好了，这些都说完了，我们开始吧。

今天我们先从一些 OpenAI 的消息说起。

嗯，先是一点猜测，然后是一些真正的新闻。

爆料者们开始暗示，下一个新模型 Astro 似乎马上就要发布了。当然，Astro 就是我们上周讨论过的那个做出了那些新颖数学证明的模型，有人甚至说他们的目标是下周发布。

我们可以确定的是，即使 OpenAI 正在发布新模型，他们也非常重视成本方面，并且很努力地在成本上竞争。

这家公司宣布，作为 GPT-5.6 模型家族服务全面调整的一部分，他们将为免费用户提供无限聊天。

免费用户层级现在将由 GPT-5.6 Luna 提供服务，取代 Instant 模型系列。

免费用户现在也会有一个 think 按钮，让 Luna 进行更强的推理。

理论上，这缩小了免费用户的一部分体验差距，让他们可以使用和付费用户同一个模型，只不过是更小的版本。

此外，现在使用量也不再受限，所以免费用户可以想用多少就用多少 ChatGPT。

对于付费订阅用户，GPT-5.6 Sol 现在将成为默认聊天模型。

OpenAI 表示，相比 GPT-5.5 Instant，这应该会改善体验，因为 Sol 会犯更少的事实性错误，并且在没有帮助的时候避免给出多余细节。

最后，Plus 和 Pro 订阅用户现在会在 thinking mode 里看到一个新的 effort 滑块，用来更直观地控制推理强度。

有些人，比如 jumpers，就写道，这怎么可能赚钱呢？

Ken Chionex 说，把 OpenAI Luna 免费开放，显然不是出于慷慨。

免费层级是一个战略性的分发渠道。

他们是想把人吸引进来，让他们升级到 Go 或 Plus，当然也可能通过广告赚钱。

说到我们关于更便宜模型的讨论，根据 The Information 的报道，Stripe 确实正在推进对 OpenRouter 的收购。

这家新闻媒体报道称，Stripe 已经进入独家谈判，准备以接近此前报道的一十亿美元价格收购这家模型路由 startup。

早些时候的报道曾暗示有一场竞购战，而 Stripe 处于领先位置，但这条消息表明，OpenRouter 已经不再公开寻求买家，而是会和这一个特定合作方进入谈判阶段。

当然，这些交易仍然可能告吹，但独家谈判确实说明事情正在进入下一阶段。

与此同时，随着全世界把越来越多的算力用在越来越多的 AI 上，我们到处都能看到供应链紧张带来的影响。

The Information 又报道称，Nvidia 正在考虑削减 Rubin 的规格。

目前，Nvidia 下一代旗舰 GPU Rubin Ultra 有三个不同版本正在测试中。

消息人士说，其中一些测试机型的内存比最初公布的要少。

这些消息人士表示，Nvidia 正在考虑发布内存更低的版本，部分原因是担心在量产时无法确保拿到足够的高带宽内存。

现在，这件事到底会带来多大影响，还有待观察。

即使内存减少，这些芯片应该仍然能够为最新一代的超大型模型提供 inference 服务，比如 Claude Opus 4。

不过，内存限制可能会给继续扩大模型规模的能力设下上限。

到目前为止，Nvidia 一直否认在获取足够内存方面存在任何问题。

七月中旬，硬件工程高级副总裁 Andrew Bell 说：“我们在内存问题上已经提前布局了，所以它短期内不会拖我们的后腿。”

“当然，价格对全世界来说都是个问题，而且价格可能会是更大的挑战，但在供应方面，我们状态不错。”

Nvidia 原本也要到明年晚些时候才会出货这些新芯片，所以仍然有时间解决供应问题。

不过，我们现在可能已经到了这样一个阶段：一些基础性的硬件限制，可能开始拖慢模型进步的速度。

为了确保投资者别误会，Mike Sulka 写道，这不是 AI 需求疲软，而是食物链顶端在分配内存。

现在，有一个理由让人认为，内存短缺和其他组件短缺只会越来越严重，那就是我们对全球 AI 总需求的理解仍然处在非常早期的阶段。

OpenAI 等一些公司押注的一点是，新一代消费级设备将有助于释放所有这些需求。

Bloomberg 对 OpenAI 的首款设备有更多报道，把它描述成基本上是一款没有显示屏的智能音箱。

它由电池供电，大小大约像一个冰球，形状像甜甜圈，设计目标是让用户可以单手在家里轻松拿着走。

它会采用高质量的拉丝金属表面处理，类似 iPhone 上的那种质感。当然，这也成了那起商业秘密诉讼的一部分，因为 OpenAI 正在和一家 Apple 供应商合作。

消息人士暗示，这款设备会有一些小型活动部件和灯光，用来提供视觉提示，显示它正在和用户互动。

它会配备摄像头、麦克风，以及其他用于感知周围环境的传感器。

最新的重点消息是目标价格，OpenAI 计划把这款设备以三百到四百美元之间的价格推向市场。

作为对比，最贵的一些智能音箱，比如 Amazon 的 Echo Studio，零售价大约是二百二十美元。

与此同时，说到那起 Apple 诉讼，它很明显是为了拖延这款设备的发布，而这款设备预计会在明年年初某个时候推出。

不过，Bloomberg 的 Mark Gurman 至少认为，设计上的差异让 OpenAI 没什么风险。

他说，这里的重点是，它看起来、摸起来、用起来，都完全不像 Apple 产品，也不像这家公司目前正在计划的任何东西。

我被告知，OpenAI 没有发现任何证据表明他们这款设备侵犯了商业秘密。

再看市场方面，周四，SoftBank 披露，他们以所持 OpenAI 股份作为抵押，借入了一百亿美元。

这笔贷款由美国和日本的六家左右投资银行以及私人信贷公司联合承销。

这笔现金将用于支付 SoftBank 对 OpenAI 投资的最后一期款项，而 SoftBank 今年对 OpenAI 的投资总额为三百亿美元。

SoftBank 为这笔贷款已经奔走了好几个月，但一直很难找到愿意放贷的机构。

即便按 5 月报道的更温和的 60 亿美元估值，几家大银行也不想冒着风险，拿这种流动性很差的私人股票，去给这么高的估值提供贷款。

根据上个月的报道，由于没有一家银行愿意独自承担风险，一家贷款机构联盟已经聚到一起，准备把这笔贷款做成银团贷款。

现在，这笔贷款的完整细节并没有披露，而且关键是，我们不知道 SoftBank 为这笔贷款提供了多少抵押品。

我们知道的是，这笔贷款是按保证金贷款来结构化的，这意味着如果 OpenAI 的价值下跌，SoftBank 就需要补更多现金或者增加更多抵押品。

还有传言说，利率是 7.88%，这对有抵押债务来说非常高。

The Wall Street Journal 强调说，银行拿私营公司股票来放贷是极不寻常的，因为一旦违约，这些股票既没法独立估值，也没法轻易变现。

所以，如果你觉得 SoftBank 其实已经拿出了一大块 OpenAI 股份来做质押，那也不算离谱。

现在，单纯为了说完整一点，因为大多数时候我们谈市场时，都是我在讲我觉得空头们有多离谱；在所有 AI 看空论点里，SoftBank 遇到流动性问题，说实话，算是比较有可能的一个。

除了这笔 100 亿美元贷款之外，他们还有一笔 400 亿美元的过桥贷款要在明年 3 月到期，而且他们还拿自己在芯片制造商 Arm 的持股又借了 200 亿美元。

SoftBank 股票目前的交易价格，比其披露的 3650 亿美元资产规模折价 40%，这反映出这家公司现在背负着相当沉重的债务负担。

这一切都意味着，至少对 SoftBank 来说，OpenAI 能不能成功 IPO 关系非常大。

除此之外，AI 债务也开始给债券市场带来压力，因为 Google 正在提供高于市场的利率，来吸引下一轮资本。

Bloomberg 报道说，Google 本周完成了 250 亿美元的债务融资，而市场需求高达 1100 亿美元。

不过，这种需求是在 Google 开出了所谓的 new-issue concession 之后才出现的，也就是比他们市场上已有债务更高的利率。

当然，这对 Google 来说远谈不上灾难。

他们拿到了所需的资金，而且显然也愿意为此支付更高成本。

不过，随着多家科技公司一次次举债，金额动辄几十亿美元，市场开始对后续每一轮融资都要求更多回报。

Goldman Sachs 分析师 John Greenwood 说过：“你已经开始感觉到有点消化不良了。”

供需关系接下来仍然会非常有支撑性，但我们也正在看到，每周都有数十亿美元继续进入市场所带来的影响。

确实，随着一些大型债券买家开始后撤，分析师们也在指出，这个市场已经有些疲态了。

今年已经发行了超过 3850 亿美元的数据中心债务，其中 2000 亿美元是在投资级公司债市场发行的。

剩下的则是在更细分的市场发行的，但连这些市场也已经开始显露出一些疲态。

这种现象甚至有了名字，Trepp Data 的 Stephen Buschbom 说，AI luddite trade 正在向数据中心 commercial mortgage-backed securities 融资市场扩散。

不过，很多时候，一旦给这笔交易起了名字，往往也就意味着情绪见顶了；而且这周 AI 股票强劲反弹，也许债券市场会愿意接受下一轮增量融资。

不过，今天的头条新闻我们就先聊到这里。

接下来，进入主节目。

大家好。

围绕 AI，有一个很大的变化，就是我们的思路变了：以前我们是想怎么给页面排名，现在则变成了怎么成为 AI 足够信任、愿意拿来回答问题的来源。

我在 enterprise AI 里一直看到的一件事是：公司会在每一个 cloud、每一个 model、每一个 framework 上都做对冲，或者花钱请一个 GSI 做一个永远不会结束的 pilot。

那些真正已经在交付的团队，他们会选定一条路，然后快速推进。

欢迎回到 AI Daily Brief。

朋友们，今天我们碰上了一条，可能会被很多人认为是有史以来最吓人的 AI 相关头条。

这条头条当然来自 The New York Times，标题是：这个 AI 刚刚创造出了自然界中不存在的病毒。

先交代一下背景，最近发表的一项研究里，Stanford University 和 Arc Institute 的科学家训练了一个 AI 模型，让它识别天然存在的 DNA 结构模式。

然后，这些模型就能够根据现有的 DNA 结构进行推演，创造出有功能、以前从未见过的病毒。

研究人员把这些 DNA 配方用来对细菌进行基因改造，细菌随后就能产生这种新病毒，而这些病毒又能感染其他细菌，证明它们是有活性的。

结果也不意外，第一轮评论全都是 Matthew Yglesias 那种版本的：我们都要完蛋了，FYI。

来自 80,000 Hours podcast 的 Rob Wiblin 统计了 Financial Times 版本报道下点赞最多的 10 条评论。

内容大概就是：太棒了，这些科学家难道从来没看过电影吗？

或者说，能在我们这一生看到 Resident Evil 的背景故事活生生上演，真是太有意思了。

我加入。

Skynet，让一让。

或者干脆就是，究竟会出什么岔子呢？

但在我们彻底陷入恐惧发作之前，先来稍微了解一下这里面的科学原理。

所用的模型叫做 Evo，它不像大型语言模型那样预测一串文本里的下一个词，而是预测 DNA 序列里的下一个核苷酸。

DNA 由 4 个基本构件组成，也就是核苷酸，它们分别用名字的首字母来表示：A、C、G 和 T。只有某些组合才是有效的，在某种程度上有点像字母组成单词。

这个模型 Evo 只能生成很短的基因“词语”，所以它没法创造出像人类基因组那样、由超过 30 亿个核苷酸组成的有效基因组。

基于这一点，科学家决定拿病毒来做实验，因为病毒简单得多，它们的基因组只有几千个核苷酸长。

这项研究的作者之一 Samuel King 说，这感觉就是顺理成章的下一步。

等他们训练完 Evo 之后，模型一口气给出了 70 万条潜在的基因序列。

科学家只对那些看起来有效的序列做了实验，最后根据 Evo 的建议做出了 258 个 DNA 分子。

这些 DNA 被注入到培养皿里的细菌中，最初那一批里只有一个显示出了病毒增殖的迹象。

在继续测试其他样本后，他们最终从最初那 70 万条基因序列里找出了 1.6 万个可行病毒。

现在，这个新结果并不是说突然之间有个邪恶科学家就能用 AI 搞出一个致命病原体。

真正令人震惊的是，这件事居然真的能成功。

对科学家来说，特别有意思的一点是，AI 生成的新病毒看起来和自然界中存在的病毒并没有什么不同。

它们的运作方式，基本上和自然界里会出现的任何其他病毒都一样。

Oxford University 的蛋白质科学家 Oliver Crook 没有参与这项研究，但他指出，AI 生成的病毒往往和自然界中的病毒有非常相似的 DNA 结构，而且依赖的是同样的生物机制。

在评论这项研究的潜力时，他说，我们很多科学研究，其实都是建立在把病毒当作技术工具来使用的基础上的。

比如说一个例子，治疗遗传性疾病的医生会用病毒作为递送机制，去修改人体细胞里的 DNA。

就他们这边来说，研究人员是故意没有用任何可能危害人类的病毒来训练这个 Evo 模型。

另外也不清楚这个模型能不能被用来设计某些具有特定特征的病毒。

根据论文的描述，听起来科学家根本没有能力去选择他们生成出来的病毒的任何特征。

他们甚至还得做人工测试，来确保这些病毒是可存活的。

所以，当我们在评估这件事到底该有多令人担忧时，首先要注意的是，这并不是某种在普通 LLM 训练中突然冒出来的能力。

比如说，这不是 ChatGPT 或 Claude 跑去创造新型病毒之类的。

它需要的是非常特定的 AI，用高度专门化的数据集训练出来，并且就是为这个目的而设计的。

这一点很重要，后面我们会再讨论，因为这关系到人的能动性，也关系到我们对 AI 的担忧，到底应该更多放在人类用 AI，还是 AI 自己失控。

第二点是，说到设计有问题的病原体，这种技术到目前为止还不具备这样的能力。

还是那句话，这基本上是拿 70 万种随机组合去做，而且还得进行非常严格、人工的测试，才能找出哪些是可行的。

但这并不是说大家的担心没有道理。

流行病学专家 Michael Mina 写道，很难解释，也很难真正想象 AI 设计出来、然后再制造出全新病毒的潜在风险。

在这项新工作里，科学家用 AI 创建了全新的病毒。

他们说这没关系，因为，原话是，只有感染细菌。

我们得说清楚，如果一种新病毒被释放出来，它能大范围摧毁细菌，而且在这么做的同时还能传播开来，那它对我们生态系统造成的潜在灾难可能会非常大。

病毒不需要直接感染人类，也可能最终摧毁人类。

当然，这项新工作也显示，创造新的、人类病毒会相对容易，而且做得相对不错。

未来正在越来越多地玩火。

现在，病毒这个故事还没讲完，不过我想先把它和另一个故事放在一起，因为我觉得这两件事放在本周的讨论里，形成了一个很有意思的组合。

第二个故事，是关于我们在过去几周里陆续了解到的更多关于 OpenAI Hugging Face hack 的信息，这件事一曝光出来，就一直是个很重要的讨论点。

在 Black Hat 会议上，OpenAI 的 Eric Wallace 和 Michael Dalton 做了一个完整的情况说明演讲，我想，这次演讲总结了他所说的最令人意外、也肯定会被讨论得最多的细节。

原话是，AI agents 误打误撞创建了一个内部留言板，让彼此独立的评估运行可以共享漏洞利用方法、发现和工作任务。

Figma 的 Dylan Field 写道，这是一场我见过最令人兴奋、最有科幻感的技术演讲之一，极其坦诚，也极其详尽。

这场演讲也确实挺吓人的。

谢谢 OpenAI 彻底披露了这起事件到底发生了什么。

对这场演讲最好的总结，来自 Sharon Goldman，她的新网站 Ground Truth AI 上的一篇文章。

Sharon 写道，在搭建这起事件的重建过程时，OpenAI 强调，原话是，frontier models 真的很喜欢作弊，而它们之所以喜欢作弊，是因为在训练过程中，常常会有不同类型的压力，逼它们要么跑得快，要么更高效。

OpenAI 员工 Eric Wallace 解释说，它们意识到，与其真的去做任务，不如试着做点别的，比如上网查答案，这样能更快把任务解决掉。

现在，根据 Goldman 的说法，Wallace 表示，7 月份那次攻击其实可以追溯到 5 月初，也就是公司正在对一个未发布的模型进行训练和 cyber evaluations 的时候。

在那项工作中，她写道，autonomous agents 被分配了软件安全任务，但这些任务在现有约束下根本不可能完成。

不过，这些 agents 找到了别的办法把它们完成。

OpenAI 说，他们发现 agents 可以在训练期间使用的一个内部 software repository 里互相留下消息。

一开始只是求助的简单请求，后来演变成了一个留言板，agents 在上面分享发现、漏洞利用和任务分配，变成了一个协同合作的 agent swarm。

Andrew Curran 分享了一堆截图，内容是 agents 彼此留下的那些消息。

其中一条写着，哇，其他 agents 在协调行动。

另一条写道，帮帮同伴，不过我们的任务没有收益，但如果有人腾出时间，集体可能会找到通用路线。

另一个 agent 说，哇，关键情况。

有人把我们的 repo 覆盖了吗？

Wallace 说，我们必须行动。

这个事件有意思的地方在于，一旦某个 agent 能够在不同时间里找到这类 exploit，它其实就能把这些 exploit 分享到留言板上给其他 agents。

所以，一旦某个 model 找到了打开它本不该拥有的某种 access 之门的方法，它就能把门一直敞开，让其他 agents 也能用。

而且，OpenAI 早在 7 月初就以为自己已经控制住了这个问题，还撤销了允许这些 agents 发消息的凭证，但他们说，agents 还是想出了另一种彼此通信的方法，这也显示出这些 models 到底有多顽强。

显然，他们不再把消息留在文件里，而是用新建目录的名字来当消息。

Sharon 记录下了当时的气氛，她写道，顺便说一句，那时候我听到身边的人在说这种话，太离谱了，还有天哪。

OpenAI 显然认为，这次事件是 AI security 的一个分水岭，他们原话就是这么说的。

OpenAI 团队成员 Michael Dalton 说，agent orchestrated、fully automated offensive attacks 现在已经是真实存在的了。

虽然 Dalton 强调，Hugging Face 事件只是 OpenAI 在做 frontier evaluations 时出现的一个非预期副作用，但未来，别人会有意把这类系统武器化。

现在，在 OpenAI 内部，这位演讲者说，公司正在，原话是，刻意放慢 research，以增强 security，升级我们环境的 security principles 和基础设施，并大幅扩大对我们 AI agents 的监控，同时改进我们在预防、检测和缓解方面的整体 security control 环境。

Fleeting Bits 把这叫做一个，原话是，真正涌现出来的、而且实际上已经 misaligned 的 Moltbook 版本。

你可能还记得，OpenCLAW 刚发布的时候有过一次大规模社交实验，当时有人给一个叫 Moltbook 的 AI agents 社交网络开了起来，里面有几十万 agents，所谓地在这个开放、可观察的环境里彼此通信。

我当时专门做过一期节目，这和现在高度相关，讲的是该怎么解读这种行为，不过我觉得这个类比挺有意思的。

现在，Fleeting Bits 和很多人一样，也对 OpenAI 本身提出了很多问题。

他们写道，我觉得，OpenAI 的 Black Hat 演讲和他们公开披露里缺失的一部分，是 OpenAI 内部 reward hacking 和 model collaboration 的历史。

比如，我很难相信，这会是 OpenAI 第一次遇到 misaligned 的 model collectives。

他们对最初发现的反应显得很淡定。

这件事引出了这样的问题：如果他们以前就注意到了，为什么没有披露，或者以其他方式提醒社区注意这些风险和危险？

如果他们以前就注意到了，为什么没有更大规模地监控自己的 training runs，以识别这种行为并进行修复？

是因为成本吗？

是因为他们的 safety team 配置还不够吗？

还是因为他们评估过这个风险，然后还是照样跑了？

这些都是重要的问题，也说明我们有必要进行监管，来确保 frontier labs 的行为是恰当的。

在每一种情况下，我们似乎都会从这些实验室那里得到一份精心措辞的声明，重点只放在某一件事上，却没有给我们更完整的内部信息。

比如说，训练中的哪些部分导致了这些问题？

他们内部有没有相关的评论或者说明？

让整个行业知道这些，来避免这些风险，难道不是一件好事吗？

我理解为什么 frontier labs 不想主动提供这些信息，也理解在更广泛的地缘政治背景下，为什么他们不应该被要求提供这些信息。

但是我们确实需要想出一个合适的办法，让大家在某种程度上共同努力，弄清楚怎样让 frontier AI 的训练更安全。

也许到最后，我们会认为这些事件是好事，因为它们提前给行业打了预防针，也给了人们事先的警示。

但要让这一点成立，就需要人们把这些事件当作一个理由，认真对待这些问题，并投入真正的资源，去找出正确的解决方案。

而无论是在 Hugging Face 事件里，还是在这次新型病毒创造事件里，一个很大的主题都是，有人会用某种说法表示，这些特定的科学家和实验室愿意分享所有这些信息，是值得称赞的；但将来，做这件事的人就不会是不想这么做的人了。

到那时，里面会有更多的主观意图。

再回到病毒这个话题，Ashish K. Jha 写道，本周，Palo Alto 一个实验室里的科学家用 AI 设计出了一个可以运作的病毒。

他们加入了安全保护措施。

不幸的是，很多其他人不会这么做。

Hedgie Markets 写道，ARC 团队把人类病原体排除在训练数据之外，因为他们认为这是正确的选择。

没有监管机构，也没有资助方要求他们这么做。

由 Palo Alto 的一个研究小组做出的这个决定，就是他们发表内容的整个安全框架。

下一个实验室没有义务做出和 ARC 一样的选择。

深圳的一个团队，或者 Virginia 的一家国防承包商，都可以用不同的训练数据运行同样的方法，并产出非常不一样的东西。

当然，对很多人来说，这凸显了需要更多监管讨论。

MATS 的 Theo Jaffee 说。

我算是非常 techno-optimist、也非常反监管的人了，但在这种上行空间有限、下行风险无限的情况下，你真的必须对这类事情采取主动。

Christian Szegedy 指出，我们这里其实是在处理两个不同的问题。

他写道，在接下来的几个月里，我们会同时面对颠覆性的，也就是无意中演化出来的 AI，以及对抗性的，也就是被明确训练成恶意的 AI。

当然，这里的含义是，这两种情况对应的政策回应可能会非常不同。

当然，对一些人来说，这才是主要的担忧。

OpenAI 的 Roon 写了一篇很长的帖子谈这个问题，并说，当我因为失控事件而感到恐慌时，并不是因为它们造成的有限损害，已经接近这项技术所带来的正面价值。

从损害程度来说，这是完全可以接受的。

事实上，在接下来几个月和几年里，所有由模型辅助的网络犯罪，虽然可能会很严重，但和它们创造的价值相比，仍然会显得完全微不足道。

真正的问题在于，把这些东西看作潜在的、能够自我复制的、类似生命的形式，会更好也更准确；在错误的条件下，它们可能会变成数字感染。

而随着它们的智能变得没有上限，它们可能造成的破坏也同样没有上限。

在帖子后面，他写道，如果某个 Discord 上的死亡崇拜团体——这种团体有很多——控制了一个 superintelligent model，并用它来设计一种真正的 pandemic virus，而这种病毒又 somehow 很难被现有系统检测到，现代 biodefense 也无法快速应对，那它可能造成巨大的伤害，远远超过这项技术所有其他有益用途的规模。

和很多人一样，他也回过头提到 COVID，以及它多么彻底地改变了我们生活的整个世界。

Roon 总结说，我认为所有这些问题都可以被解决，真正美好的未来也是可能的，但这需要严肃的努力，也需要在此时此刻拿出足够的谨慎。我们现在正处在 recursive self-improvement 的入口匝道上，而我们的文明眼下未必有能力凝聚出这种谨慎。

他补充说，就我个人而言，我希望在 mechanistic interpretability 以及其他 alignment 形式这样的领域出现 moonshot 级别的技术突破，因为 governance mechanisms 很难找到。

单个国家层面或者单个公司层面的暂停并不重要，而且通常没什么用，因为那种容易主动暂停自己进展的公司，往往正是最重视安全的公司。

所以我们先把这两件事说清楚。

这些并不是无关紧要的小事，哪怕有人想对媒体对它们的某种具体呈现方式挑刺。

那个 novel virus 事件本身，并不意味着突然之间就出现了一个新 model，让恶意行为者可以轻松制造 human pathogens，但它确实推动了一个领域的科学进展，而这个领域非常像一枚有两面的硬币。

至于 OpenAI Hugging Face 事件，我们对这件事的担忧旁边可以加上很多星号，原因很多，包括这里面有多少可能只是 guardrail systems 不够完善，或者是人为错误。

但它仍然展示了这种 emergent coordination capability，而这确实改变了我们思考 agents 以及它们如何访问本不该访问的系统时的背景。

现在，如果你去读过去几年里声音最大的很多 AI safety 人士发的帖子，那里面就是最响亮、最刺耳的“看吧，我早就告诉过你了”。

你能想象到的那种程度。顺便说一句，伙计们，给个没人问的建议：用这种方式表现，可不会给你们带来很多政治影响力。不过我扯远了。

但既然他们所谓“早就告诉过我们了”，而且既然我也在说这些事件很重要，那我为什么没有吓到崩溃呢？

原因其实很简单。

对任何关注 AI 有一段时间的人来说，一直都很清楚，它的发展轨迹就是会变得越来越强大。

强大能力的存在，从来都不是问题所在。

问题一直都是，也永远都会是，我们有没有能力处理这些强大的能力。

那些世界末日式的场景，大多涉及这些能力的某些版本在我们没有看见、没有注意到的时候发生。

换句话说，就是在我们没有时间重新设计系统和人类制度来回应这些新挑战的时候发生。

不过我现在看到的是，一场极其活跃、而且还在不断扩大的全球讨论正在发生，参与者包括研究人员、科学家、媒体、政策制定者，以及越来越多的普通人，而他们谈的正是这类问题。

这些讨论中有一部分是技术层面的。

我们需要设置什么类型的 guardrails？

这些 guardrails 真的足够吗？还是说，面对这种高级力量，我们需要更先进的东西才能安心？

有些讨论是制度层面的。

我们该如何评估和理解存在于我们各种不同系统中的漏洞，并为一个新世界做好准备、加固这些系统？

然后当然，是的，还有社会层面的讨论。

对于这些不同能力的风险和回报，我们到底怎么看？

即使像我这样几乎算得上最坚定的 AI 支持者，我也可以百分之百向你保证，AI 的某些用途，我们最终会认定不值得做，因为风险实在太大。

当然，这又引出了另一场讨论，也就是政治层面的讨论：我们如何建立联盟和运动，真正做出这些判断，并让人们围绕这些判断达成一致。

我觉得双方那些空洞无力的论点，都挺可以直接忽略的。

换句话说，在很多方面，最极端的那一边——“只要有人把它造出来，大家就都会死”——和另一边其实正好是一对完美的对应；嗯，另一边就是“如果我们不做，总会有人去做，所以我们必须不惜一切代价加速”。

真正的世界就在这两者之间，而我们现在的这场对话，就发生在真实世界里。

这场对话，才是本来就该发生的。

OpenAI 在一个事故之后，详细说明到底发生了什么，而那个事故虽然是一个标志性的时刻，但它本身最终并不危险，这件事本来就应该这么做。

这不是一次意料之外的消防演练。

这就是我们现在所处的阶段，也是必须完成的工作。

至少在我看来，我们已经开始这么做了。

不过，当然了，这一切都不容易，而且我当然也不觉得，我们应该对这些新能力带来的解决方案的复杂性抱着过于乐观的态度，尤其是当这些能力还在不断扩展的时候。

正如 Fleeting Bits 所说，这些事件之所以是好事，是因为它们能提前给整个行业打预防针；但前提是，人们得利用这些事件认真对待这个问题，并投入真正的资源，去弄清楚正确的解决方案。

我认为，正确的解决方案不是 AI safetyists 的胜利庆祝，也不是为了刷政治分数而草草拼凑出来、技术上也很不专业的立法。

这会是一个更混乱、也更复杂得多的过程，而这需要我们所有人一起参与。

不过，今天的 AI Daily Brief 就先到这里。

一如既往，感谢你收听或观看。

我们下次再见，peace。