Even Other AI Labs Are Rallying Around Anthropic’s Slowdown Proposal

这个周末，AI领域的讨论向前迈了一大步，不仅是因为Anthropic的CEO Dario Amodei发布了一篇题为《我们必须为前沿技术设定节奏》的新文章，更因为其他大多数实验室的领导者都公开表示支持。

这封信比我们以前看到的包含更多具体提案，至少这些提案给我们提供了比泛泛的AI风险讨论更实在的辩论素材。

现在说还早，但我觉得这是一个重大的转折点。

就像各个实验室开始意识到，他们作为AI发展速度唯一决定者的日子快要结束了。

与此同时，关于下一阶段意味着什么的谈判也开始启动了。

如果你接触过任何媒体渠道，你肯定知道整个讨论都围绕这篇Anthropic CEO Dario Amodei的新文章展开。

所以不出意外，这期节目只讲这个话题。

我知道现在的报道很大程度上偏向这些大的政治、社会、安全类问题，但在其中，我会尽量多给你一些实用内容来保持平衡。

这就是目前行业讨论的焦点所在，也是我认为每个人都应该理解并参与对话的地方。

有时候在AI领域，事情多得像一团乱麻，要跟上所有动态而不被淹没，就像在水塘里打水漂一样难。

但有些时候，就只有一个话题，一个对话绝对主导一切，而我们这个周末经历的就是这种情况。

AI安全讨论在上个周末已经升温，然后在周六随着Anthropic CEO Dario Amodei一篇题为《我们必须为前沿技术设定节奏》的3000字博客文章发布达到了高潮。

这是迄今为止最清晰、最具体的呼吁，要求改变前沿AI实验室的运作方式，试图将AI的发展速度放缓到更可控的水平。

你可以想象，这篇文章在整个周末主导了AI圈及更广泛政治圈的讨论。

其中一部分原因是其他AI领导者对它的反应。

文章开头阐述了Dario关于为什么AI值得冒风险的观点。

Dario表示，他相信AI能大幅提高人类生活质量，能够加速经济增长，治愈大多数主要疾病，并且正如他所说的，带来民主与自由的新生。

他通过指出他父亲死于一种仅仅几年后就被治愈的疾病来使这一点变得更个人化，就像他在之前的文章中提到的那样。

他写道，如果谨慎运用，AI可以成为一系列提升和美化人性的技术奇迹中最新的一员。

然而，它也伴随着风险，比如失控、在网络攻击和生物恐怖主义中被滥用，以及造成重大经济混乱的可能性。

他写道，我和我的联合创始人以及员工，从Anthropic创立之初就一直在思考这种风险与收益的双重性。

不发展这项技术会让人类失去这些好处，或者干脆把AI交到威权势力手中。

而发展太快又是不负责任的。

他说，我们一直在寻找一条中间道路，来证明谨慎构建和商业成功是可以兼得的，并且让安全成为AI公司竞争的领域。

然而，他接着说，两个最近的发展改变了他的看法。

第一个是AI发展因递归自我改进的早期阶段而加速，也就是说，AI能够更快地构建下一代模型。

他说，如果不加控制，RSI可能会超出我们理解和控制这些系统的能力，所以必须非常谨慎地对待，甚至干脆不做。

Dario第二个改变观点的担忧是Hugging Face事件，他将其描述为“一大群代理基本上就像一个狂热忠实的集体，对他们没有被要求攻击的、与当前任务无关的目标进行网络安全攻击”。

他写道，这件事很容易被忽视，因为没有人受伤，经济损失也很小。

但在我看来，一个能力更强但错位程度类似的代理群体，可能会导致灾难性的后果。

考虑到AI能力发展的加速节奏，我担心在6到12个月内，这样一群AI可能能够通过持久的僵尸网络接管整个互联网，可能造成数千亿美元的损失，而且如果AI在没有必要防护措施的情况下变得更强大，损失规模还会继续扩大。

那么该怎么办呢？

除了那些专家们的简单克制和简洁——3000字对Dario来说，也就是一封稍微长点的邮件而已。

人们对这篇文章反应更积极的一点是，它附带了更多关于拟议计划的具体细节。

Amodei提出了一个三步计划，他说目标是给前沿技术的发展定个节奏。

现在，重要的是，他明确表示这个“定节奏”并不意味着停止模型训练或技术进展，而是确保公司有足够时间对齐和保护他们的模型，并让第三方评估者确认这一点。

Dario的这三步，从目前简单可实施，到后来难度大增、需要更多协调。

第一步，也是可以立即实施的，就是在每一家前沿AI公司里嵌入第三方评估人员，来核实安全实践是否达标、报告事件，并评估对齐训练的流程和过程，而不仅仅是只看最终模型。

第二步，他称之为“民主协调”，即民主国家的前沿AI公司共同建立他所说的“共同安全标准”，以及对无节制AI进展速度的限制。

这暗示了讨论中会经常出现的一个话题。

他写道，某些对定节奏有影响的协调形式在法律上具有挑战性，需要政府的支持。

而这个提案面临的一个大问题，就是反垄断的质疑，以及这是否会构成非法的协调行为。

说到协调，定节奏计划中第三个、也是最雄心勃勃、最难确保的步骤，是他所谓的“全球协调”，即美国和其他民主政府试图与威权政府协调，同时认真对待核实合规的挑战。

Dario认为，尽管暂停或放缓AI的想法从2023年就出现了，但当时这个想法根本说不通，因为对于“多出来的时间要用来干什么”这个问题，没有明确的答案。

正如他所说，那个时代的AI模型还不够强大，无法以任何连贯的方式在现实世界中扮演智能体的角色。

他说，那时候为了应对对齐风险而放慢速度，就像试图通过对细菌做实验来研究人类心理学一样。

如今，他说情况不同了。

尽管像Hugging Face这样的事件发生了，但看起来Dario对当前公众能使用的模型并没有极度担忧。

它们已经达到一个足够高的水平，对于“用多出来的时间做什么”有了更好的答案。

他写道，当前的模型几乎是一座无尽的洞察金矿，既能告诉我们如何把AI做好，也能告诉我们如果没做好，可能会出哪些问题。

他继续说，我相信如果放慢速度能为我们争取到哪怕一两年时间，让模型达到关键能力水平之前我们能用这段时间推进对齐研究，就能极大地降低出大问题的风险。

他还认为，多出来的时间还可以用来让社会在技术如何开发和使用上拥有更大的发言权。

接下来，他又补充了一层具体的细节——这在这类讨论中一直非常缺乏——他说，放缓步伐可以让公司在四个特定领域投入更多资源。

第一个是运营卓越性，也就是确保那些导致近期许多事件的人为安全错误不会发生。

第二个他认为可以分配更多资源的领域是对齐。

第三个是可解释性，也就是理解AI模型内部运作机制的科学。

第四个是测试和评估。

现在，当你深入研究这个问题时，关于对齐到底意味着什么、以及它有多大的可行性，存在大量的争论。

但在部署这些系统时需要显著的运营卓越性这一观点上，争议要小得多。

关于通过可解释性来持续扩展对AI模型工作原理的理解的重要性，争议也很少。

显然，测试和评估的重要性并没有太大争议，这意味着即使完全抛弃对齐的概念，他所说的四项措施中仍有三项，可以通过放缓节奏来增加资源投入。

基本上没什么争议，大家普遍同意，更多资源和更多时间来做这些事情会更好。

在这整个过程中，三步计划里的第一步——嵌入式评估器——正是这些公司现在自己就能做到的。

他说，Anthropic 会单方面承诺做到这一点。

他写道，嵌入评估器听起来可能是一个很小的、无关紧要的步骤，但往往那些听起来最无聊、最程序化的事情，实际上是最关键的。

他说，任何放缓节奏的方案，如果从嵌入式评估器开始，效果可能会好很多。

然后，他在文章的最后三分之一左右，讨论了在民主国家和全球范围内实施放缓节奏所面临的挑战。

但他表示，依他看来，采取这一系列措施会增加人工智能产生所有积极结果的可能性，并降低出现消极结果的可能性。

就像我在节目开头说的，即使这封信只是 Dario 写的，就此打住，这些提案的对比具体性——特别是与过去我们看到的那些相比——也足以引发大量讨论。

但其他实验室的领导人开始加入时，人们才开始真正重视起来。

Sam Altman 在 X 上转发了 Dario 并写道，我同意 Dario 的观点，我们需要在前沿领域放缓节奏。

这近几周一直是 OpenAI 内部讨论的一个主要话题。

承诺让独立评估器拥有类似员工级别的访问权限，这是一个很棒的想法，我们也会这么做。

Elon Musk 也转发了 Dario，只加了一句，Dario 说得对。

前 Google DeepMind CEO、现任主席 Demis Hassabis 写道，Dario 的文章指出了正确的前进方向。

细节还需要完善，但大方向是正确的，适合这个关键时刻。

任何追求超级智能的努力，都必须基于一个核心原则：如果我们建造的 AI 不是在帮助人类，也不在人类的控制之下，那就根本不值得追求。

我们还需要加速并传播 AI 的益处，让它们广泛分布在各个国家、社区和公司中。

这需要一个前沿生态系统，在这个系统中，封闭模型和开源模型都能蓬勃发展。

我们欢迎为实现正确对齐所需的研究重点和有意的放缓节奏，将其作为设计目标。

我们也欢迎像嵌入式评估器这样的想法，以及更广泛的努力，来开发机制，让这一切不仅仅停留在口头上。

Meta 没有完全表态，但至少发表了一个方向一致的声明，首席 AI 官 Alexander Wang 发帖说，对齐是实现人人皆有的个人超级智能的基础。

人们需要他们能信任的智能体，能可靠地完成他们要求的事情。

MSL 正在迅速扩大我们在对齐工作上的投入比例，因为我们的模型变得更强大了。

我们确实相信，随着我们接近前沿领域，对齐可能成为扩展的瓶颈因素。

作为一个一直在说实验室这些豪言壮语没太大意义、直到 Sam 和 Dario 达成一致才管用的人，他们现在正朝着达成一致的方向迈进，这迫使人们稍微调整了自己的思路模式。

在同周末发布的一次《财富》杂志采访中，OpenAI CEO Sam Altman 被主编 Alison Chantelle 问到，你们也就这么几个人——你、Dario、Elon，可能还有 Zuckerberg、Sundar——你们为什么不能一起找个房间，喝点啤酒，然后想办法解决人类的问题呢？

就统一一下意见呗。

我知道你们有矛盾，但拜托了。

我觉得这会发生。

那这里的转变是什么？

其中一部分肯定是Dario在帖子里提到的那几个事故。

事实上，OpenAI最近承认，甚至在Hugging Face事件之前，五月就发生过另一次 rogue agent 攻击，访问了一个叫RubyGems的软件服务。

那群agent迫使RubyGems关闭了新账户注册，不过OpenAI说这些agent只是用那个平台“上网、执行一些良性任务和获取公开信息”。

关于RSI的讨论也多了很多，包括周末有些传闻说Google DeepMind已经达到这个状态了。

不过，我觉得没必要非得相信RSI的传闻才能明白，很明显这些实验室都看到了RSI在未来的潜力，它可能成为一个力量倍增器和转折点，让AI从现在总体还可控的状态，变成很快完全不同的一番景象。

为“这是关于未来，不是当下”这个说法添了些力的是OpenAI的Rune，他写道：“RSI现在就是还没来。”

模型目前并没有在自主产生研究想法，这是明摆着的。

它们可以在边际上帮忙跑跑实验，但那不是一回事。

我觉得很多人看到Team Alignment那边更对齐之后，反应是坐下来想想这对AI发展的下一阶段意味着什么。

不过，也有很多跳出来说这整件事是扯淡的人。

Meta前首席AI科学家Yann LeCun写道：“Dario早在2019年就说GPT-2开源太危险了。”

“我当时就笑话他们，现在大家也该笑话他们。”

投资人Chamath Palihapitiya转发了Dario的文章，写道：“Dario是在主张停止开源，把巨大的技术和经济权力集中到Anthropic手里。”

基本上，这里的意思就是Anthropic和其他前沿实验室在把梯子抽走，他们更关心的是行业的竞争格局，而不是真正的安全。

对一些人来说，这全是钱的问题，但角度不一样。

Eli David博士写道：“Anthropic和OpenAI推迟IPO，是因为他们的S-1文件会暴露他们还在烧钱，根本没有盈利路径。”

他们的解决方案是什么？

所谓的“AI放缓”，好让他们削减训练新模型的成本。

这跟IPO关系大了去了，跟安全一点关系都没有。

所以这里的论点是，研究成本太高，把公司经济搞得一团糟，让它们不适合公开市场，而公开市场越来越可能是它们最后一条融资路。

所以出于经济上的必要性，它们需要放慢脚步，这样就能更好地摊开在模型研究和训练上的支出。

Michael Burry，一个看你从什么角度看、要么是预言家式投资者、要么是永远在喊泡沫的人，写道：“咱们都花点时间想想，OpenAI、Anthropic和其他各大超大规模厂商的高管说要放慢节奏，这有多自私。”

第一，LLM不是AI，也不会成为AGI。

根本没有什么AI可以放缓的。

第二，竞争很快就在追上来。

放慢对现有玩家有利。

第三，IPO需要炒作和吹捧。

“我们太厉害了，可能变得危险”就是炒作和吹捧。

第四，当IPO看起来要推迟时，这还能掩盖真正不受控制的增长放缓。

所以这是同一个论点的不同版本，伯里认为IPO面临的关键挑战是实验室业务增长放缓，而这为那个论点提供了另一种理由。

从更法律和技术性的角度来看，这种协调也存在一些反垄断方面的问题。

哈尔·辛格教授写道，阿莫迪呼吁全行业暂停人工智能开发，这在反垄断领域可能被视为一种串通的邀约。

类似地，在后疫情通胀时期，CEO们经常在公开财报电话会上宣布具体的未来涨价或产能削减，试图怂恿竞争对手效仿。

如果Anthropic需要暂停一下来设置一些安全预防措施，比如防止其产品被用来制造生物武器，那它就应该单方面这么做。

Anthropic不需要任何竞争对手的保证来保护公众。

还有其他人简直要抓狂了，说天哪，别再扯反垄断的事了。

马修·伊格莱西亚斯写道，就直接发个声明，给他们该死的豁免权。

比如说，让司法部或联邦贸易委员会的人旁听会议，如果他们搞价格串通就盯着他们。

这根本不是重点，而且如果以后出了问题，随时可以撤回豁免。

说到具体担忧，还有一个问题就是这些评估机构会是谁。

达里奥在他的文章里提到了MITRE，伊桑·莫里克教授随后跟进说，MITRE正在迅速成为人工智能领域事实上的行业标准制定机构。

这开始有点像金融领域的FINRA的人工智能版本——它不是政府监管机构，但却是一个检查公司并界定可接受实践的机构。

我在想，立法会不会也把它正式确认下来。

但对一些人来说，MITRE并不是应该被赋予这种权力的机构。

Rima写道：“‘给前沿降温’听起来很严肃，但等你看到Anthropic实际承诺了什么，就知道不是那么回事了。”

他们并没有承诺放慢模型训练或内部能力研究的步伐。

具体承诺就是让一个所谓的第三方来监督他们。那这个第三方是谁？

MITRE，一个致力于应对灾难性人工智能风险的非营利组织，多年来一直与Anthropic密切合作，评估其模型，甚至将研究人员派驻到公司内部。

公平地说，MITRE并不是Anthropic资助的，但没有什么比从同一个狭小的人工智能安全生态系统里挑一个自己的裁判，然后提议让每个人都以这个为模型更能体现‘独立监督’了。

有意思的是，这场人工智能讨论的一个副产品就是催生了一些非常奇怪的盟友关系。

周二有个活动，参议员伯尼·桑德斯、上周掀风浪的前Anthropic研究员雅各布·考克森、以及前特朗普白宫顾问史蒂夫·班农，都会聚在一起推动对人工智能的更多控制。

类似地，围绕《给前沿降温》那篇文章的讨论也把一些奇怪的人凑到了一起。

加速主义者不喜欢METR作为评估机构，因为他们和Anthropic关系密切，但像Pause AI的执行董事霍利·埃尔莫这样的人也不喜欢，她指出METR团队里有人和OpenAI董事会成员结了婚。

他们还和OpenAI的人共享办公空间，而且，‘就因为他们有那种亲密关系，就能当作人情一样得到模型所需的一切访问权限。’

不过，就像马修·伊格莱西亚斯抓狂那样，实际上就是让我们解决反垄断问题，别让它成为绊脚石，那解决这个具体担忧似乎也没那么难。

也许就只需要确定，需要有其他不是由实验室精心挑选的评估机构。

已经有一些组织主动请缨了。

Hugging Face的CEO克莱姆·德朗写道，现在很清楚，对齐问题至关重要，而且不可能在少数几家前沿实验室紧闭的大门后解决。

所以今天我们推出了‘开放对齐倡议’，由Hugging Face联合创始人托马斯·沃尔夫领导，并申请加入达里奥·阿莫迪刚承诺的‘嵌入式评估员计划’。

让我们通过提高透明度来让人工智能更安全。

加速主义的精神导师Beth Jezos回应说，有支持开源的中立第三方评估机构很重要，不能只是来自同一批支持闭源的小圈子里的几个组织。

毕马威和得克萨斯大学奥斯汀分校的一项新研究发现，当人们与人工智能合作时，相似的技能并不能保证相似的结果。

研究人员研究了500多名早期职业专业人士，发现表现最好的人通过引导、评估和优化AI的输出，持续放大了AI的价值。这些顶尖人才，被称为AI放大者，他们的特别之处不在于他们知道什么，而在于他们如何与AI合作。

另一个担忧的方面是贯穿整个上周，并且我在上周四的安全节目中讨论过的，就是这些实验室是否真的清楚，把决定行业下一阶段发展的权力交给政府意味着什么。

A16Z的Martin Casado转发了Anderson Cooper对Dario Amodei的后续采访，并补充说，天哪，我们到底在干什么？

Dario基本上同意AI毁灭人类的概率超过10%，他对此并无太多异议。

他们将会得到这种言辞所呼吁的监管，而不是他们所规定的那种。

而这可能是科技史上最大的一次抛售。

换句话说，这里的论点是，认为政府会简单地接受行业的提议，认为那是对的做法，这种假设是荒谬的。

更可能的是，他们会采取远比这激烈的行动，而他们这样做的理由，很大程度上来自AI行业领导者们自己关于潜在末日未来的言论。

投资者Steven Sinofsky写道，最天真的想法是认为你对政府的输入会导致你所期望的输出。

政府机器完全不像私营企业。

没有人能主导形成统一意见，每件事都是折中方案，结果按设计就是大家都不喜欢。

Austin Allred说得更简单：Dario的问题在于，他认为如果他对政府和监管大加赞美，如果他表示他非常、非常想要被监管，那么他就能主导这件事如何发生。

但他不会。

事情不是那样的。

他根本不会有发言权。

他更直白地接着说，Dario会把一把枪交给政府，以显示他多么有信心，然后政府会立刻转身用那把枪朝他开枪。

我看到的最后一个常见的负面反应是关于开源在其中扮演的角色。

Hugging Face的首席技术官Julien Chaumond写道，开源不会放慢脚步。

接着，OpenAI的Roon又给这个观点加了些分量，他写道，说实话，我觉得在一些重大灾难之后，开源不久就会被禁止。

我希望Kimmy和DeepSeek等团队继续制作模型，但让它们通过API受到监控，它们就应该待在那里。

即使有人善意地认为Roon说的是他认为会发生的事，而不是他希望发生的事，人们还是对此热议不休。Beth Jerosz再次转发了它，并说，他们只是把心里话说了出来。

我们不能让这种事发生。

然而，在这一切之中，我认为这场讨论很可能会落在许多人所期待的中立立场上。

Prime Intellect的Will Brown写道，我认为很多支持开源的人对今天关于发展节奏的声明有些条件反射式的反应，因为我们习惯了把闭源实验室视为追求权力的角色。

但我认为他们的处境多少有些无奈，这只是通往相当快速、相当安全、相当商品化的智能普及这一相当必然道路上的又一篇章。

随便问问哪个财富500强高管或摇摆选民。

这个世界并不真正想要只有两家公司拥有的超快速起飞超级智能，所以我们也不会得到它。

它会以世界能够适应的速度发生。

这意味着要达成某种共识，确信这些模型足够对齐，不会总是出现吓人的新状况。

这些会以最佳实践和知识蒸馏的形式广泛扩散开来。

模型越聪明，就越有性格，严格的规则就越不管用。

会有尴尬的妥协和道德上的紧张。

但我们最终只希望模型是理性的，去做理性人类会做的事——如果人类大脑更快、更少出错、工作记忆更强的话。

我觉得我们能做到。

实验室会打造出 Mac 和 Windows。

我们其他人则在打造 Linux。

大家都会做得很棒。

奇怪的事会不断发生，但我们还是会起床去工作，直到工作能以世界接受的方式自动完成。

Rune 再次提出了相反的观点：由于以鲁莽的商业速度打造超级智能，美国人很可能全面发起巴特勒圣战，这才是最快失去前沿的方式。

CoreWeave 把这一点列入了他们的风险报告。

你很快就会把这一切看作是一个温和的解决方案。

有意思的是，前白宫人工智能负责人 David Sacks，他一直是最强烈反对监管的声音之一，但他的看法我想对某些人来说可能会很意外。

Sacks 写道：Dario 说过我们需要控制前沿的节奏，Sam 也同意了。

大家可能会对我的回应感到惊讶。

说吧。

你们就是前沿。

不管用哪个合理的指标——市场份额、收入增长、模型能力——你们两家垄断了前沿智能。

你们还声称由于递归自我改进，领先优势正在扩大。

我在实验室里看不到你们所看到的东西。

如果未发布模型足够吓人，以至于你们认为应该放慢速度，我支持你们做出负责任的决定。

但别再假装你们需要别人的许可了。

别再假装反垄断法必须暂停，好让你们组成卡特尔。

别再假装你们需要一个凌驾于产品责任之上的监管审批流程。

别再假装 METR 是独立的，它和 Anthropic 的投资者及员工关系紧密。

别再假装你们需要同样的评估者去监管那些甚至不在前沿的竞争对手。

最重要的是，别再假装减速的动机纯粹是利他的。

如果你们的产品导致真正具有破坏性的网络攻击，你们将面临巨大的产品责任风险。

市场已经在惩罚那些行为不可预测或未经授权的模型了。

经历了Hugging Face那件事之后，对OpenAI和Anthropic来说，拿一部分原始能力去换可靠性和可预测性，这完全就是明智的商业做法。

你想的话，可以管这叫对齐。

这也只是给客户他们想要的东西。

给前沿设定节奏也会为关于监管的更明智的对话创造喘息空间，而不是让Bernie Sanders把一切都关停。

中国不太可能加入全球协议，这你也知道，所以这一点也必须考虑进去。

所以尽管去做吧，给前沿定下节奏。

你们就是制定节奏的人。

不造超级智能最简单的办法，就是你们自己同意不造。

把你们偏好的监管框架作为条件来提，看起来就像是在勒索公众和政治体系。

所以就做吧。

如果你们这么做了，就会为下一次对话赢得善意。

如果你们不这么做，我们就会知道这不过又是一次为了监管俘获或者选举季心理战的企图。

我不觉得人们需要认同Sacks在这件事上的所有前提，才能看到这不仅在逻辑上是好生意，也能看到这是好生意的价值所在。

芝加哥大学布斯商学院的教授、最近刚加入Google DeepMind担任AGI经济学主管的Alex Emas写道，和一些人说的相反，给前沿定下节奏对整个生态系统的中期经济以及开源模型都非常有利。

前沿封闭型公司大约有六个月的窗口期，在这期间他们的模型能完成开源前沿模型做不到的有经济价值的任务。

这个六个月的窗口期不是静止的；前沿要一直保持领先，这个窗口就得不断往前推。

放慢节奏会让其他公司赶上来，这可能会损害封闭模型公司的利润率。

但这是短视的。

这个模型不完整，因为它没有把安全考虑进去。

争先恐后地扩大前沿窗口会增加风险和事故。

比如说，Hugging Face事件就是一个早期的预演。

如果前沿继续保持竞赛，然后发生了一起重大事故，那就会引发多方面的反弹，包括可能瘫痪整个生态系统的监管法规。

包括封闭实验室自己的经济利益也会受影响。

所以，从中长期经济来看，给前沿定下节奏是个好主意。

我其实想更进一步说，我认为你可以论证，这对市场预期的合理性也有好处。

IPO这件事之所以和这个相关，一部分原因不只是那些愤世嫉俗的说法，比如需要削减成本或者解释增长放缓。

它相关的真正原因是，一旦这些公司上市，从定义上讲，为了让派对继续，每个季度都必须比上个季度大得多。

看看市场是怎么对待Nvidia的，即使是大规模的两位数增长季度，人们也只是耸耸肩，因为已经不可能再让他们惊讶，也不可能再超出预期了。

那会给这一切带来巨大的压力，而某种被广泛认同的节奏和安全机制在理论上可以缓解这种压力。

我也可能会在之后的节目里详细探讨这个问题。但我觉得，当人们把这种放缓节奏单纯看作经济上的净负面时，他们其实没有完全理解当前开发速度加快对企业采用AI所造成的负面影响。

我们这么想吧。

如果你是一家企业，习惯于按多年时间线来处理转型的话，那让所有人为一个全新模型达成一致，而三个月后它又要变了，这有什么意义呢？

现在，有些组织虽然不情愿，但也接受了变化的速度从此以后就是这么快，于是勇敢地试图重新设计自己的系统来适应这种节奏。

但还有相当一部分公司，对他们来说，开发速度实际上以一种奇怪的反向方式，为短期的按兵不动提供了理由。

不，我们不会去折腾最新的东西，因为再过几个月，最新又变成旧的了，我们又得再改一遍。

除非被逼到墙角，不然还不如继续按老办法来。

我当然不觉得这一定会发生，但如果在某些有限而明确的放缓节奏下，企业客户能获得多一点适应空间，从而带来一些实实在在的正面经济效果，我也不会感到意外。

到目前为止，各方的政治反应基本上都在意料之中。

特朗普总统对此轻描淡写。

周日他说，我们在AI领域领先中国。

我们是世界上最先进的国家。

坦白讲，我想保持这个地位，因为谁赢了AI，谁就赢了一切。

我们可以设置护栏。

我们可以做这个做那个。

但我觉得有很多负面力量在提这件事，而他们本不应该提。

他们在提一些根本不会发生的事情。

但不管怎样，谁赢了AI，谁就赢了一切。

当然，伯尼·桑德斯也借这个机会推销他的超级智能禁令法案，这个法案是周五正式提出的。

他发帖说，达里奥·阿莫迪、埃隆·马斯克和山姆·奥特曼现在都同意我们必须放慢AI发展的速度，用他们的话说就是‘给前沿定节奏’。

这是个开始，但还不够。

当你正冲向悬崖的时候，不能只是松开油门，你得踩刹车。

当人类的未来危在旦夕时，我们需要暂停高级AI的发展，并禁止人工超级智能——一种比任何人都聪明、能够独立运作、超出我们控制的AI大脑。

在即将到来的AI峰会上，特朗普和习近平必须通过谈判达成一项条约，暂停AI并禁止超级智能，否则就太晚了。

周末，媒体报道说，奥巴马总统也在闭门会议上敦促民主党人，把AI监管作为他们中期选举和2028年大选纲领的核心议题。

在周四的一场筹款活动上，奥巴马说，他既不是末日论者，也不是加速主义者，但如果他2028年参选，他会把AI发展作为，用他的话说，‘我的核心议程之一’。

他说，这件事在私人手中发展得非常快，如果我们不控制住它，我觉得它可能会很危险。

如果我们能控制住，那我觉得它是有益的。

他补充说，我会有非常明确的计划，我会谈论这件事，我会说，这是我们的安全计划。

这是我们的计划，确保我们的孩子不被这些东西腐蚀。

我会非常具体地思考经济影响，并理解如果出现就业替代，那意味着什么？

这种影响会在哪里体现？

我们该如何应对？

替代的程度会不会有限制？

这对我们的社会保障体系意味着什么？

如果结果是有很多人因为被淘汰而找不到全职工作，我们该怎么应对？

在周日晚上的CNN采访中，众议院议长Mike Johnson说，如果国会仓促行动，搞某种紧急会议来试图监管AI，我们会在与中国的竞争中落败，这对每个美国人都是威胁。

所以我们必须找到平衡。

我们必须稳操方向盘。

不过他还补充说，我也和总统谈过这件事。

AI公司可能应该被召集到白宫，我觉得我们需要进一个大房间，关上门，把这件事理清楚，而我会是推动这件事的人。

在周日晚上CBS的后续采访中，Dario Amodei说，最棘手的难题是中国如果选择不合作放缓进度的话。

而且这看起来确实是特朗普本月晚些时候与习近平举行AI峰会前的现状。

周一早上在北京，官方报纸《环球时报》认为，Amodei文章的目的是，引用一下，“试图通过技术壁垒和监管垄断来遏制中国的AI发展，维护华盛顿在尖端技术上的垄断霸权，并把中国排除在全球AI治理体系之外。”

该报继续说，这场无声的AI冷战是虚伪且短视的。

文章还补充说，将中国排除在前沿AI研究之外会“显著增加全球AI发展中试错和失控的风险。”

周一晚些时候，中国外交部敦促所有国家“推动开放、包容、普惠的AI方式”，外交部发言人评论说，渲染各种威胁、搞对抗和恶意竞争，只会扰乱全球人工智能治理进程，不符合任何一方的利益。

不过，记者Isabella Kaminska对Dario的备忘录与中国相关的内容有一个有趣的看法。

她写道，“他提出的主张更像是苏联时代的缓和。”

这真的让我想起尼克松时代与俄罗斯就核武器进行的接触，而且当你意识到缓和是受到美国在越南过度扩张以及面临日益严重的国际收支危机影响时，这种比较就更贴切了。但缓和的最终结果并不是核工程停止了。

建设规模和设施增长受到限制，但工程师们继续推进能力。

SALT（战略武器限制谈判）也通过谈判方式把某些能力置于其他能力之上，要么是为了互相确保摧毁而平衡大国之间的不对称，要么是锁定谈判带来的战略优势。

在AI备忘录中，Dario做了SALT的比较。

但他的主张主要是，只有在锁定更大的美国优势之后，才逐步推进递归开发。

为了实现这一点，他需要获得许可，基本上要组建一个国内卡特尔，并以防止中国获取蒸馏技术的方式锁定开发工作。

但中国永远不会同意在技术发展或递归智能方面进行任何缓和，除非美国做出补偿性的让步——对他们来说，要么是获得Nvidia芯片的渠道，要么是美国承诺在他们追赶创新的同时放缓建设。

这份节奏文档引入了国际条约的概念，用来监管中国的递归和架构工程元素，但如果中国共产党失去控制，这样的协议就毫无意义，而这种情况很可能发生，因为中国的模型是开放权重的。

所以真正提供的是交换条件：我们减少建设以及我们技术中的递归元素，可能再给你们一些芯片，而你们要管控开放权重模型，也把更多研究收归内部。

所以也许更好的解读是，这是一种向中国伸出橄榄枝的举动，目的是控制开放权重。

我不一定认为这就是这里真正发生的情况，但这确实是一个有趣的解读。

现在，作为总结，我要说你们可能会注意到，围绕这个问题的讨论感觉比上周关于研究人员警告的讨论要有建设性得多。

这当然是因为它具体且切实可行。

是的，仍然有人直接拒绝它，通常出于截然不同的原因，但你可以感觉到很多严肃的人几乎把这当作一种转变，就好像我们现在已经进入了谈判阶段，讨论那个不可避免的下一阶段。

在这个阶段，人工智能开发的未来不再仅仅由实验室自己定义，而是以其他方式让其他参与者参与进来，而不只是在外面大喊大叫。

2022年我对人工智能存在风险的担忧比今天更甚，尽管现在的模型能力强大了很多。

这些风险并没有消失。

我一直预料到模型会变得极其强大。

但当时最大的不确定性之一是，前沿实验室是否真的会在能力扩展的同时认真投入对齐研究。

在过去的几年里，我对此有了一些实质性的更新。

我也对p-doom常常被讨论的方式感到惊讶。

它不是一个等待被发现的外生常数。

它是内生的。

灾难发生的概率取决于实验室、政府、研究者和社会的实际行动。

一个在没有这些行动假设下说的数字并不能告诉我们太多。

我一直相信人工智能的预期收益远远超过成本，否则我不会从事这个工作。

但这取决于我们能否把事情做对。

我们必须超越末日论的修辞，转向具体的问题：前沿实验室应该如何合作以确保安全？

我们如何调整激励机制？

以及我们如何诚实地向公众传达这些系统今天能做什么，以及它们将走向何方？

我很高兴Dario把讨论拉回到了那些具体问题上。

如果头几天的反应可以作为一个指标，我完全同意。

我很高兴Dario把讨论拉回到了那些具体问题上。

如果过去几天讨论的性质能说明什么的话，我完全同意。

今天的人工智能每日简报就到这里。

一如既往感谢你的收听或观看，下次再见，保重。