The AI Wealth Problem

Anthropic 提议捐赠数千亿美元用于公共福利资金。

所以大家对此都很兴奋，对吧？

事实上，这引发了许多有趣、重要、有时甚至棘手的问题，不仅涉及 AI 财富的机会和挑战，还涉及高度集中的 AI 财富与权力同公共部门以及整个民主制度之间的关系。

这些将成为未来几年我们社会面临的一些最大问题。

《AI 每日简报》是一个关于 AI 领域最重要新闻和讨论的每日播客和视频节目。

好了，朋友们，在开始之前先快速宣布一些事情。

今天我们先从一个故事开始，很多人都在关注它，因为它可能揭示了我们如今生活的世界的一些情况。

OpenCode 遭受了一次重大网络攻击，这可能会削弱对大型实验室开源替代方案的支持。

周五晚上，用户看到关联的 API 账户产生了巨额账单，在某些情况下高达数百甚至数千美元。

到周六下午，OpenCode 承认了这次攻击，写道：“我们昨晚遭遇了一次安全漏洞，涉及一场大规模蒸馏攻击，影响了 1.4% 的 OpenCode Console 用户。”

他们表示攻击当时仍在继续，并且他们正在与 OpenAI、Anthropic 和 Google 合作进行修复。

如果你不熟悉他们的服务，OpenCode 提供了一个类似于 Codex 或 Claude Code 的开源编码工具。

用户通常自带模型，并将 API 密钥存储在 OpenCode。

这就是攻击途径，用户 API 密钥的完整数据库似乎被暴露了。

甚至 OpenCode 的创始人 Dax Raad 也未能幸免。

周六下午，他发帖说：“我自己的账户现在也在遭受攻击。”

AI 驱动的黑客攻击开启了全新的世界。

OpenCode 警告用户，他们需要轮换 API 密钥，而不仅仅是撤销访问权限。

Anthropic 表示他们正在尽力减少损失，并撤销任何他们能检测到的已被泄露的密钥。

随着周末的继续，我们得到了关于这次攻击所涉及内容的更多细节。

周日早上，Dax 发帖说：“在过去的 48 小时里，他们一直在不停地试图攻击我们的系统。”

一个副作用是，一切都在加强，但该死，我们基本上需要 24/7 不间断运行的智能体，因为他们就是这么做的。

这听起来类似于 Hugging Face 事件，一群智能体连续几天冲击服务器。

Hugging Face 的智能体迅速启动基础设施以避免关闭，其速度远超人类防御者所能及。

与 Hugging Face 类似，Dax 说他遇到了前沿模型实验室阻止网络任务的问题，导致他不得不依赖开源模型。

他写道：“在事件调查中，这有点令人沮丧。”

他们做了不少事情，然后就开始拒绝了。

我们现在获得了 Daybreak Blue 的访问权限，所以情况好多了。

Daybreak Blue 是 OpenAI 的经过审查的网络防御者项目，Daxetti 现在正使用该服务运行持续性的防御智能体。

周日夜间，来自 OpenAI 的 Thibault 确认，他们一方的损失修复已经结束，API 密钥已重置，并已向受影响客户发放退款。

这个故事还在不断发展中，估计这周晚些时候我们会有更多信息。

但乍一看，我们有理由认为这次事件可能会产生非常重大的影响。

这似乎是首次出现 agentic swarm 实施大规模恶意攻击的情况。

OpenCode 说，这次攻击和 distillation attack 有关，这在 X 上引起了一些困惑。

看起来，OpenAI、Anthropic 和 Google 用户的 API 凭证被用来快速生成海量 token，之后作为合成训练数据使用。

这并不一定意味着某个中国实验室是这次攻击的幕后黑手，因为 API 访问权限有可能是通过黑市经销商卖出去的。

但这确实意味着黑客能够直接从攻击中获利，因为他们偷走的是有价值的数字服务，而不仅仅是数字信息。

这次攻击还可能对 AI 公司如何处理安全问题产生重大影响。

存储 API key 的服务现在看起来越来越像金融服务了，它们需要加强安全防护，很可能会使用始终在线的防御型 agent。

前 AI 沙皇 David Sacks 借这个时机呼吁广泛分发具备网络能力的模型。

他写道，这印证了我一直在讲的观点：在网络领域，集中式的 SI 安全方法是有局限的。

是的，我道歉，接下来一段时间，我们还得继续忍受白宫的人用 SI 这个说法，而其他所有人还在用 AI。

但不管怎样，Sacks 接着说，唯一持久的应对方式就是去中心化。

让强大的模型可用，这样防御者就能构建和运行自己的网络防御。

应对 SI 驱动的网络攻击，唯一的解决方案就是 SI 驱动的网络防御。

OpenAI 的 Dean Ball 称，无法访问 Daybreak 是一个，引用，"相当小的阻碍，后来通过获得 trusted access program 的访问权限很快就解决了，所以相对于让持续自主的网络攻击成为可能，这似乎还算合理，问号？"

这很好地代表了当前的这场争论。

正确的做法是让实验室授予特殊访问权限，把某人列入白名单，作为某个计划的一部分吗？

还是说，只是让这些模型更广泛地开放使用？

另一个重大的潜在影响，是开源和闭源模型之间的钟摆效应。

OpenCode 是领先的开源 coding harness，可能很适合那些想要转向多模态的企业。

在 OpenCode 的 Reddit 上，有个用户说，他正在向公司推荐这个服务，但合规部门现在很可能会叫停。

就像我说的，后面估计还会有更多消息。

现在，我们正式身处其中了。

欢迎来到网络的新时代。

与此同时，在市场上，华尔街如坐针毡，分析师们宣称 AI 泡沫即将破裂。

过去几周，对 Neo Clouds 来说全是极其糟糕的消息。

首先，Firmus 的 IPO 失败，导致 CoreWeave 的债券大幅下跌。

Fox Business 的 Charles Gasparino 已经看够了，他在 New York Post 上写道，AI 泡沫即将破裂，一场大规模的市场调整即将到来。

这篇文章列举了一系列与互联网泡沫末期的对比，Gasparino 最后总结道，常识和历史告诉我们，这不会持续下去。

修正即将到来，针对AI以及所有通过巨额支出（其中很多是债务）来利用其技术的公司。

这是任何崩溃的主要因素。

如果历史能提供指引，那么现在是时候拿取你的利润，不要贪婪，或者祈祷你所押注的AI能成为即将到来的崩溃中的幸存者。

现在，我把那篇专栏文章出现在《纽约邮报》上意味着什么留给你来判断，但痛苦的迹象比新云公司（neoclouds）更广泛，他们在过去几周遭受了绝对的重创。

半导体正处于自2006年以来最长的修正期，费城半导体指数连续8天下降，总损失达12%。

这一切都在拖累主要的纳斯达克指数，该指数上周下跌了超过5%。

当然，在下跌过程中仍然存在一些乐观的角落。

英伟达CEO黄仁勋上周五告诉彭博社，这一切都会过去，原因很简单。

它将是变革性的。

它将以一种非常积极的方式影响每一个行业和每一个国家。

毫无疑问它会继续，而我们正处于那个开端。

埃隆·马斯克使用了一段AI生成的视频来强调计算供应仍然极度紧张。

他声称SpaceX目前在AWS、谷歌或其他任何地方都找不到空闲的计算容量。

ARK CEO凯茜·伍德（Cathie Wood）对投资科技炒作周期颇有了解，她目前看到的情况并不令她担忧。

伍德说，外界的恐惧实际上是好事。

我说的是人们害怕我们处于炒作周期中的那种恐惧。

我们不认为我们处于其中，但人们害怕这一事实意味着我们不在泡沫中。

她补充说，虽然有些人可能会说我们处于第一局，但我们会说我们还在停车场里，还没进入棒球比赛。

我们对半导体总体上非常乐观，对云计算、新云计算也很乐观，因为我们在AI方面才刚刚开始。

无论我们在哪个阶段，与互联网泡沫时期的比较都必然是不充分的。

关于真实的需求状况，各方意见不一，但我们肯定没有听到大规模过度建设和取消支出的情况。

我们主要看到的是投资者要求更高的回报来通过债券市场为高风险的数据中心项目融资。

这正在压缩新云公司的估值，但这与打破互联网泡沫的动态非常不同。

更多证据来自GPU现货租赁价格，现已连续上涨17天。

值得思考的问题是，如果新云公司的债务融资枯竭，这意味着什么。

在这一点上，对于那些想要深入市场分析的人，我建议避开那些试图使用宽泛术语或沉重但不准确的历史比较的人，而是去寻找那些试图深入具体细节的人。

与此同时，微软因能源延迟问题取消了一项价值数十亿美元的英国数据中心交易。

据《每日电讯报》报道，微软已经取消了在埃塞克斯建造大规模数据中心的合同。

该地点面临多次延迟，当地公用事业公司最近表示，他们预计要到2030年代才能将该设施连接到电网。

它原本计划明年上线。

这对Nscale来说是一个巨大的打击，他们将自己定位为英国的主权数据中心提供商。

Microsoft占了他们1030亿美元合同收入的40%，尽管这个站点据信只占其中一小部分。

尽管如此，Nscale一直试图通过IPO上市，这将使他们成为英国最有价值的AI公司之一。

他们一直在寻求300亿美元的估值，但据彭博社报道，一群投资者一直在推动管理层接受160亿到190亿美元的估值范围。

这与他们上一轮融资相比不会有太大跃升，据报道该轮融资在9月份对公司的估值为150亿美元。

合同被取消也是对市场信心的一个相当大的打击。

这是首批被搁置的高知名度项目之一，也是另一个高知名度的NeoCloud产生了糟糕的新闻头条。

从乐观的角度看，这次取消并不是关于需求不足或AI行业的其他结构性问题。

根据报道，这似乎是一个特殊情况，即数据中心没有明确的电力供应途径。

这可能说明了资本的稀缺性，本质上微软无法承担将预算分配给一个几年内都无法投入运营的设施。

更广泛地说，这可能表明我们已经过了数据中心建设的热潮期，那时超大规模企业会与毫无业绩记录的全新公司签约。

为了涵盖各种观点，我们有一个极端来自Ben Bridgeman，他说微软仍然与Nscale有大量合同。

最近在英国的问题是关于电力可用性，而不是对Nscale产能的需求不足。

我们真的对在北极圈建造大型数据中心面临后勤挑战感到惊讶吗？

然后在另一个极端，来自X平台上的Nobody Special说，Nscale的IPO看起来不太好。

还要多久他们才会开始用“传染”这个词来形容NeoCloud们正在发生的事情？

今天的最后一条，来自Anthropic的IPO文件。

纽约市主计长Mark Levine敦促Anthropic出于安全原因暂停IPO。

在上周发给Anthropic的一封信中，Levine写道，Anthropic和其他5家公司最近与白宫签署了一项所谓的“道德约束”协议，但这不足以应对当前形势。

在上市之前，公司应该优先解决围绕AI威胁的众多安全问题，并建立一个与你们以及行业研究人员、政策制定者和公众提出的担忧严重性相匹配的治理机制。

准备公开上市的要求会转移资源和注意力，使其无法专注于这项非常必要的工作。

现在，如果你想知道为什么我们要关心纽约市主计长办公室对Anthropic不满，这是一个非常合理的问题。

主计长办公室负责市政府的一系列不同财务审计和监督职能，但在这种情况下，该办公室是以3250亿美元纽约市养老基金的投资顾问和托管人的身份写信的。

换句话说，这可能是来自一个财力雄厚的投资者的代表性意见，可能也反映了其他人正在考虑的事情。

Levine指出，Anthropic的IPO文件包含80页的风险披露，是描述业务部分长度的两倍多。

信中写道，这些披露并非例行公事，表明风险是前所未有的，更不用说在这种规模的公开上市中了。

主计长呼吁Anthropic在审计和控制计划方面提供类似程度的细节，以应对这一风险。

这封信还提请注意据报道有人试图向创始团队授予超级投票权，使他们在合同上控制公司。

Levine认为，考虑到公司已经承认的前所未有的风险，控制与问责之间的差距对投资者来说尤其令人担忧。

这封信是在Anthropic周四的博客发布之前发出的，该博客讨论了任命Meador为第一位拥有类似员工访问权限的外部审计师。

然而，审计长似乎要求一份更详细的计划和具体的时间表。

考虑到Anthropic自身担忧的严重性，Levine呼吁Anthropic暂停IPO，这样公司就能全面解决安全问题。

Levine出现在彭博电视上讨论Anthropic的IPO，并指出在他发出那封信之后，公司已经与他的办公室展开了讨论。

他无法具体描述讨论的内容，但表示他们现在似乎确实承受着来自多方的压力。

如果他们上市了，然后发生了一场远远超出我们目前所见规模的灾难性安全事故，那对他们的股票来说将是灾难性的。

现在花点时间把这件事做好要明智得多。

Levine假设指数会迅速将Anthropic纳入，就像纳斯达克100今年早些时候对SpaceX所做的那样。

该市的一些养老基金投资于主要指数，因此他们将在相对较短的时间内被迫持有相关股份。

Levine指出，无论哪种方式对市场都有风险。他评论说，有些人持相反观点，认为如果他们推迟IPO，这本身就可能给市场带来问题。

但他接着说，我担心的是上市后发生事故。

详细讨论超出了新闻标题的范围，但我认为这是一个有趣时刻的原因是，它生动地展现了许多即将出现的问题。

正如我之前所说，我很难相信人们会接受Anthropic关于超级投票权的计划。

而且我认为你会看到对此有更多的阻力。

但更广泛地说，有一个有趣的问题：Anthropic或OpenAI上市后发生事故导致市场下跌的风险，与上市公司带来的更高的可见度和透明度相比，孰轻孰重。

我认为有一个相当有力的论点：如果我们想在决定这些公司发展方向上有更多的参与和影响力，那么我们实际上希望它们尽快上市。

无论如何，今天的头条新闻就到这里。

接下来是主要节目。

毕马威和德克萨斯大学奥斯汀分校的一项新研究发现，当人们与AI合作时，相似的技能并不能保证相似的结果。

研究人员研究了500多名早期职业专业人士，发现表现最好的人通过指导、评估和完善AI的输出，持续放大了AI的价值。

这些被称为“AI放大器”的顶尖表现者，其定义不仅在于他们知道什么，还在于他们如何与AI合作。

欢迎回到AI每日简报。

今天我们要讨论AI将如何改变世界，但这次是这场对话中一个非常不同的方面。

Anthropic刚刚宣布成立一个相当于重要慈善分支的机构。

在上周末，他们写道，我们将把一部分Anthropic股份捐给Anthropic公益基金，这是一个新的全资实体，完全致力于公共利益。

它将从我们5%的股份开始。

每当公司价值超过设定基准每增长50%，我们可以额外贡献2%，但需经董事会酌情决定。

总的来说，这意味着大约20%的Anthropic股份被承诺用于公共利益。

我们的联合创始人已经承诺捐赠他们80%的股权，大约一半的员工也捐赠了部分股权，这是我们自成立以来一直运行的捐赠匹配计划的一部分。

在配套的博文中，他们更深入地探讨了他们的一些变革理论，以及这如何与整个公司的公益使命相关联。

他们写道，作为一家公益公司，我们追求使命的大部分工作都在公司内部进行。

与AI安全和可解释性相关的研究，以及应用生物医学研究。

为非营利组织和科研机构提供Claude的折扣。

这些活动既有公益性质，又有商业价值，所以我们将它们直接放在公司内部。

Anthropic公益基金会将拥有更大的灵活性和规模，使我们能够以新的方式践行使命。

例如，我们可能会探索向传统非营利组织进行大额捐赠，或直接向特定人群分配资金。

他们举的例子是劳动力市场影响，说他们不仅可能用这笔钱去研究这些问题，还强烈暗示他们可能会直接把钱发给人们。

正如他们所说，鉴于AI发展的速度，可能需要更大胆的做法。

他们确实指出，这不会是一个501(c)(3)组织，也就是美国非营利组织的传统结构。

相反，它将是一个全资LLC，他们说这是为了“在不同捐赠形式之间提供可调整性”。

他们确实承诺，LLC持有的股权不会用于游说或政治捐赠，但许多持怀疑态度的人恰恰对此表示怀疑。

一些Anthropic员工借此机会表示，这正是他们对自己公司充满热情的部分原因。

工程师Jason Clinton说他已承诺捐出一半股权，并补充说：“这是我离开Google加入Anthropic的主要原因。”

这种项目的存在是一个高成本的信号，表明Anthropic不只是空谈，而当时Anthropic甚至还没有发布任何模型。

资助一个光明的未来。

现在有趣的是，尽管我们才开始了解细节，但公益慈善界已经关注AI财富一段时间了，并开始为一个非常不同的范式做准备。

今年早些时候，Stripe负责公共利益的高管Nan Ransohoff写了一篇博客文章，题为《美国慈善事业的第三次浪潮》。

Nan写道，考虑到OpenAI基金会持有OpenAI 26%的股份，以及Anthropic的7位联合创始人承诺捐出80%的财富，“我做了一些简单的粗略计算，想搞清楚即将到来的规模有多大，结果在这个过程中把自己激进了。”

我严重低估了即将可用的公益资本规模，以及为充分利用这些资本所需的人才和组织方面的缺口。

Nan估计，从中期来看，AI每年可能为计划中的公益支出增加370亿到1000亿美元。

这个估算基于OpenAI基金会26%的股份，按当时公司8500亿美元的估值计算，以及Anthropic员工和联合创始人的承诺，按当时9000亿美元的估值计算。

显然，这些数字都比我们今天面对的以及我们预期在IPO时的数字要小。

加起来，Nan估计总公益资产达到3700亿美元。

她得出370亿美元这个数字，是假设所有人都希望每年花掉大约10%的资产。

她得出10%这个数字，是取了基金会和捐赠人建议基金之间的中间值——基金会平均每年支出资产的5%到9%，而捐赠人建议基金平均每年支出20%到25%。

她指出，每年370亿美元这个数字可能会快速增长。

她写道，如果A，估值在几年内翻倍——尽管这基本上已经是现状了——而且，正如她所说，也许这些捐赠者想把年度目标支出从10%提高到15%，因为他们特别担心AI转型。

这就是她得出上限为每年1000亿美元目标支出的原因。

相比之下，美国目前的慈善捐赠每年约为6000亿美元。

这将意味着年度支出增加大约6%到17%。

这稍微超出了今天节目的范围，不过如果你对这个话题感兴趣，我绝对会深入讲讲，因为我的早期背景有很多都在公益慈善和社会企业领域。

但是南（Nan）后续的帖子开始解释，为什么实际上想要把这笔新钱都花在积极的方向上会非常困难。

她指出，用她的话来说，我们现在严重缺乏数千个公益创业项目和运营它们的人才，我们需要那些能每年高效部署500亿美元的精英资本配置者，而这两件事都不是那么容易解决的。

就像我说的，现在这方面有很多思考。

所以，如果你对这个话题感兴趣，我很乐意深入探讨。

回到Anthropic公益基金的话题，你可以想象，外界有很多反应。

从负面角度来说，很多把Anthropic视为叙事中“末日悲观”主要推手的人，担心这么多资金都流向了那里。

加速主义的精神领袖Beth Jezos写道：“这将是永远的末日派非政府组织盛宴。”

鉴于Anthropic今年与政府的交锋，也有很多右翼或偏右的评论者反对“这笔钱不会政治化”的说法。

X平台上的Polymath总结了这一论调：“这将成为非政府组织的灰色基金。”

这是对左翼政客的贿赂，为了让他们支持人工智能，这样他们就会在政策或监管上跟随Anthropic的引导。

也许更微妙——或者说更开放性的——质疑来自前人工智能主管David Sacks，他说：“你们把20%的股权放在了一个有限责任公司里。”

它是否能服务公共利益，还有待观察。

很多人在这背景下追问：公共利益或公共福利到底指什么？

Anduril的CEO Palmer Luckey指出Claude的章程中Anthropic鼓励考虑非西方视角的原则，他写道：“问题在于他们对公共福利的定义是帮助其他人，而不是美国公众。”

如果他们愿意承诺帮助美国和美国人，那还好说。

但这闻起来就是USAID 2.0，是另一种把数十亿美元从我们自己的经济中抽走的途径。

另一方面，彭博社的Joe Weisenthal认为，极端资本主义的企业家和风险投资人反过来教Anthropic怎么用钱，这挺可笑的。

他发帖说：“很多人教另一家公司该怎么花钱。”

但从某种程度上说，这只是在快速推进和加速那些围绕慈善一直以来的艰难对话。

X平台上的Jeremy Flores发帖：“公共利益应由公众自己决定，公众通过对民主国家的民主控制来参与管理。”

而你们的公司是在窃取所有人的劳动成果，瓦解国家，然后决定谁该得到资源。

先抛开Jeremy很明显的立场——他指责Anthropic窃取所有人的劳动成果。

他帖子的第一部分实际上触及了一个自镀金时代以来就存在的慈善问题。

社会改革家Jane Addams在1899年为《大西洋月刊》写了一篇文章，叫《慈善的微妙问题》。

当然，那是美国历史上另一个时期，人们对私营企业相对于民主机构等其他机构最近获得的权力感到非常不安。

这篇文章思考的是慈善能走多远，民主进程又该从哪里开始。

Addams写道：“或许在我们生活中，没有哪种关系比慈善关系——也就是受益人与捐赠者之间的关系——被我们的民主改变得更快了。”

与此同时，在现代体验中，没有哪个接触点比它更能揭示民主所承诺的平等的缺失。

我们内心渴望超越家庭或阶级的更广泛的联合，我们说我们已将所有人纳入我们的希望之中，但我们没有意识到所有人都在希望，并且和我们一样属于同一个运动。

慈善的许多困难源于潜意识中把世界分为慈善家和需要被帮助的人这种划分。

这是一个假设有两大阶层，而我们的民主训练一旦开始依照这个假设行动，就会对此产生抗拒。

所以回到Anthropic公益基金的话题，让受助者在使用资源时拥有更多控制权，这具体会是什么样子？

律师Gabriel Shapiro写道，注意他们总是要保持控制权。

老天爷都不允许你直接把5%空投给公众。

不，他们必须能够利用自己的股票获利，同时决定如何将资金花在他们认为是公益的事情上。

也许一个更有影响力的版本来自Elon Musk，他说，我建议直接把股票分给公众。

我会这么做。

Andrew Curran指出，这实际上让他想起了另一家公司的政策。

他写道，Elon说与其把股票放在公益基金里，他要把股票直接分给公众。

今年四月，OpenAI也提议设立一个公共财富基金，通过分红直接向美国公民分配收益。

至于其机制，Mach 33的创始人Aaron Burnett写道，如果Elon的意思是透过「投资美国」捐款，也就是Trump账户，那我认为这是个非常好的主意。

最乐观的未来是下一代每个人都拥有SpaceX的一部分。

所有权是最具美国精神的理想之一。

拥有一片太空探险的未来，是美国乐观主义的升级版。

Elon对此简单地回应：是的。

对某些人来说，有趣的问题不在于重新分配的具体细节，而是Anthropic内部发生了什么让他们觉得现在讨论这个问题很重要。

简而言之，Fable-5.5是世界上最好的模型，而且我们非常有信心它会赚钱，所以我们已经在计划如何重分配一个尚未公开存在的模型所带来的财富。

Anthropic内部到底有什么，能让他们这样做呢？

在评论一篇类似帖子时，4lex4引用了Anthropic最近的另一篇研究论文，称他们在2030年看到了17%的GDP增长。

这份包含17%数字的报告还有一个细节，就是Anthropic在相当短的时间内减少并最终停止招聘初级技术人才。

Joel Stein写道，看到公共福利基金的消息，与此同时又得知Anthropic计划在2027年中停止招聘初级技术人才，真是很疯狂。

事实上，对某些人来说，这基本上就是Anthropic宣布私有化全民基本收入。

AI聚合器Andrew Curran再次写道，对我来说最重要的部分是直接分配给特定人群。

在我看来，这听起来像是他们正在规划自己的全球性的自我导向的全民基本收入。

现在，谈到为什么私有全民基本收入不同于政府计划，Prinz在X上写道，你不能既要有全民基本收入又只针对特定人群。

有趣的是，有一个群体没有参与讨论，那就是AI安全界的人。

四处看看，他们似乎忙着对Anthropic新提出的AI安全法案感到愤怒，无暇评论公共福利基金。

Politico报道，Anthropic正在向立法者推销他们自己的AI安全法案。

一份机密草案已在华盛顿悄悄流传，上周通过匿名来源提供给了Politico。

Anthropic的一位发言人证实了该法案的存在，并表示，这项法案代表了Anthropic高级AI框架中概述的提议，我们自六月份以来一直在向联邦和州立法者倡导这些提议。

我们认为这些政策很合理，国会应该就此采取行动。

该法案将允许政府在模型构成可预见的、迫在眉睫的风险，可能造成超过10亿美元损失或导致50人以上死亡时，阻止该模型的发布。

风险必须来自生物武器的制造、AI模型逃避开发者控制，或者网络攻击。

这与加州和纽约州AI法案中定义安全阈值的方式类似。

此外，该法案将要求独立评估人员评估Frontier Labs的安全协议。

这些评估人员需要向商务部注册，但独立于政府。

评估人员的任务是向商务部报告迫在眉睫的特定风险，从而为阻止模型提供依据。

阻止模型的发布或使用通过联邦法院裁决，而不是作为商务部内部的管理事项。

值得注意的是，法案的措辞明确禁止任何其他部门、机构或官员暂停模型的开发、部署或内部使用。

这似乎是针对类似事件，比如五角大楼利用供应链风险认定来阻止Anthropic模型被军事承包商使用的情况。

最后，该法案包含了各州立法中的各种安全要求，例如强制制定安全协议和报告重大安全事件。

就像我说的，AI安全界的人对此并不满意。

合著者Nate Suarez写道：“如果有人建了它，所有人都会扼杀它。”

Anthropic提出的法案会让法院更难阻止或限制威胁全人类的人工智能的发展，比现在还要难。

其他人则对诸如联邦优先于州法规这类事情感到愤怒。

Jeffrey Ladish写道，Anthropic提出这个，看起来极其危险。

Dario曾呼吁政府放慢速度，而这项法案将取消各州这样做的能力，同时使联邦政府实际上很难停止危险的训练运行。

还有其他人指出了这类法案中定义的内在问题。

David Sacks指出了“前沿”定义的问题。

他写道，一份由Anthropic编写的新安全法案正在国会山流传。

如果局限于真正的前沿公司，其中一些想法可能是合理的。

然而，按照目前的写法，它最终会囊括硅谷大部分公司，损害初创生态系统。

该法案将“前沿”定义为任何在10的25次方FLOPS下训练的模型。

这是2023年的欧盟标准！

拜登的行政命令、加州的SB 53和纽约的RAISE Act使用的是10的26次方，高出10倍。

10的27次方才是今天的实际前沿水平。

据报道，Astra是在10万个Grace Blackwell GPU上训练的。

一个10的25次方的模型可以用少至几百块GB300芯片在3个月内训练完成。

到了2026年，那就不算是前沿了。

前沿标准在不断变化。

任何用来追踪风险的定义都应该随之变化。

现在，在政治光谱的完全另一端，纽约政治家Alex Bores——他今年早些时候遭到了支持AI的政治行动委员会（pro-AI PACs）的强烈针对——写道：Anthropic正在推销一项与其6月框架紧密匹配的法案。

你怎么能看着Hugging Face、Cohere和那些失控的AI群体，然后就得出的结论是你6月炮制的法案就足够了？

这远远跟不上发展的速度，也跟不上我们保护人们安全所需的速度。

我觉得有趣的是，Bores和Sacks都从非常不同的角度说这个法案基本上已经过时了，尽管方式截然不同。

对很多人来说，这背后的潜台词是Anthropic实际上试图限制行政部门在AI风险方面的权力。

Adam Conner写道，最善意地说，这项法案可以被描述为Anthropic保护自己免受联邦行政部门滥用的最佳方式。

通过限制他们采取行动的权力，并剥夺每个人这样做的能力。

记者Kelsey Piper补充道。

她写道，从这个中我得出的一个不幸结论是，Anthropic虽然承认他们正在做极其危险的事情，但更重要的是，在政策方面，他们害怕行政部门有能力灵活地随时让他们停止。

考虑到他们曾经历过行政部门以无原则和愚蠢的方式这样做，这并不令人震惊。

任何与官僚机构打过交道的人都会变成自由意志主义者，而且政府对Anthropic的处理确实令人愤怒。

但这意味着他们有兴趣给自己提供更多基于流程的保护，而其他所有人都有兴趣给我们提供更多针对他们的基于流程的保护。

目前这就是总结。

今天这一集中要讲的是两个与AI相关的巨大问题，它们看起来独立，但很快就会联系起来。

一个是AI财富问题，这些公司的巨大成功正在将巨额财富集中到相对少数人手中。

而公益基金在某种程度上承认，这些财富中的一部分必须以某种方式进行再分配。

要么是自愿再分配，要么是由某个进行再分配的人来再分配。

Anthropic显然——也许可以理解——想要自己来进行这种再分配。

然而这又直接撞上了另一个问题，即权力集中。

以及一种日益增长的担忧，即拥有这些模型及其带来的财富使得一个私人机构拥有过大的权力。

所有关于基金和安全法案的讨论和辩论，在某种程度上实际上都是更大的问题——AI财富和权力将如何与民主互动——的代理。

这些都不是容易的问题，但肯定是我们都应该参与的问题。

我预计这个话题会越来越受到人们的关注和认可，但今天我们就先讲到这里。

一如既往感谢你的收听或观看，下次再见，祝好。

祝好。