开放权重模型之争:AI 开放不是问题,能力失控才是问题

最近 Anthropic CEO Dario Amodei 发了一篇文章,解释 Anthropic 对开放权重模型(open-weights models)的立场。

这篇文章的背景,是美国科技圈正在讨论是否应该限制中国开放权重模型在美国企业里的使用。与此同时,也有不少科技公司签署公开信,支持开放权重模型,认为开放模型对竞争、创新和用户选择都很重要。

Dario 在文章里先把 Anthropic 的立场说清楚:Anthropic 从来没有主张禁止开放权重模型。

这句话很关键。

因为现在讨论 AI 开放模型,很容易滑向两个极端。一边把开放模型看成技术自由、创新和普惠的象征;另一边则把开放模型看成不可控的风险源,好像只要模型权重开放,就天然更危险。

但真实问题没有这么简单。

开放模型不是问题本身。真正的问题是,当模型能力变得足够强之后,我们有没有能力判断它会带来什么后果。

开放权重模型为什么重要

开放权重模型的价值是真实存在的。

对开发者来说,开放模型意味着可以本地部署、可以微调、可以研究模型行为,而不是只能通过 API 租用能力。对创业公司来说,开放模型降低了进入 AI 领域的成本。对研究人员来说,开放模型让复现、审计和改进成为可能。对普通用户来说,开放模型也意味着不必完全依赖少数大公司的封闭服务。

如果没有开放模型,AI 生态会更集中。少数公司掌握模型,少数云平台掌握算力,其他人只能在它们设定的规则里使用能力。

这不是一个健康的技术生态。

很多今天被大模型公司使用的基础设施,本来也来自开源社区:训练框架、推理优化、量化技术、数据处理工具、评测方法、部署工具。闭源模型公司从开源社区拿走了大量红利,所以它们当然不能反过来轻描淡写地说开放模型不重要。

开放模型让 AI 不至于完全变成几家公司控制的黑箱服务。这个意义不能低估。

但开放权重也确实有不可逆风险

开放权重模型和闭源 API 最大的区别,在于权重一旦发布出去,就很难收回。

闭源模型至少还保留几种控制手段。平台可以加安全策略,可以监控调用,可以封禁账户,可以在发现漏洞后更新模型或修改规则。虽然这些手段不完美,但它们至少存在。

开放权重模型不一样。

一旦权重被下载,别人可以离线运行,可以删除安全限制,可以复制、改造、再分发。模型发布者之后几乎没有办法再控制它的用途。

所以,当模型能力还比较弱时,开放权重更接近公共品;但当模型开始具备高级网络攻击、生物风险、自动化武器设计、复杂欺骗或强自主代理能力时,开放权重就不只是「让更多人用上 AI」这么简单了。

它会变成一种不可逆的能力扩散。

这也是 Anthropic 真正担心的地方。

Anthropic 的核心观点

Dario 在文章里把风险分成两类。

第一类是国家安全风险。

如果某个威权国家训练出比美国更强的前沿 AI 模型,并把它用于军事、情报、无人机、监控和内部压制,那么这个模型是不是开放权重其实并不重要。最危险的模型甚至可能根本不公开,而是秘密训练、秘密部署,只交给军方和情报系统使用。

这类风险的核心不是 GitHub 上有没有模型权重,而是谁掌握了训练前沿模型所需要的高端芯片、算力和工业体系。

第二类是滥用风险。

如果一个强模型可以帮助发起高级网络攻击,或者降低生物武器设计门槛,那么开放权重确实会让治理变得更难。坏人不会老老实实使用美国公司的 API,也不会等平台审核。一旦模型可以离线运行,平台治理就会失效很多。

所以 Anthropic 支持的不是一刀切禁止开放模型,而是三类更具体的措施:

  • 限制高端芯片和芯片制造设备流向威权国家;
  • 打击大规模、工业化的模型蒸馏行为;
  • 要求所有足够强的模型,不管开放还是闭源,都在发布前接受安全测试。

我认同其中一部分,但也有一个很重要的不同意见。

我不认同把「中国蒸馏」单独拿出来讲

Anthropic 文章里对中国模型蒸馏的描述,我觉得有点选择性叙事。

蒸馏不是中国特有的灰色技巧,而是整个 AI 行业都在使用的常规方法。用强模型生成数据训练弱模型,用闭源模型的输出改进开源模型,用多个模型互相评测、互相筛选、互相压缩,这些早就不是秘密。

美国公司会做,中国公司会做,开源社区也会做。

今天的大模型生态,本来就是一个互相学习、互相复现、互相压缩、互相迁移的系统。很多模型不是从零开始凭空长出来的。它们吸收论文、代码、benchmark、用户反馈,也吸收其他模型暴露出来的能力边界。

所以如果把蒸馏描述成某一方「绕过规则」的行为,就不够干净。

真正需要讨论的不是蒸馏本身该不该存在,而是边界在哪里。

比如,是否违反服务条款?是否大规模盗用商业 API?是否规避出口管制?是否由国家力量组织化地追赶前沿能力?是否直接服务于军事、监控或网络攻击?

这些才是应该被讨论的问题。

蒸馏不是原罪。工业化、隐蔽化、带有明确军事或国家竞争目的的蒸馏,才是 Anthropic 真正担心的东西。

但如果把论证简化成「中国开放模型靠蒸馏,所以应该被打击」,那就有点站不住。因为整个 AI 行业的技术进步,本来就建立在互相借力之上。

闭源公司从开源社区获得巨大收益,开源社区也会从闭源模型里学习能力边界。大家都在借力。区别只是,有些借力被包装成 research,有些借力被称为 distillation,有些借力被写进商业合同,有些借力被放进政策争论。

这就很微妙。

如果要谈公平,就不能只盯着「别人蒸馏了我」。AI 行业本身就是一个互相吸收的系统。真正的问题不是谁有没有借力,而是谁在借力之后又试图把梯子抽走。

开放模型不该被浪漫化,也不该被妖魔化

我对开放模型的态度比较简单:应该支持开放,但不要把开放当宗教。

开放模型让更多开发者参与 AI,让技术生态更分散,也让用户有更多控制权。这些都很重要。如果 AI 只剩下闭源 API,最后大概率会变成少数公司和少数云平台控制整个智能基础设施。

但另一方面,开放模型也不该被浪漫化。

不是所有能力都适合无条件扩散。模型越强,越需要发布前测试。尤其是当模型可能具备高级 cyber 能力、生物风险能力或强代理能力时,单纯喊「开放促进安全」是不够的。

开放确实可以帮助研究者发现问题,也可以帮助防守者构建工具。但它也可能帮助攻击者。不同领域的攻防关系不一样。

在软件安全里,开放工具经常有利于防守方,因为漏洞可以被更多人发现和修复。但在生物安全这类领域,事情可能完全不同。攻击者只需要找到一次可行路径,防守者却要完成检测、生产、物流、公共卫生响应等一整套复杂工程。

所以「开放一定帮助防守者」这个判断,不能先验成立。它需要测试,需要证据,而不是靠信念。

真正需要的是分层治理

开放模型的讨论,不应该停留在「开放」和「封闭」这两个词上。

更合理的问题应该是:

  • 什么能力级别的模型可以自由开放?
  • 什么能力级别的模型需要经过安全测试再开放?
  • 什么能力在当前阶段不应该被不可逆地释放?
  • 谁来测试?测试标准是什么?闭源模型和开放模型是否使用同一套规则?

这才是关键。

如果一个模型只是能写代码、聊天、总结文章、跑本地助手,那开放它没有太大问题。这样的模型越多,生态越健康。

但如果一个模型已经接近前沿能力,并且在网络攻击、生物设计、自动化科研或自主代理上表现出明显风险,那它就不该只靠公司自己拍脑袋决定是否开放。

闭源模型也一样。

不能因为模型是闭源的,就默认它安全。闭源模型如果足够强,也应该接受测试。开放模型和闭源模型的监管标准,应该围绕能力,而不是围绕商业模式。

这是我比较认同 Anthropic 的地方:安全测试应该看模型能力,而不是看模型来自哪里,也不是看模型是否开放。

我的脑电波

这场争论表面上是开放模型之争,本质上还是 AI 能力控制权之争。

闭源公司担心开放模型削弱自己的商业护城河,开放社区担心安全叙事变成保护主义工具,政府担心前沿能力扩散到竞争对手和坏人手里。每一方都有真实动机,也都有包装过的说法。

所以我们不能只听它们说什么,还要看它们真正想保护什么。

Anthropic 说它不主张禁止开放权重模型,这一点值得肯定。它至少没有把开放模型整体打成风险源。但它对中国蒸馏的表述,我认为需要更谨慎。因为蒸馏本身就是 AI 行业的常规技术路径,不应该被单独政治化。

真正应该被限制的,是违反规则的大规模商业窃取,是规避出口管制的组织化能力追赶,是直接服务于军事、监控和攻击的模型能力扩散,而不是「蒸馏」这个技术动作本身。

开放模型会继续存在,也应该继续存在。

它让 AI 不至于完全被少数公司垄断,也让更多人有机会理解、使用和改造模型。但开放不是免死金牌。能力越强,发布越需要慎重。尤其是当模型可能带来不可逆风险时,开放前的安全测试应该成为基本要求。

我更愿意接受这样一种立场:

  • 支持开放模型。
  • 反对一刀切封禁。
  • 反对把安全变成保护主义。
  • 也反对把开放包装成不需要责任的自由。

开放不是问题本身。

真正的问题是,当模型开始拥有危险能力时,我们有没有足够成熟的机制,在它被复制到全世界之前,先认真看清它到底能做什么。

原文链接:Anthropic: Our position on open-weights models

版权声明:本文为clarke原创,依据CC BY-SA 4.0许可证进行授权,转载请附上出处链接及本声明。
原文链接:开放权重模型之争:AI 开放不是问题,能力失控才是问题
暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇Jeremy Grantham:AI 泡沫、美股高估与社会长期风险