AI News

前 OpenAI 研究员称在六个中国 AI 模型中检出 Nvidia Blackwell 芯片指纹

The Decoder更新于 11月13日 23:56

Former OpenAI researcher says he found Nvidia Blackwell fingerprints hidden inside six Chinese AI models

AI 导读

前 OpenAI 研究员 Will DePue 称,通过对已发布模型权重的取证分析,DeepSeek-V4-Flash、MiniMax-M3、DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro 和蚂蚁 Ling-3.1-flash 六个模型带有 Nvidia Blackwell 的初始化特征,其中前两个对应 148 核的 B200/B300,其余对应 152 核的 GB200/GB300。他称该方法在 24 个已知硬件的对照模型上全部识别正确,并已在 GitHub 公开验证代码。报告估算这五次训练合计约需 12000 块 Blackwell GPU,成本超过 5 亿美元,但该指纹只能说明权重由何种硬件初始化,不能证明存在走私或违反美国出口管制。

推荐理由

AI 评分 78

原文给出从模型权重反推训练芯片核数的取证方法,并附可复现的验证代码,读者可据此理解出口管制的技术核查路径。

主题

标签

正文 · AI 翻译

AI研究员Will DePue表示,一项取证分析发现了首个技术证据,表明中国领先的AI实验室尽管面临美国出口管制,仍能获得Nvidia最新的Blackwell硬件。他说,OpenAI和Anthropic的资深研究员已经核查了该方法。

根据Will DePue的取证调查,中国AI公司DeepSeek、Moonshot AI、MiniMax和蚂蚁集团正在使用受出口管制的Nvidia Blackwell GPU。DePue曾在OpenAI发挥关键作用,参与构建Sora和Sora 2视频模型以及GPT-4o、o3和GPT-5,之后创立了非营利研究组织Unemployment Labs。

他说,他的分析提供了这种获取渠道的首个技术证据。美国官员和新闻媒体此前曾怀疑DeepSeek和Moonshot AI在使用Blackwell芯片,但从未公布证据。DePue在X上写道,OpenAI和Anthropic的资深研究员已经独立核查并确认了他的发现。据DePue称,自2026年4月以来发布的六个中国模型带有Nvidia Blackwell代的独特特征,而DeepSeek-V3和Kimi K2.5等更早的模型则显示出Nvidia较旧的Hopper代的痕迹。

证据直接来自已发布的语言模型。一个AI模型由数十亿个称为权重的数值组成。在训练开始前,标准软件框架PyTorch会用从一个称为种子的起始值生成的随机数填充这些空位。为了快速分发如此海量的数据,GPU会将工作拆分到各个计算核心上。据报道,由于不同芯片型号的核心数不同,填充过程会产生一种特征性模式。H100和H800等较旧的Hopper芯片使用132个计算核心,而较新的Blackwell芯片根据型号(B200/B300或GB200/GB300)恰好使用148或152个核心。

训练随后会将这些数值调整数百万次,但一些用于未使用单词或符号的空位会保留其初始随机值。据DePue称,即使在模型训练充分的部位,初始分布的微弱统计回声仍然存在。他说,他逆向推导了这一模式,并在真实的Blackwell芯片上精确复现了DeepSeek-V4-Flash和Kimi K3的结果。他已在GitHub上公开了验证代码。

耗资超过5亿美元的训练运行

该分析将DeepSeek-V4-Flash和MiniMax-M3对应到B200或B300芯片(148核)。根据分析,DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro和蚂蚁集团的Ling-3.1-flash显示出Nvidia液冷GB200或GB300旗舰机架系统的152核模式。DePue说,从统计上可以排除偶然性,并且该方法正确识别了全部24个已知硬件的对照模型,包括Meta的Llama 3.1(H100)。

DePue的报告估计,他审查的五次训练运行合计需要约12000块Blackwell GPU,算力大致相当于约30000块较旧的H100芯片。仅Kimi K3在约70天内就需要估计4500块Blackwell处理器,DeepSeek-V4-Pro约需3000块。按约7万美元的单价计算,每个这样的集群将耗资2亿至3亿美元,五个系统合计超过5亿美元。

这些发现也与SemiAnalysis首席分析师Dylan Patel的分析一致。在接受红杉资本采访时,Patel表示DeepSeek-V3的模型架构仍专门针对Nvidia的Hopper芯片定制,而DeepSeek-V4的架构则是为Blackwell GPU和华为的Ascend芯片构建的。根据DePue的报告,其他中国实验室的模型,包括阿里巴巴的Qwen3.8以及智谱、腾讯、小米和StepFun的模型,仍只显示Hopper特征,而美团LongCat-2.0则指向华为硬件。

该指纹并不能证明存在违法行为

严格来说,该方法只能显示是哪种硬件初始化了权重,尽管训练本身很可能运行在相同的系统上。唯一其他的技术解释是AMD MI300X,它同样受到限制,被人为降频以产生相同的模式。DePue说,他利用芯片之间微小的舍入差异排除了DeepSeek-V4-Flash使用AMD的可能性。

根据该调查,这些数据并未揭示GPU所在位置或所有者身份。报告称,由于中国公司可以在中国境外的数据中心租用算力,其技术证据表明能够获取Nvidia的顶级硬件,但本身并不能证明存在实体走私或违反美国出口法。

来源

The Decoder