Study claims six model weights, including DeepSeek and Moonshot, carry NVIDIA Blackwell chip fingerprints
English text is being prepared.
Will DePue, a researcher at Unemployment Labs, released a technical investigation report on November 12, claiming that digital features matching NVIDIA's Blackwell architecture appear in six model weights released in recent years by DeepSeek, Moonshot, MiniMax and Ant Group, while earlier models mainly exhibited Hopper architecture features. The study exploits differences in the initial weights generated by PyTorch's Philox pseudorandom number algorithm on GPUs with different numbers of SMs to reverse-identify the random seed and hardware layout, and reproduced the corresponding weights of DeepSeek V3 and V4-Flash on H100 and B300. Based on this, the report estimates that some training clusters require hundreds to thousands of Blackwell GPUs, but the authors point out that the fingerprint only reflects the initialization hardware and cannot prove the chip's location or any violation of export controls.
Why read this
AI score 78
The study uses pseudorandom initialization remnants in model weights to infer the GPU architecture used for training, and provides a reproducible verification process and applicable boundaries.
Topics
Body
Unemployment Labs研究人员Will DePue于11月12日发布了一份技术调查报告,分析了DeepSeek、月之暗面、MiniMax和蚂蚁集团近年来公开发布的模型权重。研究发现,这四家企业的六款新模型均出现了与英伟达Blackwell架构相匹配的数字特征,而它们此前发布的模型则主要呈现上一代Hopper架构的特征。
AI模型由数十亿甚至数千亿个可调整的数字参数组成,这些数字被称为模型权重。在正式训练开始之前,所有权重都需要先获得一组初始数值。研究人员发现,这些初始数值并非完全随机,而是由特定的伪随机数生成算法产生,其生成和分配方式与GPU硬件架构密切相关。
研究涉及的PyTorch框架使用Philox伪随机数生成算法初始化模型权重,并通过英伟达cuRAND库将计算任务分配给GPU内部大量并行线程。不同型号的GPU拥有不同数量的流式多处理器(SM),并采用相应的线程布局,因此同一个随机种子在不同GPU架构上运行时,生成的数字会被分配到不同的权重位置。
换句话说,即使两台GPU使用相同的随机种子,由于内部计算单元数量不同,最终生成的初始权重排列也会出现区别。这种差异就像一枚隐藏在模型中的硬件指纹。
正常情况下,模型经过大量训练后,初始权重会不断被调整,原始排列特征可能逐渐消失。但研究人员发现,一些权重在训练过程中几乎没有发生变化。例如,模型中某些用于表示罕见词语或符号的参数,在训练数据没有涉及这些内容时,可能保留最初的数值。此外,即使某些权重已经发生变化,初始数值与最终数值之间仍可能保留微弱的统计相关性。
研究团队利用这些残留特征,反向寻找最初使用的随机种子和GPU线程布局,再将计算结果与公开模型权重进行比对。为了避免偶然匹配,研究人员还将部分权重保留为独立验证样本,在确定随机种子和硬件配置后,再使用此前没有参与搜索的数据进行交叉验证。
研究人员指出,英伟达Hopper架构的H100、H200和H800拥有132个SM,而Blackwell B200和B300拥有148个SM,采用Grace-Blackwell设计的GB200和GB300则拥有152个SM。通过分析模型权重中的数字排列,可以在一定程度上判断其初始化时使用的是哪一类GPU。
调查发现,DeepSeek在2024年12月发布的V3模型仍然呈现Hopper架构特征,但2026年4月发布的V4系列已经出现Blackwell特征。月之暗面此前的Kimi K2.5仍然匹配Hopper架构,而2026年7月发布的Kimi K3则匹配GB200或GB300。MiniMax从M2.7到M3也出现了类似变化,蚂蚁集团的Ling系列则从Ling-3.0-flash的Hopper特征转向Ling-3.1-flash的Blackwell特征。
其中,DeepSeek V4-Flash和MiniMax M3匹配148个SM的Blackwell布局,其余四款模型匹配152个SM的Grace-Blackwell布局。
为了进一步验证研究结果,DePue还在真实的英伟达GPU上进行了复现。他使用一颗Hopper架构H100和一颗Blackwell架构B300,运行未经修改的PyTorch程序,并采用研究识别出的DeepSeek随机种子953049583进行测试。
结果显示,H100能够准确复现DeepSeek V3中保留的初始权重,却无法复现V4-Flash;B300则恰好相反,能够复现V4-Flash中的相关权重。在B300测试中,469组被选中的权重行有461组获得超过0.99的相关性,其中445组实现了逐位完全匹配。
研究人员还在租用的GB200服务器上验证了月之暗面的Kimi K3,使用其识别出的随机种子20256586,成功复现了模型中保留的13组初始权重。将随机种子仅仅改变一个数值后,匹配结果便完全消失。
从统计学角度看,研究人员称,六款模型的最强匹配证据达到49至1385个标准差(Sigma),远远超过其为排除大规模搜索产生偶然匹配而设定的约8个标准差门槛。即使是最弱的单项测试,也达到20个标准差。
训练集群规模可能达到数千颗GPU
除了判断芯片架构,研究人员还根据模型规模、激活参数数量和训练Token数量,对相关训练集群进行了估算。
报告认为,六款模型中规模较大的训练任务可能需要数百至数千颗Blackwell GPU,单次训练持续约两至三个月。其中,DeepSeek V4-Pro和月之暗面Kimi K3的训练规模最大,最佳估计分别需要2000至2500颗和2000至3000颗Blackwell GPU。
DeepSeek V4-Flash的最佳估计为1000至1500颗,MiniMax M3约为500至600颗,蚂蚁集团Ling-3.1-flash则约为1100至1650颗。
研究报告给出的单项训练规模区间更宽。例如,DeepSeek V4-Flash可能需要250至4500颗GPU,Kimi K3的估算范围为1000至8000颗。Wccftech标题所强调的3000至4500颗,属于这些估算区间内的较大规模情景,并不是研究人员对所有模型得出的统一集群规模。
研究人员还尝试估算这些硬件的成本。按照每颗Blackwell GPU约7万美元的价格计算,最大规模的训练集群可能价值1.5亿至2亿美元,六款模型相关训练任务的硬件成本合计超过5亿美元。这些估算仅涉及最终训练阶段,并不包括前期实验、模型开发和其他计算资源投入。
芯片指纹并不能证明发生了非法出口
这项研究虽然提供了新的技术证据,但其结论仍然存在重要边界。
首先,模型权重中的指纹直接反映的是初始权重生成时所使用的硬件配置,并不能百分之百证明后续训练也在同一批GPU上完成。理论上,开发团队可以在一种硬件上初始化模型,再将权重转移到其他设备进行训练。
其次,研究无法确定这些Blackwell芯片实际位于哪里,也无法判断中国企业究竟是购买了芯片、通过第三方数据中心租用了计算资源,还是使用了其他方式获得访问权限。
特别是海外数据中心租赁,可能成为一个重要解释。中国企业可以在中国境外的数据中心远程使用Blackwell GPU,而不必将芯片直接进口到中国境内。近期有关中国AI企业预订海外算力的报道,也使这种可能性受到关注。
研究人员还指出,经过特殊配置的AMD硬件理论上也可能产生某些类似特征。不过,研究团队称,他们已经排除了这一替代解释在DeepSeek V4-Flash上的可能性,并认为其他五款模型采用这种方案的可能性很低。
此外,这项研究目前仍是一项由独立研究人员发布的技术调查,尚需更多外部团队独立复现。研究人员表示,已经向部分审查者提供复现脚本,但完整的公开实现细节仍有待进一步发布。
因此,这项发现不能直接证明中国AI企业违反了美国出口管制规定。它能够支持的结论是:相关模型的初始权重与英伟达Blackwell GPU的特定计算布局高度吻合,而这表明模型开发团队很可能接触过这类硬件。
如果后续研究能够独立复现这些结果,其意义可能远远超出此次对中国AI企业的调查。因为模型权重本身是公开的,研究人员未来或许可以通过分析公开模型,反向识别其初始化硬件,甚至追踪不同AI实验室在不同阶段使用的计算平台。
这也意味着,AI模型可能不仅是算法和训练数据的产物,还会在数字参数中留下某种能够追溯其计算环境的技术痕迹。对于正在实施先进芯片出口管制的美国而言,这种方法可能成为一种全新的技术取证手段。