Unemployment Labs 报告:六款中国开源模型权重呈现 Blackwell 初始化特征
Unemployment Labs Reports Blackwell Patterns in Chinese AI Models
Unemployment Labs 的 Will DePue 于 2026 年 11 月 12 日发布分析,称 DeepSeek、Moonshot AI、MiniMax 和蚂蚁集团共六款开源权重模型的初始化模式与 NVIDIA 受出口管制的 Blackwell GPU 一致。其中 DeepSeek-V4-Flash 和 MiniMax-M3 对应 B200 或 B300,DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro 和 Ling-3.1-flash 对应 GB200 或 GB300;阿里、智谱、腾讯、小米和阶跃星辰的最新可读模型则呈现 Hopper 特征。报告强调匹配只涉及初始化环节,无法证明后续训练所用芯片,也不能确定芯片归属、位置或获取方式,因此不构成走私或违反出口管制的结论。
正文 · AI 翻译
Unemployment Labs 的 Will DePue 于 2026 年 11 月 12 日发布的一项分析发现,来自 DeepSeek、Moonshot AI、MiniMax 和蚂蚁集团的六款开源权重模型中,存在与 NVIDIA 受出口管制的 Blackwell GPU 相一致的初始化模式。
该分析将 DeepSeek-V4-Flash 和 MiniMax-M3 与在 B200 或 B300 芯片上的初始化相关联,并将 DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro 和 Ling-3.1-flash 与 GB200 或 GB300 芯片相关联。这些匹配识别出了起始权重背后的硬件布局;至于这些芯片是否也执行了训练,则是另一项独立的推断。
相继发布的版本将这些明显变化置于时间线上。DeepSeek-V3 在 2024 年 12 月呈现出 Hopper 读数,随后是 2026 年 4 月两款呈现 Blackwell 读数的 V4 模型。Moonshot AI 的 Kimi K2.5 在 2026 年 1 月读作 Hopper,之后是 2026 年 7 月的 K3;MiniMax-M2.7 和 M3 分别在 2026 年 4 月和 2026 年 6 月遵循了相同模式;蚂蚁集团的 Ling-3.0-flash 和 Ling-3.1-flash 则分别在 2026 年 8 月和 2026 年 10 月如此。
这一模式并非普遍存在。来自阿里巴巴、智谱、腾讯、小米和阶跃星辰的最新可读模型呈现出 Hopper 而非 Blackwell 读数。
该技术从权重入手,即训练所调整的数值参数。在训练之前,所考察的 PyTorch/cuRAND 设置使用 Philox 生成器从种子生成可重复的值。GPU 线程将这些值分配到权重位置,而足够大的初始化会在每个流式多处理器(SM)上使用 2,048 个线程。因此,改变 SM 数量会改变同一组生成数字的落点。
在所测试的配置中,Hopper H100 SXM、H200 和 H800 芯片具有 132 个 SM 和 270,336 个线程;B200 和 B300 芯片具有 148 个 SM 和 303,104 个线程;GB200 和 GB300 芯片具有 152 个 SM 和 311,296 个线程。一次读数识别的是这些组别之一,而非组内的某一特定芯片。
为训练中未出现的单词或符号保留的权重几乎可以完全保留其初始值,而经过训练的权重可能与这些值保持较弱的统计关系。调查人员在一组权重上选择种子和布局,然后在排除于搜索之外的另一组权重上测试这一未更改的组合。
根据其统计模型,报告估计大约 6 万亿个种子与布局组合会产生约 8 sigma 的预期最强偶然匹配,sigma 是一种衡量偏离随机波动的统计量。所识别模型的最强结果范围从 49 到 1,385 sigma,且所纳入的每一项单独测试都至少达到 20 sigma。
DePue 的物理芯片复现提供了另一项检验。使用 DeepSeek 恢复的种子,H100 复现了 DeepSeek-V3 的保留值,但未能复现 V4-Flash 的保留值,而 B300 则相反。在 B300 上,未经修改的 PyTorch 复现了 469 个选定 V4-Flash 行中的 461 行,相关性高于 0.99,其中包括 445 个完整的逐位行匹配。一台租用的 GB200 使用 Moonshot 的种子复现了全部 13 个保留的 Kimi K3 行;将任一恢复的种子更改一个,都不会产生匹配行。
报告称,该方法与开发者公开指明某一特定模型硬件的全部 24 个案例一致,但同时警告其中 11 个涉及第零步检查点,且相关模型并非相互独立。这使得该比较成为一致性检验,而非实测的准确率。
Kimi K3.1-Pro 使用 K3 的种子,可能是经过进一步后训练的 K3 检查点。假设执行初始化的硬件也执行了训练,DePue 估计有五次不同的最终运行,每次大约使用 500 至 3,000 块 Blackwell GPU,通常持续两到三个月。该计算将训练算力除以 35% 利用率下的芯片吞吐量,使用 DeepSeek 披露的 token 数量以及其他模型基于权重的 token 估计。将同样的算术应用于 DeepSeek-V3 得出 2,000 至 2,500 块芯片,而 DeepSeek 披露的是 2,048 块。
出口管制执法的局限
匹配仅涉及初始化;它无法清点后续训练期间使用的每一块处理器。实验室可以在一个系统上创建初始值并将其转移,混合集群可能只留下部分硬件痕迹,而 Hopper 结果并不排除后续的 Blackwell 训练。权重也无法确定芯片的所有权、位置或获取方式。DePue 的报告指出,Blackwell 系统可以在中国境外租用,并表示仅凭这一证据既不能认定走私,也不能认定违反出口管制。
AMD 的 MI300X 是已识别的硬件替代方案。它通常使用 304 个处理单元,但可以分成两组各 152 个,或配置为使用 148 个,从而在物理测试中复现这些布局。对于 DeepSeek-V4-Flash,在厂商之间存在差异的 377 个保留值中,有 363 个与 NVIDIA 匹配,没有一个与 AMD 匹配。该数值测试并未解决其他五个模型的问题,尽管报告认为经过特殊配置的 AMD 集群极不可能。
报告指出,向中国出口 B200、B300、GB200 和 GB300 需要美国许可证,且未报告有任何此类许可证;报告还称 MI300X 也受管制。该方法本身需要公开权重和可识别的、依赖硬件的初始化模式。CPU 初始化不会留下 GPU 布局,而百度的 PaddlePaddle 生成器不带有所考察的芯片布局。
该分析为政策制定者提供了硬件获取的技术证据,但未给出执法结论:公开权重可以暴露初始化模式,但要确定是否违反了出口管制,仍需有关硬件使用地点、所有者以及获取方式的证据。