NVIDIA 将成为 Hugging Face 及其开放模型社区的新家
推荐理由黄仁勋直接说明双方关系及对开放模型的判断,可用于观察开源生态与基础设施厂商的结合方向。
追踪 NVIDIA 的 AI 芯片、CUDA、推理平台、模型与开发者生态。
推荐理由黄仁勋直接说明双方关系及对开放模型的判断,可用于观察开源生态与基础设施厂商的结合方向。
NVIDIA Magpie TTS Multilingual 以开放权重支持 12 种语言,并允许开发者在自有基础设施上部署、微调语音和定制发音。NVIDIA NIM 本地测试中,单流首音频延迟为 32–79ms;B200 在 64 路并发时达到 239ms 和 320× 实时吞吐量。
推荐理由材料同时给出多语言能力、推理架构与本地部署性能,可用于评估实时语音智能体的技术取舍。
Together AI 推出含 87 道真实代码问题的 ParallelKernelBench,测试前沿 LLM 能否用经 NVLink 直接传输数据的 CUDA 内核替代 PyTorch + NCCL。最佳模型零样本仅正确解决 28 题,其中 22 个方案更快;采样三次时 fast 1@3 最高仍为 31%。智能体反馈将 Gemini 3 Pro 的正确数从 24 提升至 35,但约 20 轮后停滞,主要难点仍是 rank 协调、通信顺序和传输机制选择。
推荐理由该基准把代码生成评测扩展到多GPU通信场景,并揭示模型在正确性、性能优化和跨卡协调推理上的具体差距。
NVIDIA 推出面向推理 prefill 阶段的 Rubin CPX,以更高算力占比和低成本内存减少 HBM 与 NVLink 资源浪费。单芯片提供 20 PFLOPS 稠密 FP4 算力、128GB GDDR7 和 2TB/s 带宽,并通过 PCIe Gen 6 联网。该产品将用于固定配置的 VR200 NVL144 CPX 或更灵活的 Vera Rubin CPX 双机架方案。
推荐理由文章从预填充与解码的资源差异切入,结合芯片、机架和成本数据,提供评估分离式推理硬件取舍的依据。
SemiAnalysis 对 H100 与 GB200 NVL72 的训练性能、功耗、TCO 和可靠性进行了基准分析,发现 GB200 NVL72 的每 GPU 总成本及 TCO 约为 H100 的 1.6 倍。H100 软件优化使 GPT-3 175B 的 BF16 MFU 在一年内从 34% 升至 54%。GB200 NVL72 尚受可靠性和诊断工具限制,当前仍无法完成超大规模训练。
推荐理由基于大规模训练基准对照性能、能耗、成本与可靠性,为评估新旧GPU架构的实际投入产出提供方法。