Jensen Huang
AI 评分75NVIDIA 将成为 Hugging Face 及其开放模型社区的新家
推荐理由黄仁勋直接说明双方关系及对开放模型的判断，可用于观察开源生态与基础设施厂商的结合方向。
←NVIDIA
NVIDIA
与“NVIDIA”标签匹配的公开内容。
- 公开阅读组
- 14
- 近 30 天
- 0
- 目录状态
- 兼容主题
最新阅读组
同一事实的重复报道已合并- Hugging Face一手模型发布AI 评分71
如何使用 NVIDIA Magpie TTS 构建低延迟多语言语音智能体
NVIDIA Magpie TTS Multilingual 以开放权重支持 12 种语言，并允许开发者在自有基础设施上部署、微调语音和定制发音。NVIDIA NIM 本地测试中，单流首音频延迟为 32–79ms；B200 在 64 路并发时达到 239ms 和 320× 实时吞吐量。
推荐理由材料同时给出多语言能力、推理架构与本地部署性能，可用于评估实时语音智能体的技术取舍。
- Hugging Face一手产品发布AI 评分79
将 Nunchaku 4-bit 扩散推理引入 Diffusers
Hugging Face 在 Diffusers 中原生支持 Nunchaku Lite，可直接加载采用 SVDQuant 的 4-bit 扩散模型，无需自定义管线、独立推理引擎或本地编译。在 RTX 5090 上，示例模型生成 1024x1024 图像约需 1.7 秒，峰值显存约 12 GB，而 BF16 管线约为 24 GB。NVFP4 检查点要求 NVIDIA Blackwell GPU，早期架构可使用 INT4，但 Volta 和 Hopper 目前不受支持。
推荐理由原文同时给出原生加载方式、硬件适配与实测数据，可用于评估4位扩散推理在显存和速度上的工程取舍。
- Together AI Blog一手研究AI 评分73
ParallelKernelBench：前沿 LLM 尚无法编写快速多 GPU 内核
Together AI 推出含 87 道真实代码问题的 ParallelKernelBench，测试前沿 LLM 能否用经 NVLink 直接传输数据的 CUDA 内核替代 PyTorch + NCCL。最佳模型零样本仅正确解决 28 题，其中 22 个方案更快；采样三次时 fast 1@3 最高仍为 31%。智能体反馈将 Gemini 3 Pro 的正确数从 24 提升至 35，但约 20 轮后停滞，主要难点仍是 rank 协调、通信顺序和传输机制选择。
推荐理由该基准把代码生成评测扩展到多GPU通信场景，并揭示模型在正确性、性能优化和跨卡协调推理上的具体差距。
- Together AI Blog一手解读AI 评分73
Together AI 如何构建全球最快的语音转文字技术栈
Together AI 优化 ASR 全链路，使 NVIDIA Parakeet-TDT 0.6B v3 可在不到 10 秒内转录约 20 小时语音，并与 OpenAI Whisper Large v3 一同成为 Artificial Analysis 排名中延迟最低的两款模型。其方案采用多配置 TensorRT、条件 CUDA 图、Unix 域套接字、共享内存和 epoll，解码器提速 2–3 倍。通过 gc.freeze() 排除预分配对象的 GC 扫描后，约 200 ms 的 p95 延迟尖峰也随之消失。
推荐理由原文拆解从TensorRT配置、GPU解码到CPU数据路径与GC控制的优化方法，可迁移到低延迟语音服务工程。
- Together AI Blog一手解读AI 评分73
服务 DeepSeek-V4：为何百万 Token 上下文是推理系统问题
DeepSeek-V4 通过 CSA、HCA 与 SWA 混合注意力在 KV 存储前压缩上下文，支持 1M-token 上下文窗口，但实际效率取决于推理引擎的缓存管理。Together AI 在 NVIDIA HGX B200 上调整 SWA 缓存策略后，将单节点 KV 缓存容量从约 1.2M tokens 提升至 3.7M tokens。长上下文、解码密集型任务最先受益，短上下文任务仍更依赖预填充优化与内核成熟度。
推荐理由原文结合HGX B200早期部署数据，说明不同KV缓存策略如何影响长上下文并发与吞吐，可用于规划推理服务配置。
- Mistral AI一手解读AI 评分77
堆也会撒谎：调试 vLLM 内存泄漏
Mistral AI 定位了 vLLM 在 Mistral Medium 3.1、图编译及 Prefill/Decode 分离部署下每分钟增长 400 MB 的内存泄漏，根因是 NIXL 依赖的 UCX 拦截 mmap，并让待清理区域在 RCache 失效队列中累积。设置 UCX_MEM_MMAP_HOOK_MODE=none 可消除泄漏且未影响性能，另可将 UCX_RCACHE_MAX_UNRELEASED 设为 1024；相关修复已合并至 vLLM，UCX 与 NIXL 团队也计划在未来版本中调整行为。
推荐理由这次排障展示了如何从 Python 分析逐层深入内核追踪，并为复杂推理基础设施的内存问题提供可迁移的方法。
- Mistral AI一手模型发布AI 评分86
Mistral AI 推出 Mistral 3
Mistral AI 推出 Mistral 3 模型家族，包括 3B、8B 和 14B 的 Ministral 3，以及采用稀疏 MoE 架构、含 41B 激活参数和 675B 总参数的 Mistral Large 3，均以 Apache 2.0 许可证发布。Ministral 3 提供 base、instruct 和 reasoning 版本，Mistral Large 3 提供 base 与 instruct 版本并将推出 reasoning 版本；该系列现已登陆 Mistral AI Studio、Amazon Bedrock、Azure Foundry、Hugging Face 等平台。
推荐理由材料同时呈现稀疏混合专家大模型与端侧小模型的参数、许可和部署路径，可用于比较开放模型的规模与落地成本。
- SemiAnalysis观点AI 评分78
xAI 的 Colossus 2：全球首座吉瓦级数据中心、独特强化学习方法与融资
xAI 正在孟菲斯与密西西比州南海文建设 Colossus 2，SemiAnalysis 预计其将成为全球首座吉瓦级数据中心，并称项目在约六个月内形成约 200MW 冷却能力。Solaris 计划到 Q2 2027 为 xAI 部署超过 1.1GW 的燃气轮机，但项目需要数百亿美元资本支出，而 xAI 仍需筹资购买 GPU。
推荐理由文章结合现场设施、能源合作与资本需求，分析 xAI 扩建训练集群的速度、资金约束及竞争位置。
- SemiAnalysis观点AI 评分78
又一次巨大飞跃：NVIDIA Rubin CPX 专用加速器与机架
NVIDIA 推出面向推理 prefill 阶段的 Rubin CPX，以更高算力占比和低成本内存减少 HBM 与 NVLink 资源浪费。单芯片提供 20 PFLOPS 稠密 FP4 算力、128GB GDDR7 和 2TB/s 带宽，并通过 PCIe Gen 6 联网。该产品将用于固定配置的 VR200 NVL144 CPX 或更灵活的 Vera Rubin CPX 双机架方案。
推荐理由文章从预填充与解码的资源差异切入，结合芯片、机架和成本数据，提供评估分离式推理硬件取舍的依据。
- Mistral AI一手AI 评分74
Mistral AI 完成 17 亿欧元 C 轮融资，加速 AI 技术研发
Mistral AI 完成 17 亿欧元 C 轮融资，投后估值达 117 亿欧元，将用于推进 AI 科研并解决战略行业的复杂技术挑战。此轮融资由 ASML 领投，双方计划开发 AI 产品与解决方案，并探索联合研究；DST Global、Andreessen Horowitz、NVIDIA 等现有投资者参投。
推荐理由融资规模、估值与投资方构成清晰，反映模型公司与半导体产业深化合作及面向工业场景的发展方向。
- SemiAnalysis观点AI 评分81
华为 Ascend 产能爬坡：晶粒库存、TSMC 持续代工与 HBM 瓶颈
SemiAnalysis 预计华为今年出货 80.5 万颗 Ascend，其中 65.3 万颗为 910C，来自 TSMC 的逾 290 万颗晶粒库存和 SMIC 扩产支撑了产量。其判断 SMIC 年底将不再是主要瓶颈，但约 1300 万颗进口 HBM 堆栈可能耗尽，明年 CXMT 约 200 万颗 HBM 堆栈仅够生产 25万–30 万颗 910C。
推荐理由文章以产能、良率和库存数据拆解Ascend供应链，呈现逻辑芯片与HBM约束如何影响中国AI算力扩张。
- SemiAnalysis观点AI 评分80
Amazon AI 复苏：AWS 与 Anthropic 扩建多吉瓦级 Trainium 基础设施
AWS 正为 Anthropic 扩建多吉瓦级 AI 训练基础设施，三个接近完工的园区合计拥有逾 1.3GW IT 容量，最大园区将部署近百万颗 Trainium2。Trainium2 的多项性能落后于 NVIDIA 系统，但在单位内存带宽总拥有成本上具有优势，契合 Anthropic 侧重强化学习和训练后扩展的路线。Anthropic 还深度参与 Trainium 的系统设计，同时继续使用 Google TPU 和 NVIDIA GPU。
推荐理由文章结合数据中心建设、芯片成本与系统路线，解释AWS借助Anthropic扩大Trainium部署的逻辑与风险。
- SemiAnalysis观点AI 评分83
H100 与 GB200 NVL72 训练基准：功耗、TCO、可靠性及软件改进分析
SemiAnalysis 对 H100 与 GB200 NVL72 的训练性能、功耗、TCO 和可靠性进行了基准分析，发现 GB200 NVL72 的每 GPU 总成本及 TCO 约为 H100 的 1.6 倍。H100 软件优化使 GPT-3 175B 的 BF16 MFU 在一年内从 34% 升至 54%。GB200 NVL72 尚受可靠性和诊断工具限制，当前仍无法完成超大规模训练。
推荐理由基于大规模训练基准对照性能、能耗、成本与可靠性，为评估新旧GPU架构的实际投入产出提供方法。