2026年9月22日,AWS Machine Learning 发布文章,讲解如何在 Amazon SageMaker AI 上用并发扫描为生成式 AI 端点合理配置规模。文章介绍,SageMaker AI 的 Inference Recommendations 内置并发扫描功能,可自动向端点发送递增的并发流量并测量吞吐与延迟,找出端点饱和点,无需自建压测基础设施。文中以 NVIDIA Nemotron-3 Nano 30B(MoE、3B 激活参数)部署在 ml.g7e.2xlarge 为例,按 64、256、1024 三档并发各发 1024 个请求,结果显示 256 并发时吞吐趋平、p99 延迟陡升,即为饱和拐点。目前该内容为 AWS 官方发布,尚无其他后续发展。
匹配字段摘要
2026年9月21日,NVIDIA 在 Dynamo-Triton 26.07 中启用 TensorRT 后端的多设备推理能力,一个 KIND_MODEL 实例可占用多块 GPU,并通过单个 gRPC 端点对外提供分布式推理服务;TensorRT 11.0 起完整支持该能力。官方以 Cosmos 3 Nano 视频生成为例说明,Ulysses 上下文并行把 44,160 个视频 token 分配到最多八块 GPU,端到端生成延迟从单 GPU 的 156.6 秒降至八 GPU 的 34.2 秒,transformer RPC 加速比达 6.09 倍。CP2、CP4、CP8 的输出通过 MAE ≤ 25 与 PSNR ≥ 18 dB 的质量阈值校验。该基准未测量并发吞吐、单视频成本或 TCO。目前尚无后续发展事实。
2026年9月21日,NVIDIA 在 Dynamo-Triton 26.07 中启用 TensorRT 后端的多设备推理能力,一个 KIND MODEL 实例可占用多块 GPU,并通过单个 gRPC 端点对外提供分布式推理服务;TensorRT 11.0 起完整支持该能力。官方以 Cosmos 3 Nano 视频生成为例说明,Ulysses 上下文并行把 44,160 个视频 token 分配到最多八块 GPU,端到端生成延迟从单 GPU 的 156.6 秒降至八 GPU 的 34.2 秒,transformer RPC 加速比达 6.09 倍。CP2、CP4、CP8 的输出通过 MAE ≤ 25 与 PSNR ≥ 18 dB 的质量阈值校验。该基准未测量并发吞吐、单视频成本或 TCO。目前尚无后续发展事实。
匹配字段摘要
2026年9月17日,Unsloth发布Unsloth Docker镜像,用户可在本地训练和运行500+模型。据Unsloth官方说明,该镜像支持新的GUI或notebook工作流,无需额外配置,并兼容NVIDIA与AMD硬件。官方同时给出了使用指南和GitHub仓库链接。目前该事件尚无后续发展事实,状态停留在发布与官方说明阶段。
匹配字段摘要
2026年9月16日,NVIDIA TensorRT Edge-LLM 在单台 Jetson AGX Thor 开发者套件上完成 MLPerf Inference v6.1 Edge Agentic 基准测试。该测试运行 Qwen3.6-27B,达到 52.33 tokens/秒,用 24 分 36 秒完成全部 1,007 轮性能负载,比 llama.cpp 参考实现的 2 小时 37 分钟快 6.4 倍。据 NVIDIA 开发者博客介绍,这一结果依托 NVFP4 权重与激活量化、FP8 KV cache、基于树的多 token 预测以及跨智能体轮次的 KV cache 复用,其中约 96% 的提示词 token 由热缓存提供。相关代码位于 TensorRT Edge-LLM release/0.9.1-mlpinf 分支。目前尚无后续发展事实。
匹配字段摘要
2026年9月14日,英伟达宣布优化基于Transformer Engine的JAX无丢弃MoE训练。据英伟达开发者博客,该方案结合JAX,在NVIDIA GB200上把DeepSeek-V3的MoE训练吞吐从103 TFLOPS/GPU提升到1,068 TFLOPS/GPU,达10.4倍。其分组GEMM内核可在单次调用中处理各专家不等的token数量,实现无丢弃MoE;NCCL EP融合dispatch与combine并去重token以降低网络流量。在GB300 NVL72上训练DeepSeek-V3 671B时,该方案在1,024块GPU下保持97%扩展效率。目前尚无后续发展事实。
匹配字段摘要
2026年8月26日,OpenAI公布其首款自研推理芯片Jalapeño的基准测试结果。SemiAnalysis在OpenAI实验室用InferenceX实测,称该芯片在多个开源模型上的每兆瓦token吞吐超过NVIDIA Blackwell,在DeepSeek R1上并发1时达到每用户700 tokens/s以上,全程未使用投机解码。该芯片由OpenAI与Broadcom合作,2024年中启动设计,2025年11月完成CoWoS流片,采用HBM4、单封装15.4TB/s带宽,架构上不做prefill与decode分离。SemiAnalysis认为更公平的对手是同样使用HBM4的Rubin,两者每美元输出token数接近,但Jalapeño尚未启用投机解码,量产计划从2027年起逐步爬坡。后续IEEE Spectrum报道称,OpenAI于8月25日完整发布该芯片,提供最高13.4 petaflops的4-bit算力和232 GB内存,端到端延迟相比Nvidia GB300最多降低3.6倍。
匹配字段摘要
2026年9月10日,英伟达与Palantir宣布构建并部署一套供应链物料分配决策系统。据英伟达开发者博客介绍,双方在Palantir Foundry中搭建数字供应链智能指挥中心,将材料、制造基地、产能、分配等数据统一到Ontology数据层,并采用开源GPU加速决策优化库NVIDIA cuOpt求解关键材料分配问题,目标是最小化Time of Ownership(TOO)。cuOpt以混合整数线性规划求解,还能报告哪些约束成为瓶颈,让规划者快速探索不同情景。英伟达称Vera Rubin的供应链规模是Grace Blackwell的两倍。目前尚无后续发展事实。
匹配字段摘要
2026年9月10日,Together AI的kernels团队在获得NVIDIA Vera Rubin NVL72平台访问权限后,将ThunderKittens扩展至支持在Vera Rubin上编写NVFP4与FP8 GEMM。据该团队介绍,旧Blackwell内核在Vera Rubin上仅达到roofline的42.1%(NVFP4)和44.4%(FP8);团队利用64字节K步长、576列tensor memory、328 KiB共享内存等新特性优化后,将NVFP4内核提升至超过22 PFLOPS,与cuBLAS和CuTE DSL相当。目前该支持已随官方博客发布,暂无后续发展事实。
匹配字段摘要
2026年9月10日,Together AI为Together GPU Clusters推出可抢占计算公开预览,该功能已在所有区域的Kubernetes集群上线。据Together AI Blog介绍,可抢占容量按需费率的固定50%计费,计费粒度低于一小时、每1至2分钟计量一次;可抢占节点使用相同的NVIDIA加速计算,从闲置容量中获取,被回收时最多有5分钟排水时间,节点移除后集群会自动回补至目标数量。该容量适合短实验、推理突发和批处理等可中断任务。官方同时表示,Slurm支持、更多区域和计算类型原地转换已在规划中。目前尚无后续发展事实。
匹配字段摘要
2026年9月9日,NVIDIA Dynamo 采用编码预填充解码(EPD)解耦优化多模态模型推理服务,将视觉编码与 LLM prefill、decode 阶段拆开。据 NVIDIA Developer 介绍,在图像密集提示、短到中等输出和量化 MoE 模型上,该方案实现最高 5 倍更快的首 token 时延(TTFT)和 7 倍更快的端到端响应时间。在混合文本与多模态流量中,EPD 消除队头阻塞,使文本请求平均 TTFT 降低 42.2%、图像请求降低 30.8%;将 LLM 权重量化为 NVFP4 而视觉编码器保持 BF16,可把共置 EPD 的 goodput 从聚合服务的 1.78 倍提升到 2.64 倍。同时,当 decode 主导延迟或大型稠密模型削弱视觉编码器算力占比时,收益会缩小。目前尚无后续发展事实。
匹配字段摘要
2026年9月7日,黄仁勋表示,OpenAI的GPT-6 Astra使用约10万颗以上的NVIDIA Grace Blackwell NVLink72进行训练,并将其称为AGI。他回顾称,从ChatGPT、o1发展到Astra历时4年。黄仁勋还表示,接下来将有40万颗GPU上线。目前输入材料未提供Astra的独立技术验证、OpenAI方面回应或后续进展。
匹配字段摘要
NVIDIA 在Dynamo-Triton 26.07中启用 TensorRT多设备推理能力
English translation is being prepared.
匹配字段摘要
NVIDIA 推出 面向AI工厂电力与冷却产品的DSX Ready认证计划
English translation is being prepared.
匹配字段摘要
NVIDIA TensorRT Edge-LLM 完成基准测试并将耗时缩短至参考方案的约六分之一 Jetson AGX Thor上的MLPerf Edge Agentic基准
English translation is being prepared.
匹配字段摘要
NVIDIA 优化 基于Transformer Engine的JAX无丢弃MoE训练
English translation is being prepared.
匹配字段摘要
NVIDIA与Palantir 构建并部署 基于Nemotron、Foundry和cuOpt的供应链物料分配决策系统
English translation is being prepared.
匹配字段摘要
Together AI 为ThunderKittens新增支持 NVIDIA Vera Rubin上的NVFP4与FP8 GEMM
English translation is being prepared.
匹配字段摘要
NVIDIA Dynamo 采用编码预填充解码解耦优化 多模态模型推理服务
English translation is being prepared.
匹配字段摘要
2026 年 9 月 9 日,Cognition 宣布完成 E 轮融资,融资规模超过 20 亿美元,估值达 480 亿美元。据 Cognition 模型 / Devin 博客发布的信息,本轮由 Andreessen Horowitz 和 Accel 领投,Founders Fund、General Catalyst、Avenir 等现有投资方跟投。公司称自 5 月上一轮融资以来,run-rate revenue 已从 4.92 亿美元增长至近 9 亿美元。Devin 被 NVIDIA、GE Aerospace、Citi、Mercedes-Benz、Modal 等公司的工程团队使用,目前具备 Auto-Triage 事件初查、Security Swarm 漏洞发现与分诊,以及从 Slack、GitHub、Linear 等系统事件触发任务的 Automations 能力。目前尚无后续发展事实。
匹配字段摘要
Jensen Huang 称 GPT-6 Astra使用超10万颗NVIDIA Grace Blackwell NVLink72训练，AGI已经到来
English translation is being prepared.
匹配字段摘要