搜索“NVIDIA”

Titan 在其 5D 并行栈中扩展了模型支持，并通过 TitanRL 引入了强化学习。TitanRL 在预训练、后训练以及在 vLLM 内执行时保持相同的模型实现，支持异步 rollout，并为训练和生成提供多种并行形式。此次更新还涵盖了性能改进、FlexShard、基于图的训练、分布式通信和检查点。 阅读 TorchTitan 更新。 Helion 与 NVIDIA CompileIQ Helion 与 NVIDIA CompileIQ 的集成将编译器控制项加入内核自动调优搜索。开发者可以在内核配置（如 tile 大小和 warp 数量）之外评估 Advanced Control Files，进行离线调优，并固定所选配置。编译器默认值仍是搜索中的一个候选。 阅读关于 Helion 与 NVIDIA CompileIQ 的内容。 Arm Cortex-M CPU 上的 ExecuTorch ExecuTorch 现在提供了从 PyTorch 训练到设备端推理的直接路径。Cortex-M 后端使 PyTorch 模型能够在 Arm Cortex-M CPU 上直接运行，并借助 Arm

匹配字段正文

分； docs/reference-q38-run.md 用于经过验证的 24-H100 Qwen3.8 配置； docs/evaluation.md 用于合并检查点并运行 ThinkingBox-Bench 507 x 20。 开始之前 已在 Linux 和 WSL 上使用 Python 3.12 和 uv 测试。你需要具备兼容 CUDA/NCCL 栈的 NVIDIA GPU、本地 Qwen3.8-27B 检查点，以及用于模拟用户和评判器的 OpenAI 兼容端点。经过验证的参考配置使用 3 个节点 x 8 块 H100 GPU；更小的自定义配置取决于模型大小、上下文长度和 rollout 并发度。 公开示例任务列表用于演练接口。它不是所报告运行中使用的私有 187 任务训练池。请提供与公开基准保持不相交的授权训练源。 安装 将三个仓库并排放置： 创建经过验证的环境 发布的栈面向 Linux、Python 3.12、Verl 0.9.0 以及固定的包锁： 最后两条命令应报告已验证的已打补丁 Verl 检出，且没有损坏的依赖项。之后不要运行另一次自动包同步：它可能会用原版 Verl w

匹配字段正文

并发挥作用时，弹性才有意义。Modal 的无服务器 GPU 文章描述了这套机制：可用 GPU 缓冲区、自定义文件系统、进程检查点和 GPU 内存快照。这些组件减少了让另一个模型副本上线所需的工作。这是一个具体例子，说明基础设施决策如何体现在应用的响应速度和成本上。 我们还讨论了 Erik 从 Spotify 推荐系统到 Modal 的历程、公司如何购买算力、NVIDIA 的替代方案、forward-deployed 工程师，以及为什么在 Modal 代码审查是可选的。跳转到工程文化 → 节目笔记 Modal——Erik 创立的 AI 基础设施平台。 Erik 的文章——他关于基础设施、市场和创办公司的随笔。 Modal 的 D 轮融资公告——公司最新报告的增长和 sandbox 里程碑。 Modal 如何实现真正的无服务器 GPU——弹性推理背后的启动和扩展技术。 Modal 的资源求解器——它如何在不断变化的价格和可用性之间选择容量。 扩展到一百万个并发 sandbox——关于 sandbox 扩展的工程记录。 我们与 Erik 的第一次采访——最初的无服务器基础设施论点。 我们与

匹配字段正文

变其性质。这使它不稳定，现在我们必须为那个工艺找到更好的气密密封。如果我们找不到控制它的方法，那对我们来说就是死路一条。 00:39:45 – 混合键合 Dwarkesh Patel 堆叠晶体管仍停留在研究实验室阶段。而堆叠整个芯片已经投入生产，并且它解决的是另一个问题：独立芯片之间如何通信。 现代计算机被划分为多个部分，每个部分针对不同任务进行优化。例如，Nvidia 的 Blackwell 数据中心 GPU 将两块巨大的处理器芯片连接在一起，并在它们周围环绕八组高带宽内存堆栈。这些芯片必须不断地相互来回发送数据。而在 AI 中，往往正是这种数据传输的速度——而非原始计算本身——限制了工作负载完成的速度。 想象两块并排的芯片，通过彼此相对的边缘进行通信。如果你把每块芯片的宽度和长度都翻倍，电路面积会变成四倍，但用于连接的边缘长度只有两倍。这就是面积与周长的问题。随着晶体管密度提高，芯片进行计算的能力增长得比它搬运数据的能力更快。业界多年前就已知道这个问题，因此发明了多种技术来应对它。 视频旁白 完成的电路必须经过最后两道工序：键合和封装。 Dwarkesh Patel 芯片制造完成后

匹配字段正文

集4亿美元，使2026年融资总额达到14亿美元 Cymphony完成2500万美元A轮融资，以保障员工与AI智能体之间日益增长的交集 Corma完成6000万美元种子轮融资，以构建旨在对抗AI驱动网络攻击的AI。Meir是一名预备役中校，在特种作战、组建作战单位以及开发技术和作战能力方面拥有20多年经验。联合创始人Itzhak Aviv博士在国防通信、计算和加密系统方面拥有经验，包括在MATZOV以及以色列国防军通信与计算局的工作经历。另一位联合创始人Michael Kiperberg博士专长于安全虚拟化系统、计算基础设施和加密。研发由Artem Barger领导，其背景包括虚拟化技术、Linux和IBM系统。Modelyo在以色列以及包括美国、欧洲、韩国、印度和阿联酋在内的国际市场开展业务。该公司还表示，它与NVIDIA、Intel和Google合作开展技术计划，旨在推进现代硬件和云基础设施上的机密计算，包括为资源密集型AI应用提供安全环境。其目标客户包括政府、国防组织、金融机构、医疗和制药公司、关键基础设施运营商以及寻求在采用云和AI服务的同时保留对数据和知识产权控制权的大型企业。

匹配字段正文

于：收购Tesla只会让SpaceX要爬的山陡峭得多，几乎陡了一倍。 如果SpaceX承担30%的溢价，合并后的公司起步市值将为4.12万亿美元。（即SpaceX当前的2.14万亿美元加上为收购Tesla支付的1.98万亿美元。）SpaceX 2.0将超过Alphabet（4.0万亿美元）和Microsoft（3.9万亿美元），成为美国第三大市值企业，仅次于Nvidia（5.3万亿美元）和Apple（5.0万亿美元）。据《财富》估计，SpaceX需要在2035年前实现5500亿美元利润和约3万亿美元收入才能达标。5500亿美元的目标是Alphabet目前利润的两倍多。 再说一次，如果Tesla能带来已经规模庞大且快速增长的利润，任务就不会那么艰难。但情况恰恰相反。这家电动车制造商提供的利润微乎其微，且已从2023年的150亿美元、2024年的50亿美元降至仅为两年前三分之二的运行速率。 Tesla将在SpaceX最需要的地方助其一臂之力：大量现金流来为其庞大而昂贵的人工智能冒险买单 对SpaceX财务状况的关注大多集中在其惊人的现金消耗上，这主要是在为其人工智能（即它现在所称的“超级智

匹配字段正文

理器和 Xbox 主机。FSR 是面向 AMD 图形处理器（GPU）的基于人工智能（AI）的图形增强技术。该技术包含在 AMD Software: Adrenalin Edition 26.10.1 版本中。 在 FSR 3 阶段，AMD 依赖的是为广泛兼容性而设计的基于算法的技术。于 CES 2025 上发布的 FSR 4 转向了基于机器学习的 AI，与 Nvidia 的深度学习超级采样（DLSS）类似。与前几代相比，FSR 4.1 的图像质量显著提升。 FSR 4 最初于 2025 年推出，仅面向 Radeon RX 9000 系列。2026 年 7 月，支持范围扩展至 Radeon RX 7000 系列。该技术采用 8 位整数（INT8）模型。AMD 现已进一步简化和优化其计算架构，以扩大硬件兼容性。 RX 6000 系列是于 2020 年首次推出的显卡产品线。Ryzen AI Max 处理器是 AMD 加速处理器（APU），集成了中央处理器（CPU）、GPU 和神经处理单元（NPU）。 FSR 4.1 还支持搭载 Ryzen AI 9 笔记本电脑处理器、Ryzen AI Z2

匹配字段正文

本地解决的常规查询，最终也需要通过完整的网络往返请求云端托管的大语言模型（LLM）。 使用 Strands Agents 构建的自适应智能体智能框架（AAIF）采用了不同的方法。AAIF 不会将所有请求都路由到单个大型模型，而是使用小型语言模型（SLM）在本地处理常规任务。更复杂的请求则通过 Amazon Bedrock路由到云端托管的模型。这种方法建立在 NVIDIA 的 Belcak 等人的研究立场之上。他们认为，小型语言模型“能力足够强大、本质上更适合，并且对于智能体系统中的许多调用而言必然更经济”。该框架基于 Strands Agents 构建，展示了智能模型编排如何帮助降低成本，同时保持本地操作的低延迟。 在本文中，我们将介绍 AAIF 的关键组件，其中通过 Ollama 使用本地 SLM，并通过 Amazon Bedrock 使用云端模型。我们使用物联网（IoT）监控场景作为参考实现。 解决方案概述 如图 1 所示，AAIF 将 AI 处理组织为三个层，每一层针对不同的任务类型进行优化： 智能编排使用轻量级 SLM（llama3.2:1b）作为决策层。该编排器对传入请求进行

匹配字段正文

l over recomputed regions, avoiding CPU overhead and custom op wrapper requirements. For distributed compute and scaling, Dist-MoE provides fused communication-compute kernels for NVIDIA SM100+ GPUs with activation packing for dynamic tensors to remain fully CUDA-graphable. Meanwhile, a fully revamped pipeline parallel package provides CUDA-graphable, deterministic execution with user control knobs to maximize overlap when composing FSDP and pipeline parallelism. Finally, TorchTitan overrides en

匹配字段正文

Rumor mill: Analysts with SemiAnalysis have uncovered what could be another troubling trend in the AI hardware industry. Nvidia is reportedly retaliating against some "neocloud" providers for integrating GPUs and other chips from rival manufacturers into their cloud offerings. SemiAnalysis' latest "shocking" rumor allegedly confirms what the firm had already revealed in June. Several neocloud providers have reportedly been denied access to GTC Berlin, Nvidia's upcoming conference covering AI, GP

匹配字段正文

It feels pretty fitting for @JensenHuang & @nvidia to end their European tour with Microducks on stage. Microduck was designed and engineered in Europe (more precisely Bordeaux, France) by the @pollenrobotics and @huggingface teams. With American capital and ambition + Chinese manufacturing genius, it became the most popular robot of 2026 with over 15,000 sold all over the world! I believe Europe has more opportunity to shine in AI than in any previous tech wave. We intend to prove it with @hugg

匹配字段正文

返回博客‹ 返回博客 目录 摘要 扩容如何建立在恢复机制之上 一个逻辑部署，三层协同 在线 EP 组如何增长 衡量过渡过程 路线图 扩容后的 EPLB CUDA 图重新捕获 多 rank DP 注意力分片 缩容与恢复 试用弹性 EP 扩容 结论 参考文献 致谢SGLang 中的弹性专家并行扩展：使用 NIXL 扩容在线 MoE 部署Yoray Zack — NVIDIA 高级软件架构师、SGLang 贡献者2026 年 10 月 21 日 推理部署在变化的负载下运行，必须在保持吞吐量和延迟目标的同时调整容量。对于大型混合专家（MoE）模型，标准选项是水平扩展（增加另一个完整副本）和垂直扩展（以更宽的专家并行拓扑重启部署）。 水平扩展保持当前服务运行，但会增加完整的模型占用。垂直扩展可以用更小的增量达到所需拓扑，但需要重建分布式状态、重新加载模型并预热新部署。 弹性扩容基于恢复流程中已实现的原则。在恢复中，活动成员会意外变化；而在扩容中，变化是计划内的，新的 GPU rank 在运行时加入。在下面的示例中，一个 20 GPU 的部署通过增加四个 rank 扩展到 24 GPU，而无需替换

匹配字段正文

ng Gemini 1.5 Flash. Latency + Throughput Rerank 5 Fast is built for volume. Under sustained load, Fast reranks about 187 standard-length documents (1,000 tokens) per second on an NVIDIA A100 GPU - delivering 2.9x the throughput of Pro. Fast also delivers nearly 3x faster response times than Pro, making it ideal for latency-sensitive applications and agents that run many searches per task. Pro remains best suited for applications where ranking quality takes priority over speed. Document throughp

匹配字段正文

could have a comparative advantage include wiring many weaker chips into superPoDs like Huawei’s CloudMatrix 384, engineering systems to keep running through failures, and mixing Nvidia and domestic fleets as one. This corresponds directly to this announcement’s proposed restriction on the export of technology relating to large clusters (≥10,000 AI accelerators) with either fast interconnect (≥800 GB/s), fast recovery from failures (≤120 s), high scaling efficiency (≥98%), or unified scheduling

匹配字段正文

Cs can now enable FSR 4.1 upscaling without mods like Optiscaler. The update, included in version 26.10.1 of AMD's graphics driver, aims to bring upscaling image quality closer to Nvidia's DLSS. FSR 4 supported only RX 9000 cards when it launched last year, but AMD extended support to the RX 7000 series in June 2026. This week's update brings the feature to all RX 6000 desktop GPUs, Ryzen AI Max APUs, and laptops with Ryzen AI 9 chips. Handhelds with Ryzen Z2 Extreme, Ryzen AI Z2 Extreme, and Z2

匹配字段正文

阵营在指令集架构（ISA）层面的一次自我革新，用统一的底层指令定义，去匹配AI工作负载的新需求。 x86必须在ARM攻势前守住软件生态 从宏观的角度看，这次合作更多是补全自身的防御短板。Arm在今年10月刚发布了AGI CPU，并联合Fujitsu、Meta、OpenAI推出了新的CPU评测方法论，声称其方案在每机架性能上可达主流x86服务器处理器的2倍。而NVIDIA也在5月发布了定位为“Agent CPU”的Vera处理器，宣称比x86方案任务完成速度快1.8倍。市场研究机构的预测更不乐观：到2030年ARM定制/ASIC在服务器CPU价值份额中的占比预计将达到约37%，而Intel和AMD各约28%。 ARM阵营的差异化竞争，不再只拼硬件性能，而是围绕“为AI从头打造”的新故事展开，从最底层的指令集到上层软件栈实现系统性重塑。面对这种攻势，x86阵营最不能输的就是开发者生态。如果开发者需要为AMD和Intel分别维护两套AI优化代码，迁移到ARM平台的成本优势就会变得更加诱人。而把oneDNN统一为默认路径，则等于告诉开发者：你在x86上写的AI代码，AMD和Intel都能跑，而

匹配字段正文

so described built-in priority and pre-emption controls that minimize idle GPU time and monitoring through tools such as Genie ZeroOps. The AI Runtime product page lists on-demand NVIDIA GPUs with multi-region capacity, distributed training across multiple GPUs and nodes with managed RDMA networking, optimized checkpointing for long-running jobs, and support for custom Docker containers, including NVIDIA NGC containers. Kostia Omelianchuk, an applied research scientist and area tech lead at Supe

匹配字段正文

terne Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung. Wie Nvidias KI-Upscaler DLSS nutzt FSR seit Version 4 ein KI-Modell, um Spiele aus einer niedrigeren Auflösung hochzurechnen. Zahlreiche Spiele dieser Konsolengeneration laufen in sehr niedrigen Auflösungen und sehen auf hochauflösenden Fernsehern entsprechend unscharf aus. Kompetentes Upscaling fehlte der aktuellen Konsol

匹配字段正文

Groq plans to stack DRAM in its next inference chip to get around SRAM’s small capacity, industry sources say. Nvidia paid $20B last December to license Groq’s technology and hire its leaders, so this chip is effectively Nvidia’s next LPU. The big deal here is that, each generated token requires reading the model’s weights from memory, so bandwidth sets speed. The big deal here is that each generated token requires reading the model’s weights from memory, so bandwidth sets speed. Today’s Groq 3

匹配字段正文

on Microsoft services. These commitments apply regardless of how much computing capacity the company ultimately uses. Anthropic has also agreed to spend up to $86 billion renting NVIDIA chips through AI infrastructure providers Nscale and Lambda, with the agreements extending into 2033 and 2034, respectively. Anthropic’s infrastructure commitments exceed $600 billion, including more than $160 billion tied to leasing Google chips through an arrangement involving Broadcom, according to WSJ. The c

匹配字段正文