←搜索结果

按匹配度 · 共 2011 条结果 清除搜索

星期四

  1. Together AI Blog

    Together AI 的 ThunderKittens 现已支持 NVIDIA Vera Rubin NVL72

    Together AI 的 kernels 团队在获得 NVIDIA Vera Rubin NVL72 平台访问权限后,已将 ThunderKittens 扩展至支持在 Vera Rubin 上编写 NVFP4 和 FP8 GEMM。旧 Blackwell 内核在 Vera Rubin 上仅达到 roofline 的 42.1%(NVFP4)和 44.4%(FP8),团队利用 64 字节 K 步长、576 列 tensor memory、328 KiB 共享内存等新特性优化后,将 NVFP4 内核提升至超过 22 PFLOPS,与 cuBLAS 和 CuTE DSL 相当。

    匹配字段标题、摘要、正文

  2. NVIDIA Developer · Generative AI

    NVIDIA Dynamo 何时用 Encode-Prefill-Decode 分离加速多模态模型服务

    NVIDIA Dynamo 通过 encode-prefill-decode(EPD)分离,将视觉编码与 LLM prefill、decode 阶段拆开,在图像密集提示、短到中等输出和量化 MoE 模型上实现最高 5 倍更快的首 token 时延(TTFT)和 7 倍更快的端到端响应时间。在混合文本与多模态流量中,EPD 消除队头阻塞,使文本请求平均 TTFT 降低 42.2%、图像请求降低 30.8%;将 LLM 权重量化为 NVFP4 而视觉编码器保持 BF16,可把共置 EPD 的 goodput 从聚合服务的 1.78 倍提升到 2.64 倍。当 decode 主导延迟或大型稠密模型削弱视觉编码器算力占比时,收益会缩小。

    匹配字段标题、摘要、正文

星期一

星期日

  1. AI at Meta

    Meta 的 AIRA₃ 在 NVIDIA Kaggle 竞赛中获第 8 名金牌

    Meta 在 6 月让自主 AI 研究系统 AIRA₃ 参加 NVIDIA 在 Kaggle 举办的竞赛,任务是对一个 30B Nemotron 模型做微调以提升其推理能力,AIRA₃ 在约 4000 支队伍中排名第 8,获得金牌。AIRA₃ 不依赖中央控制器,而是让多组模型加编码工具在隔离环境中长时间运行,通过共享论坛和共享文件系统异步协作。赛后 Meta 还用 Muse Spark 1.2(配 MuseCode)等模型做了评估,其中 Muse Spark 1.2 达到金牌水平,Muse Spark 1.1 和 GLM 5.2 达到银牌水平,这些赛后提交在与现场竞赛相同的私有测试集上由外部评分。

    匹配字段标题、摘要

  2. AI at Meta精选

    Meta 的自主科研系统 AIRA₃ 在 NVIDIA Kaggle 竞赛中获金牌

    Meta 在 6 月让下一代自主 AI 研究系统 AIRA₃ 参加 NVIDIA 在 Kaggle 举办的竞赛,任务是微调 30B Nemotron 模型以提升其推理能力,所有参赛者信息相同并在私有测试集上外部评分。AIRA₃ 在约 4000 支队伍中排名第 8,获得金牌,超过使用相同前沿工具的人类参赛者。AIRA₃ 不依赖中央控制器,而是让大量长时运行的智能体在隔离环境中通过共享论坛和共享文件系统异步协作;其金牌方案由 GPT 5.5(配 OpenCode)与 Claude 4.8(配 ClaudeCode)组合而成,事后评估中 Muse Spark 1.2(配 MuseCode)也达到金牌水平,Muse Spark 1.1(配 OpenCode)和 GLM 5.2(配 OpenCode)达到银牌水平。Meta 称该系统只改任务说明即可跨领域泛化,内部基准上实现生产 GPU kernel 延迟降低 27%,并在另一场将 4000 年前阿卡德语泥板翻译成英文的 Kaggle 竞赛中取得金牌级表现。

    匹配字段标题、摘要、正文

星期六

  1. NVIDIA Developer · Generative AI

    NVIDIA 用 NemoClaw 构建记忆驱动的 Chief of Staff 智能体

    NVIDIA 团队用 NemoClaw 构建了记忆驱动的 Chief of Staff 智能体,通过 Markdown 自模型与 SQLite 账本分离证据与判断。在 Agent Memory Benchmark 上,自模型将整体准确率从 82.8% 提升到 90.9%,变化事实的跟踪率从 60.0% 提升到 100%。运行时由 NVIDIA OpenShell 沙箱管控文件系统、进程和网络访问,凭据留在沙箱之外,相关配方与设计提案已开源在 NVIDIA/nemoclaw-community 仓库。

    匹配字段标题、摘要、正文

  2. NVIDIA Developer · Generative AI

    前沿推理走向边缘:如何在 NVIDIA Jetson 上部署与优化模型

    NVIDIA 介绍在 Jetson 边缘设备上本地运行推理与智能体模型的方法,以 Nemotron 3.5 Lightning 和 Qwen3.8-27B 为例。Nemotron 3.5 Lightning 采用 MoE 架构,总参数 30B 但每 token 仅激活 3B;Qwen3.8-27B 为稠密模型,每 token 激活全部 27B。NVFP4 量化配合推测解码在 Jetson 上相较 BF16 最高带来 6.28x 解码吞吐提升,且最优推测解码配置因模型而异。

    匹配字段标题、摘要、正文

星期五

  1. Georgi Gerganov精选

    NVIDIA 收购 Hugging Face,llama.cpp 作者称项目原则不变

    Georgi Gerganov 宣布 Hugging Face 已被 NVIDIA 收购。他表示 NVIDIA 一年多来持续支持 llama.cpp,工程师参与代码贡献、与社区协作并提供开发测试硬件。他同时说明 llama.cpp/ggml 将继续坚持硬件无关的创始原则,各后端开发与支持仍由社区驱动,并认为有 NVIDIA 和 Hugging Face 团队支持,长期目标更易实现。

    匹配字段标题、摘要、正文

  2. NVIDIA Developer · Generative AI

    NVIDIA 如何跨联邦 Kubernetes 与 AI 平台传递用户身份

    NVIDIA 采用中心身份网关模式,让区域网关通过共享会话存储校验用户身份,而非各自维护独立 OIDC 流程,在横跨 AWS 和 OCI 的 Kubernetes 内部开发者平台上将重复登录事件减少 55%。该架构基于标准 OpenID Connect、极简 /gateway/userinfo 校验端点、无状态区域网关和带显式 TTL 的 Redis 共享会话存储,实现统一平台外壳与具备委派用户身份的 AI 助手。安全措施包括网关间双向 TLS 或工作负载身份、剥离入站身份头后再注入可信头,以及为会话存储不可用定义明确失败行为。

    匹配字段标题、摘要、正文

  3. The Next Platform

    Nvidia 以 129 亿美元收购 Hugging Face

    Nvidia 将以 129 亿美元收购开源 AI 平台 Hugging Face,交易预计在 2027 年上半年完成,尚待监管批准。Hugging Face 目前拥有超过 1800 万开发者和 20 万家企业用户,托管 300 万个模型、100 万个应用和 50 万个数据集。Hugging Face CEO Clément Delangue 表示,公司主动接洽 Nvidia,原因是开源 AI 社区规模扩张所需资源已超出自身能力。

    匹配字段标题、摘要、正文

星期四

  1. NVIDIA Developer · Generative AI

    NVIDIA 如何用投机解码协同设计 AI 模型以加速 LLM 推理

    NVIDIA 提出用投机解码加速 LLM 推理:小草稿模型一次提议多个 token,由大目标模型并行验证,在不改变输出序列的前提下减少解码迭代次数。文章给出五条准则来选取最优草稿长度与机制,并比较外部草稿模型、EAGLE-3、MTP、DFlash、DSpark 及后缀/n-gram 方法。NVIDIA 的 SPEED-Bench 基准用于衡量编码、摘要等任务的接受长度,EAGLE-3、DFlash、DSpark 的训练示例已开放在 NVIDIA/Model-Optimizer 中。

    匹配字段标题、摘要、正文

星期三

  1. SemiAnalysis

    韩国万亿主权 AI 投资:Nvidia 得利,Hynix 承压

    SemiAnalysis 分析韩国主权 AI 布局,指出其 2025 年 6 月启动的独立 AI 基础模型竞赛中,Motif 以约 1500 万美元训练成本做出全球最好的非中国开源模型,却在 8 月 18 日公布的最新一轮评审中被淘汰。韩国还宣布 9190 亿美元投资,计划 2029 年建成 8.4GW、2035 年建成 18.4GW 数据中心,SK 集团、GS 集团和 Naver 分别承担一期 5GW、2.4GW 和 1GW。文章认为 Nvidia 是主权 AI 的最大受益者,而韩国的算力扩张未必与三星和 SK Hynix 股东利益一致。

    匹配字段标题、摘要、正文

  2. NVIDIA Developer · Generative AI

    NVIDIA 与 CrowdStrike 用 Nemotron 构建自适应智能体网络安全系统

    NVIDIA 与 CrowdStrike 在隔离环境中评估了一套攻防一体的智能体网络安全系统,防御侧由 Nemotron 3 Ultra 负责编排、微调后的 Nemotron 3 Super 负责检测生成与修复。回测显示,优化后的开源模型流水线在六个会话中平均检测率达 41.9%,是仅用 Nemotron 3 Ultra 默认配置的 2.5 倍;针对八种未见攻击的实弹测试中,开源模型检测有 45% 具备泛化能力,前沿系统为 29%。

    匹配字段标题、摘要、正文

星期二

  1. NVIDIA Developer · Generative AI

    NVIDIA 如何为 AI 推理与 TCO 合理配置 GPU 规模

    NVIDIA 提出按 AI Chatbots/Copilots、AI Agents、内容生成、翻译应用四类用例映射推理负载,并依据模型选择、DAU、并发、ISL/OSL、缓存命中率、延迟目标和合同期限来规划 GPU 容量。其核心加弹性(core-and-flex)模式用本地或预留云 GPU 承载稳态流量,用公有云 spot 或按需 GPU 应对突发。NVIDIA Model Optimizer 的 FP8 训练后量化将 Llama-3.1-8B 权重内存减少 43.5%,对 Qwen3-8B 教师模型剪枝加蒸馏得到约 6B 参数学生模型。

    匹配字段标题、摘要、正文

  2. The Next Platform

    长期来看,Nvidia NVSwitch 就是 scale up AI 网络中的 InfiniBand

    The Next Platform 分析认为,Nvidia 截至 7 月的过去十二个财月中 InfiniBand 收入约 25.74 亿美元,与 Ethernet 和 NVSwitch 互连合计的 25.67 亿美元几乎持平,但大型集群的 InfiniBand 可能已见顶。随着 Ultra Ethernet 联盟推动超以太网技术,NVSwitch 用于 scale up、Spectrum-X Ethernet 用于 scale out 将主导 Nvidia 自身销售,这是客户拉动而非厂商推动。

    匹配字段标题、摘要、正文

  3. NVIDIA Developer · Generative AI

    在 Claude Science 中运行 NVIDIA BioNeMo NIM 微服务进行蛋白质结构预测

    NVIDIA BioNeMo Agent Toolkit 将十余年 BioNeMo 生命科学模型、库和工作流打包为可被智能体调用的技能,并与 Claude Science 及 NVIDIA NIM 微服务集成,让 AI 智能体编排蛋白质结构预测流程。在 Seh1 单体与 Seh1–C1HCX1 异源二聚体基准中,OpenFold3 和 Boltz-2 在有 MSA 输入时界面置信度 iPTM 分别为 0.85 和 0.82,无 MSA 时降至 0.14 和 0.19。内部基准显示 BioNeMo 技能将任务正确率从 60% 提升至 100%,token 效率约翻倍。

    匹配字段标题、摘要、正文

星期五

  1. Ed Zitron 长文 / Where’s Your Ed At

    批评者指南:NVIDIA 循环融资分析(上篇)

    Ed Zitron 分析 NVIDIA 围绕 AI GPU 销售形成的循环融资关系,认为其投资部分客户的做法同时创造了硬件销量和算力需求。他指出数据中心硬件贡献 NVIDIA 超过 90% 的收入,并称超大规模云厂商约占其 GPU 销售额的 50% 至 60%。本篇聚焦该融资模式为何尚未破裂、其局限,以及最新季度财报暴露的实质性风险。

    匹配字段标题、摘要、正文