SGLang 与 Miles 宣布在 Kimi K3 发布当天提供 Day-0 支持，前者负责推理、后者负责 RL 训练，与 Moonshot AI、NVIDIA 团队合作完成。K3 是首个 3 万亿参数级别的开源模型，实际为 2.8T 参数、1M token 上下文窗口并具备原生视觉理解，其 69 层 KDA 线性注意力与 24 层 MLA 交织的混合架构打破了常规服务栈的多项假设。文中给出统一显存池、DSpark 投机解码与 ReplaySSM、分阶段并行等方案，并报告在 16 节点 × 4 GB300 上做 DAPO 数学 RL 训练，AIME-2024 贪心评测在 12 小时内从 43.3% 升至 76.7%。
匹配字段摘要、正文
开源模型正成为 AI 创新的关键驱动力。很高兴看到 NVIDIA 公开支持这一愿景。期待下一代 AI 构建者创造出什么。
匹配字段摘要、正文
微软 AI 公布面向智能体工作负载的 MAI 模型在 GitHub Copilot 和 Excel 中的部署情况。MAI-Code-1-Flash 自 6 月在 GitHub Copilot 上线以来已有数百万开发者使用，在 VS Code 中代码接受率比 GPT 5.4 Mini 和 Claude Haiku 4.5 高约 10%，中位 token 用量低 10%。在 Excel 中，基于该 checkpoint 继续强化学习得到的模型在常见任务上质量与 GPT-5.6 相当，且可运行在 Nvidia H100 和 A100 上，降低部署成本。微软表示正将这一方法扩展到 Copilot Chat、Outlook、PowerPoint 等产品。
匹配字段摘要、正文
Black Forest Labs 发布 FLUX 3 早期版本，并与机器人公司 mimic 合作推出视频-动作模型 FLUX-mimic，已在 Audi 测试和部署。FLUX 3 从训练之初就联合训练图像、视频和音频，视频预测占总算力成本 95% 以上；加入动作预测后，文生视频和图生视频的人类评分一度下降最多 10%，3500 步后恢复原有质量并同时预测动作。FLUX-mimic 在冻结 FLUX 主干的情况下，动作解码器表现超过此前的视觉-语言-动作模型，微调后达到 SOTA 成功率；主干在单张 NVIDIA RTX 5090 上从输入到世界表征耗时不到 80ms，整套机器人系统反应时间为 101ms。
匹配字段摘要、正文
Hugging Face 在 Diffusers 中原生支持 Nunchaku Lite，可直接加载采用 SVDQuant 的 4-bit 扩散模型，无需自定义管线、独立推理引擎或本地编译。在 RTX 5090 上，示例模型生成 1024x1024 图像约需 1.7 秒，峰值显存约 12 GB，而 BF16 管线约为 24 GB。NVFP4 检查点要求 NVIDIA Blackwell GPU，早期架构可使用 INT4，但 Volta 和 Hopper 目前不受支持。
Hugging Face 在 Diffusers 中原生支持 Nunchaku Lite，可直接加载采用 SVDQuant 的 4-bit 扩散模型，无需自定义管线、独立推理引擎或本地编译。在 RTX 5090 上，示例模型生成 1024x1024 图像约需 1.7 秒，峰值显存约 12 GB，而 BF16 管线约为 24 GB。NVFP4 检查点要求 NVIDIA Blackwell GPU，早期架构可使用 INT4，但 Volta 和 Hopper 目前不受支持。 · Hugging Face added native Nunchaku Lite support to Diffusers, allowing SVDQuant-based 4-bit diffusion models to load without a custom pipeline, separate inference engine, or local compilation. On an RTX 5090, the example model generates a 1024x1024 image in abo
匹配字段摘要、正文
LMSYS 在 Miles 中实现了 On-Policy Distillation（OPD），支持纯蒸馏与结合 GRPO/PPO 的 RL 增强蒸馏两种模式，并新增稀疏学生到教师打分流程以避免稠密 logprob 负载。在单台 8×NVIDIA B200 节点上，团队用 Qwen3.5-35B-A3B 做自蒸馏实验：教师经 RLVR 训练后推理更短，学生为 RL 前基座，任务奖励设为零，仅用 top-1 学生-教师 reverse-KL 训练，结果显示 OPD 能在不损失性能的前提下将教师的短推理行为迁移给学生。
匹配字段摘要、正文
xAI 发布 Grok 4.5，称其为最强模型，专为编码、智能体任务和知识工作打造，并与 Cursor 联合训练。在 Datacurve 的 DeepSWE 基准上，Grok 4.5 得分 62.0%，高于 Opus 4.8 的 55.75%，低于 Fable 的 66.1% 和 GPT 5.5 的 64.31%。模型在数万块 NVIDIA GB300 GPU 上训练，推理速度 80 TPS，定价为每百万输入 token 2 美元、每百万输出 token 6 美元，并已成为 Grok Build 的默认模型。
匹配字段摘要、正文
LMSYS 与 Thinking Machines 团队合作，为 975B 参数多模态模型 Inkling 在 SGLang 和 Miles 上提供 Day-0 支持。SGLang 针对其短卷积、相对位置注意力和共享专家 sink 的 MoE 架构做了专门优化，在 Nvidia Blackwell GPU 上实现最高 71.7k tok/s 输入吞吐和 171.0 tok/s 单用户解码速度，并支持投机解码、PD 分离、多 LoRA 服务与 HiCache。Miles 通过定制 Megatron 后端支持全参数与 LoRA 强化学习，覆盖文本和视觉语言任务。
匹配字段摘要、正文
llama.cpp 最近在其投机解码武器库中新增了 DFlash 支持。连同 MTP、Eagle3 以及各种基于 ngram 的技术，本地模型性能再上一个台阶。 特别感谢 NVIDIA 团队，尤其是 Ruixiang Wang 主导了这项工作！
llama.cpp 最近在其投机解码武器库中新增了 DFlash 支持。连同 MTP、Eagle3 以及各种基于 ngram 的技术，本地模型性能再上一个台阶。 特别感谢 NVIDIA 团队，尤其是 Ruixiang Wang 主导了这项工作！
匹配字段摘要、正文
Prime Intellect 宣布完成 1.3 亿美元 A 轮融资，由 Radical Ventures 领投，NVIDIA Ventures、Intel Capital、Dell Technologies Capital 及现有投资方参投，累计融资超过 1.5 亿美元。公司称其开源超级智能栈覆盖计算、大规模 RL、环境、沙箱、评测与部署，客户超过 6000 家，年化收入已超过 1 亿美元。文中提到 Ramp 用其后训练栈训练的 35B 模型在表格搜索任务上超过 Opus，速度比 Haiku 快 27% 且成本更低。
匹配字段摘要、正文
Microsoft 与 Hugging Face 将经过许可与安全审查的数千个开放模型引入 Foundry Model Catalog，目前以预览版提供，并每周更新。模型可通过统一端点部署到配备 NVIDIA A100、H100 或 AMD MI300X 的 Managed Compute，运行时升级和 CVE 修补由平台自动完成；后续将扩展模型与加速器覆盖，并支持 Bring Your Own Weights。
Microsoft 与 Hugging Face 将经过许可与安全审查的数千个开放模型引入 Foundry Model Catalog，目前以预览版提供，并每周更新。模型可通过统一端点部署到配备 NVIDIA A100、H100 或 AMD MI300X 的 Managed Compute，运行时升级和 CVE 修补由平台自动完成；后续将扩展模型与加速器覆盖，并支持 Bring Your Own Weights。 · Microsoft and Hugging Face have brought thousands of license- and security-screened open models to the Foundry Model Catalog in preview, with weekly updates. The models can be deployed through a unified endpoint on Managed Compute using NVIDIA A100, H100, or AMD MI300X accelerators, with
匹配字段摘要、正文
Sakana AI 联合创始人伊藤錬（Ren Ito）就任联合国「AI for Good」全球委员会创始委员。该委员会由约 40 名政府、产业界与国际组织领袖组成，由 Salesforce 董事长马克·贝尼奥夫担任联合主席，成员还包括 NVIDIA CEO 黄仁勋、Pfizer 董事长阿尔伯特·布尔拉和 Reliance Industries 董事长穆克什·安巴尼。委员会创会会议将于 7 月 8 日在日内瓦举行，聚焦 AI 可信性、治理与社会落地。
匹配字段摘要、正文
Hugging Face 与 Cerebras 搭建了开放、模块化的实时语音到语音管线，以 Nvidia Parakeet 识别语音、在 Cerebras 上运行 Google DeepMind Gemma 4 31B，并通过阿里巴巴 Qwen3TTS 生成语音回复。Cerebras 旨在缩短并稳定模型推理延迟；该管线已用于超过 9,000 台 Reachy Mini 机器人，开发者可体验 Demo 并查看 huggingface/speech-to-speech 仓库。
Hugging Face 与 Cerebras 搭建了开放、模块化的实时语音到语音管线，以 Nvidia Parakeet 识别语音、在 Cerebras 上运行 Google DeepMind Gemma 4 31B，并通过阿里巴巴 Qwen3TTS 生成语音回复。Cerebras 旨在缩短并稳定模型推理延迟；该管线已用于超过 9,000 台 Reachy Mini 机器人，开发者可体验 Demo 并查看 huggingface/speech-to-speech 仓库。 · Hugging Face and Cerebras built an open, modular real-time speech-to-speech pipeline using Nvidia Parakeet for speech recognition, Google DeepMind’s Gemma 4 31B running on Cerebras, and Alibaba’s Qwen3TTS for spoken responses. Cerebras is intended to reduce a
匹配字段摘要、正文
Together AI 宣布完成 8 亿美元 C 轮融资，投资方包括 NVIDIA、Aramco Ventures、Vista Equity、General Catalyst 等，并额外锁定超过 500 MW 算力容量。其平台客户涵盖 Cursor、Eleven Labs、Suno、Cognition、Decagon 等，使用 DeepSeek、Nemotron、MiniMax、Kimi、GLM 等开源权重模型可实现 6x 至 20x 的成本降低，Decagon 迁移后推理成本下降六倍。
匹配字段摘要、正文
Interconnects 第 22 期开源模型盘点指出，开源模型生态正从少数中国厂商主导走向多元，作者把发布方分为纯模型厂商、大科技公司和产品公司三类。本期收录 NVIDIA Nemotron-3-Ultra-550B-A55B-BF16、Cohere 以 Apache 2.0 发布的 Command A+（218B-A25B MoE）、GLM-5.2、Zyphra 的 ZAYA1-74B-preview、Poolside 的 Laguna-M.1 等模型。作者认为开源模型开发并非由单一类型参与者驱动，这种多样性正是开源生态的优势之一。
匹配字段摘要、正文
Arm 认为，随着智能体 AI 部署在云和企业环境扩张，CPU 正成为整个系统的控制平面，负责数据在存储、内存与加速器之间的协调搬运、工作负载安全隔离以及分布式调度。Arm 与 Meta 合作打造的 Arm AGI CPU 基于 Arm Neoverse V3 平台，面向机架级密度和机密计算等需求。AWS Graviton、Google Axion、Azure Cobalt 以及 NVIDIA Grace Hopper、Grace Blackwell 和 Vera Rubin NVL72 均采用 Arm Neoverse CPU 设计。
匹配字段摘要、正文
Epoch AI 梳理 DeepSeek、MiniMax、Moonshot、Z.ai、字节跳动和阿里巴巴六家中国 AI 公司的 1604 份招聘启事，发现它们仍依赖 Nvidia CUDA 与 TensorRT-LLM，同时探索昇腾、寒武纪等国产芯片。Z.ai 称其 GLM-Image 已在国产芯片上完成端到端训练，该模型有 160 亿参数。MiniMax、DeepSeek、Moonshot 等初创公司还在自建数据中心，并采用公有云与自建算力混合部署。
匹配字段摘要、正文
HPE 用 GreenLake Intelligence 智能体框架和与 Nvidia 合作的 Private Cloud AI 在本地搭建 AI 优先支持平台，将成本降低逾 30 倍，每月节省近 10 万美元。其 CTO Fidelma Russo 称，智能体让推理变成持续运营负载，每次推理、验证和行动都消耗 token，HPE 由此从 AI 消费者变为智能生产者。Signal65 数据显示，智能体消耗的 token 是普通 AI 对话的 4 至 15 倍。
匹配字段摘要、正文
Prime Intellect 发布 prime-rl 0.6.0，可在重智能体负载下训练万亿参数规模模型，并称能在 28 个 H200 节点上以最高 131k 序列长度训练 GLM-5 完成 SWE 任务，步时间低于 5 分钟、批量 256 条 rollout。该版本采用异步 RL，将训练与推理解耦，并给出 FP8 推理、Wide EP、P/D 分离、KV cache 分层卸载、router replay 以及 FSDP、EP、CP 三维并行等优化细节。这些优化同样适用于 Kimi-K2.7-Code、NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 等其他大型 MoE 模型。
匹配字段摘要、正文
Tensordyne 公布其 Napier AI 推理引擎架构，核心思路是把数据转成对数后用加法替代矩阵乘法，官方称相比 Nvidia 和 AWS 的混合架构性能提升一个数量级以上，价格与功耗更低。Napier 采用 3nm 工艺、1380 亿晶体管，支持 NVFP4、FP8、FP16，FP8 稠密算力 2.1 petaflops，配备 144 GB HBM4 和 256 MB SRAM，单芯片功耗 300 瓦，对比 B300 GPU 的 1200 瓦。公司计划 2026 年底开放云端访问，2027 年第一季度向客户交付 beta 版 TDN Pod 系统，2027 年第二季度末开始出货。
匹配字段摘要、正文