HPE 用 GreenLake Intelligence 智能体框架和与 Nvidia 合作的 Private Cloud AI 在本地搭建 AI 优先支持平台，将成本降低逾 30 倍，每月节省近 10 万美元。其 CTO Fidelma Russo 称，智能体让推理变成持续运营负载，每次推理、验证和行动都消耗 token，HPE 由此从 AI 消费者变为智能生产者。Signal65 数据显示，智能体消耗的 token 是普通 AI 对话的 4 至 15 倍。
匹配字段摘要、正文
Prime Intellect 发布 prime-rl 0.6.0，可在重智能体负载下训练万亿参数规模模型，并称能在 28 个 H200 节点上以最高 131k 序列长度训练 GLM-5 完成 SWE 任务，步时间低于 5 分钟、批量 256 条 rollout。该版本采用异步 RL，将训练与推理解耦，并给出 FP8 推理、Wide EP、P/D 分离、KV cache 分层卸载、router replay 以及 FSDP、EP、CP 三维并行等优化细节。这些优化同样适用于 Kimi-K2.7-Code、NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 等其他大型 MoE 模型。
匹配字段摘要、正文
Tensordyne 公布其 Napier AI 推理引擎架构，核心思路是把数据转成对数后用加法替代矩阵乘法，官方称相比 Nvidia 和 AWS 的混合架构性能提升一个数量级以上，价格与功耗更低。Napier 采用 3nm 工艺、1380 亿晶体管，支持 NVFP4、FP8、FP16，FP8 稠密算力 2.1 petaflops，配备 144 GB HBM4 和 256 MB SRAM，单芯片功耗 300 瓦，对比 B300 GPU 的 1200 瓦。公司计划 2026 年底开放云端访问，2027 年第一季度向客户交付 beta 版 TDN Pod 系统，2027 年第二季度末开始出货。
匹配字段摘要、正文
Ollama 更新 MLX 引擎，称这是其在 Apple Silicon 上的最高性能表现，模型响应更快、占用内存更少。新引擎支持 NVIDIA 的 NVFP4 格式，在 Gemma 4 12B 上相比 q4_K_M 约将量化质量损失减半，同时通过 Metal kernel 融合等优化使输出速度最高提升 20%。此外新增快照系统，为多智能体、思考型模型和分支重试保存模型状态，避免重复处理相同上下文。
Ollama 更新 MLX 引擎，称这是其在 Apple Silicon 上的最高性能表现，模型响应更快、占用内存更少。新引擎支持 NVIDIA 的 NVFP4 格式，在 Gemma 4 12B 上相比 q4 K M 约将量化质量损失减半，同时通过 Metal kernel 融合等优化使输出速度最高提升 20%。此外新增快照系统，为多智能体、思考型模型和分支重试保存模型状态，避免重复处理相同上下文。
匹配字段摘要、正文
LG AI Research 发文梳理机器人基础模型（RFM）的两条技术路线：一是直接把视觉与文本输入映射为机器人动作的 VLA 模型，二是同时预测未来环境变化的世界模型（World Action Model）。文中列举 Gemini Robotics、NVIDIA GR00T N1、Figure AI Helix、Physical Intelligence π0 系列和 RLWRLD 的 RLDX-1 等代表工作，并指出跨本体泛化与多本体数据联合训练仍是核心挑战。
匹配字段摘要、正文
LMSYS 宣布 2026 年博士奖学金首位获得者 Will Lin，奖金最高 5 万美元，用于支持其学费与相关费用。Will Lin 是 UC San Diego Hao AI Lab 六年级博士生，主导开源扩散生成与后训练加速框架 FastVideo，该项目 GitHub 星标已超 3.7k，并作为后端集成进 NVIDIA Dynamo。
匹配字段摘要、正文
llama.cpp 维护者与 NVIDIA 工程师合作数月，改进了 ggml 的多 GPU 性能，在 RTX 系统上取得显著性能提升，并为 ggml 的硬件无关张量并行打下基础。更多细节见 NVIDIA RTX Spark 的技术博客。
匹配字段摘要、正文
Prime Intellect 宣布其托管后训练平台 Lab 对 NVIDIA Nemotron 3 Ultra 提供 day-0 支持，可在 Blackwell B200/B300 上做托管 RL 训练，配合 vLLM 推理、NCCL 权重广播和 Prime-RL 训练器。平台提供 Environments Hub 中 2,500+ 个开放 RL 环境，并支持 SWE-bench Verified、BrowseComp、τ²-Bench Telecom、Terminal-Bench Hard、IFBench、AA-LCR、GPQA Diamond、RULER-1M 等评测，以及 LoRA 与全权重适配器的一键推理。文中称 Ramp 用 Lab 后训练 35B 检索子智能体 FastAsk，在自有财务表格工作流上达到 66.25% 精确匹配，高于 Claude Opus 4.6 的 61.88%。
匹配字段摘要、正文
Together AI 优化 ASR 全链路，使 NVIDIA Parakeet-TDT 0.6B v3 可在不到 10 秒内转录约 20 小时语音，并与 OpenAI Whisper Large v3 一同成为 Artificial Analysis 排名中延迟最低的两款模型。其方案采用多配置 TensorRT、条件 CUDA 图、Unix 域套接字、共享内存和 epoll，解码器提速 2–3 倍。通过 gc.freeze() 排除预分配对象的 GC 扫描后，约 200 ms 的 p95 延迟尖峰也随之消失。
Together AI 优化 ASR 全链路，使 NVIDIA Parakeet-TDT 0.6B v3 可在不到 10 秒内转录约 20 小时语音，并与 OpenAI Whisper Large v3 一同成为 Artificial Analysis 排名中延迟最低的两款模型。其方案采用多配置 TensorRT、条件 CUDA 图、Unix 域套接字、共享内存和 epoll，解码器提速 2–3 倍。通过 gc.freeze() 排除预分配对象的 GC 扫描后，约 200 ms 的 p95 延迟尖峰也随之消失。 · Together AI optimized its full ASR serving path, enabling NVIDIA Parakeet-TDT 0.6B v3 to transcribe roughly 20 hours of speech in under 10 seconds; together with OpenAI Whisper Large v3, it ranks among the two lowest-latency models on Arti
匹配字段摘要、正文
Epoch AI 建模全球 Nvidia GB200 与 GB300 芯片的推理吞吐，估算在服务 Kimi K2.6 类模型时，全球每秒可产出 5 亿至 200 亿个输出 token，具体取决于请求上下文长度。研究同时指出全球推理算力每年增长约 3.4 倍，而 token 需求按现有代理指标估算每年增长约 10 倍，可能已超过供给增速。若趋势延续，算力紧张可能临近，长上下文和智能体类工作负载受影响更明显，前沿能力访问价格或上升，日常用户则可能转向更小更便宜的模型。
匹配字段摘要、正文
Cohere 开源发布 Command A+，这是一款面向企业智能体任务、支持私有部署的 MoE 模型，采用 Apache 2.0 许可证，提供 218B 总参数和 25B 激活参数。该模型支持 48 种语言，并提供 BF16、FP8 和 W4A4 量化版本，最低可在两块 NVIDIA H100 或一块 NVIDIA Blackwell GPU 上运行。模型权重已上线 Hugging Face，也可通过 Model Vault、Cohere Space 或 API 使用。
匹配字段摘要、正文
Together Inference Engine 在 Kimi K2.5 编码智能体负载下，以相同的 4× NVIDIA B200 硬件实现了比 TensorRT-LLM 高 31% 的 TPS，并在饱和时保持约 2 倍更优的 TTFT。测试采用约 45k–200k Token 的长提示词和平均 450 Token 的输出；SGLang 因 TP4 内存不足改用 8× B200。性能提升来自 ThunderMLA、定制内核重写及真实流量下的端到端分析。
Together Inference Engine 在 Kimi K2.5 编码智能体负载下，以相同的 4× NVIDIA B200 硬件实现了比 TensorRT-LLM 高 31% 的 TPS，并在饱和时保持约 2 倍更优的 TTFT。测试采用约 45k–200k Token 的长提示词和平均 450 Token 的输出；SGLang 因 TP4 内存不足改用 8× B200。性能提升来自 ThunderMLA、定制内核重写及真实流量下的端到端分析。 · Together Inference Engine delivered 31% higher TPS than TensorRT-LLM on a Kimi K2.5 coding-agent workload using the same 4× NVIDIA B200 hardware, while maintaining roughly 2× better TTFT at saturation. The benchmark used prompts of about 45k–200k tokens and outputs av
匹配字段摘要、正文
Zyphra 发布 Zyphra Inference 在单节点 AMD Instinct MI355X GPU 上的首批端到端基准，覆盖 Kimi K2.6、GLM-5.1 和 DeepSeek V3.2，并与 AMD MI355X 与 Nvidia B200 基线配置对比。MI355X 每卡提供 288 GB HBM3E（B200 为 180 GB），两者 HBM 带宽均约 8 TB/s，但 MI355X 采用全连接 xGMI 点对点互联，8 路集合通信峰值 537.6 GB/s。测试使用 ShareGPT 与 LMSYS-Chat-1M，仅限 vLLM 框架、单节点且无真实流量。
匹配字段摘要、正文
DeepSeek-V4 通过 CSA、HCA 与 SWA 混合注意力在 KV 存储前压缩上下文，支持 1M-token 上下文窗口，但实际效率取决于推理引擎的缓存管理。Together AI 在 NVIDIA HGX B200 上调整 SWA 缓存策略后，将单节点 KV 缓存容量从约 1.2M tokens 提升至 3.7M tokens。长上下文、解码密集型任务最先受益，短上下文任务仍更依赖预填充优化与内核成熟度。
DeepSeek-V4 通过 CSA、HCA 与 SWA 混合注意力在 KV 存储前压缩上下文，支持 1M-token 上下文窗口，但实际效率取决于推理引擎的缓存管理。Together AI 在 NVIDIA HGX B200 上调整 SWA 缓存策略后，将单节点 KV 缓存容量从约 1.2M tokens 提升至 3.7M tokens。长上下文、解码密集型任务最先受益，短上下文任务仍更依赖预填充优化与内核成熟度。 · DeepSeek-V4 supports a 1M-token context window by compressing context before KV storage with a hybrid CSA, HCA, and SWA attention design, but its realized efficiency depends on inference-engine cache management. After adjusting the SWA cache policy on NVIDIA HGX B200, Together AI increa
匹配字段摘要、正文
Prime Intellect 宣布 Lab 结束 beta 并正式开放，这是一个面向自我改进智能体的训练平台，把任务定义、harness、评测、奖励信号训练、rollout 检查、adapter 部署和推理整合到一处。平台以环境为基本单元，Hosted Training 负责大规模强化学习，按 token 计费而非按集群小时计费，正式版首批支持来自 NVIDIA、OpenAI、Meta 和 Qwen 的 14 个模型，参数规模在 1B 到 70B 之间。beta 期间已有数百名用户运行超过 10,000 次训练任务，训练完成的 LoRA adapter 可通过 Prime Inference 以 OpenAI 兼容 API 部署。
匹配字段摘要、正文
SpaceXAI 与 Anthropic 签署协议，向后者提供 Colossus 1 超级计算机的算力访问。Colossus 1 配备超过 220,000 块 NVIDIA GPU，包含 H100、H200 和下一代 GB200 加速器的密集部署，面向大语言模型、多模态系统和生成式 AI 的训练、微调与推理。Anthropic 还表示有兴趣合作开发数吉瓦级的轨道 AI 算力容量。
匹配字段摘要、正文
OpenAI 联合创始人兼总裁 Greg Brockman 在周二庭审证词中表示，公司预计到今年年底将在算力上烧掉 500 亿美元，该数字此前由 Bloomberg 报道。文章指出，亚马逊、Nvidia 和软银 2 月宣布的 1100 亿美元投资中至少 800 亿美元附带条件，例如 OpenAI 需租用 2 吉瓦亚马逊 Trainium 加速器并在 AWS 部署 GPT 模型才能拿到 500 亿美元中的 350 亿美元，Nvidia 的 300 亿美元投资则与 5 吉瓦训练和推理算力部署挂钩。
匹配字段摘要、正文
Qwen 团队开源 FlashQLA，一个基于 TileLang 的高性能线性注意力内核库，对 GDN Chunked Prefill 的前向与反向流程做算子融合，在 NVIDIA Hopper 上相比 FLA Triton 内核实现 2-3× 前向加速和 2× 反向加速。它通过门控驱动的自动卡内上下文并行（CP）和硬件友好的代数重写，提升 TP、长序列、小头数场景下的 GPU SM 利用率，代码与基准已开源于 github.com/QwenLM/FlashQLA。
匹配字段摘要、正文
2026 阿里云联合 NVIDIA 发起的 Data+AI 工程师全球挑战赛收官，超 2000 名选手、700 余家单位参与，累计提交 4389 次打榜。大赛设万亿语料去重与 Agent 构建两大赛题，分别基于 MaxCompute MaxFrame、DataWorks 和 PAI-LangStudio 平台，85% 选手深入使用阿里云产品并产出 30+ 项性能优化方案。
匹配字段摘要、正文
安全研究者 Johann Rehberger 认为，智能体正变得极擅长发现安全漏洞，他在博文中引用 Anthropic 同日发布的 Mythos Preview 数据：Opus 4.6 在数百次尝试中仅两次成功利用 Firefox JS 引擎漏洞，而 Mythos Preview 成功 181 次。Anthropic 将 Mythos 以受限预览形式开放，并宣布 Project Glasswing，联合 AWS、Cisco、Microsoft、Linux Foundation、CrowdStrike、Palo Alto Networks、NVIDIA 等公司加固关键软件，同时捐赠最高 1 亿美元额度加 400 万美元给开源软件。Rehberger 指出，能力提升主要改变攻击者的吞吐量而非人数，组织快速部署补丁将成为最大挑战，并预计 6-12 个月后开源权重模型将具备接近能力。
匹配字段摘要、正文