天数智芯天垓300公布基准测试，推理吞吐达H200的1.05倍
X.PIN 转述天数智芯天垓300的基准测试数据，称其在标准推理测试中吞吐量为 Nvidia H200 的 1.05 倍。在 MoE 负载下性能提升 15%、首 token 延迟降低 30%，微调 Qwen3-32B 时速度是 H100 的 1.33 倍。
匹配字段标题、摘要、正文
←搜索结果
搜索“推理”
闪迪称 AI 推理推高 NAND 需求，长期订单排至 2030 年
闪迪在 2027 财年第一财季财报电话会议上表示，AI 推理正在重塑 NAND 闪存供需格局，客户低估了运行 AI 基础设施所需的 NAND 容量，新型商业模式订单管道已延伸至 2030 年甚至更远。2027 财年约 50% 的位元出货已被 NBM 协议锁定，2028 财年预计升至约三分之二。闪迪同时宣布首款高带宽闪存 HBF 存储晶粒完成流片并进入制造阶段，面向 AI 推理提供接近 HBM 的读取带宽和 NAND 级容量，首批样品计划于下一个日历年交付。
匹配字段标题、摘要、正文
Oracle 云将上线 Google TPU 及 OpenAI、Cerebras 等推理芯片
Oracle 宣布将在 OCI 上部署 Google TPU，以及来自 OpenAI、Cerebras、SambaNova 和 Positron AI 的推理芯片，让客户在 Nvidia GPU 之外有更多算力选择。Oracle 称将成为 Google Cloud 之外首家提供 TPU 的超大规模云厂商，TPU 与 Cerebras 晶圆级引擎计划 2027 年上线，Positron Atlas 已可用。同时 Oracle 扩大与 Nvidia 的合作，Vera Rubin NVL72 系统和 Vera CPU 已在 OCI 正式可用。
匹配字段标题、摘要、正文
OpenRouter 将对所有推理请求进行 CSAM 筛查
OpenRouter 宣布将在请求处理过程中对所有推理请求进行儿童性虐待材料（CSAM）筛查，被标记为疑似 CSAM 的内容可能被保留以供人工审核，并依法报告和保存。筛查包括将内容与已知 CSAM 的哈希值比对，也会保留未命中哈希但被分类器标记的疑似内容。该筛查同样适用于 OpenRouter 零数据保留（ZDR）政策覆盖的请求，ZDR 不豁免依法报告和保存的义务。
匹配字段标题、摘要、正文
MiniMax 回应 H3 接入 TPU：期待高效视频推理的开源工作
MiniMax 官方回应 SGLang 将 MiniMax H3 纳入 SGLang-TorchTPU 的 TPU 支持列表，并表示期待更多围绕高效视频推理的开源工作。SGLang 称 SGLang-TorchTPU 由 SGLang 与 Google TPU 团队、Meta PyTorch 团队共同打造，已用于 Meta 的生产推理，支持模型包括 Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash 和 MiniMax H3。
匹配字段标题、摘要
消息称 Groq 下一代推理芯片将堆叠 DRAM 以突破 SRAM 容量限制
据行业消息，Groq 计划在下一代推理芯片中堆叠 DRAM，以绕开片上 SRAM 容量过小的问题。当前 Groq 3 LPU 的 500MB 片上 SRAM 带宽达 150TB/s，约为 Rubin GPU HBM 带宽的 7 倍，但 256 芯片整机架仅 128GB，低于单块 Rubin GPU 的 288GB。报道中的 3DS 方案通过硅通孔垂直连接 DRAM 裸片并保留标准 DRAM 接口，主要按普通 DRAM 速度增加容量；此前供应链消息还提到 SK Hynix DRAM 以混合键合直接贴合逻辑裸片。Groq 尚未公布该设计，Cerebras 也计划在 CS-6 晶圆上堆叠 DRAM。
匹配字段标题、摘要
Thomas Wolf 盘点 DeepSeek 开源项目，DeepInfer 推理引擎以 Apache 2.0 开放
Hugging Face 的 Thomas Wolf 转发 DeepSeek 开源推理框架 DeepInfer 的消息，并盘点其此前开源的项目：FlashMLA 在 H800 上实现 580 TFLOPS 注意力、DeepEP 负责 MoE 通信、DeepGEMM 实现 1350+ FP8 TFLOPS 矩阵乘、3FS 是自建文件系统。DeepSeek 称 DeepInfer 支撑 DeepSeek-V4.1-Flash 的大规模高吞吐低延迟推理，此次以 Apache 2.0 协议开放生产栈，目标是帮助社区降低算力与能耗成本。
匹配字段标题、摘要
前 Google DeepMind 研究员创立伦敦 AI 公司 Metis Reasoning，主打算力高效推理
由前 Google DeepMind 研究负责人、AlphaGo 共同创造者 Thore Graepel 联合创办的伦敦 AI 公司 Metis Reasoning 正式成立，寻求一条区别于 Anthropic 和 OpenAI 前沿模型的算力高效路线，据信初期融资数千万美元。公司团队共 12 人，涵盖研究者、数学家、机器人专家和技术创业者，认为 LLM 在推理上存在根本局限、结果难以验证且缺乏审计轨迹，其方法更可验证、更稳健也更安全，并称已在前沿推理问题上以远低于前沿模型的成本取得一些积极结果。Metis 尚未公布首个 AI 模型的发布时间。
匹配字段标题、摘要、正文
Prime Intellect 收购 Moondream，创始人加入负责推理与多模态
Prime Intellect 宣布收购 Moondream，创始人 Vik Korrapati 和 Jay Allen 加入并负责推理与多模态模型（含视觉与 computer use）。Moondream 曾发布开源视觉语言模型和推理引擎 Photon，其 Moondream 3.1 在物体检测等任务上达到 34 requests per second，约为次优开源模型的 24 倍。Moondream 3.1 现已通过 Prime Inference 提供并由 Photon 驱动，Moondream Cloud 客户将在未来几天获得平台额度。
匹配字段标题、摘要
Anthropic 称新防御将 Claude 推理 token 窃取量削减 90% 至 99%
Anthropic 表示其新防御措施将 Claude 被提取的推理 token 量削减了 90% 至 99%，攻击者通过数十万个虚假账号网络大规模复制模型能力以训练自家小模型。Anthropic 点名中国公司智谱和月之暗面参与其中，称智谱为 GLM-5.3 从美国领先模型攫取网络能力，月之暗面则秘密将查询路由至 Claude。Anthropic 现已限制对 Claude 内部推理步骤的访问，运行检测提取尝试的分类器并自动封禁被标记账号，已有数万个账号被封，同时承认合法用户也会被误伤。
匹配字段标题、摘要
微软将自研 Maia 芯片作为产品主要推理系统，2027 年起部署 Maia 300
Satya Nadella 宣布微软将把自研 Maia 芯片扩展至多吉瓦部署，成为自家产品与服务的主要推理系统，并发布第三代加速器 Maia 300。微软称 Maia 300 每瓦 token 数比领先的 GPU 系统高 40%，一个整机架在 167kW 内集成 96 个加速器、27.6TB HBM，token 吞吐量最高可达 Maia 200 机架的 7 倍。Maia 200 已在 Teams 和 Copilot 中承担生产流量，每瓦 token 数最高为领先 GPU 基础设施的 1.7 倍；Maia 300 采用多 chiplet 设计，每颗芯片配 8 组 HBM4、峰值带宽 18.0 TB/s、TDP 950W，并支持增强的 MXFP4 以压缩 KV cache。据报微软正与 TSMC 洽谈 2027 年交付超过 30 万颗 Maia 300，该数字仍在谈判中。
匹配字段标题、摘要
OpenAI 称超 1.5 万账号试图提取其模型推理，并关联 Kimi 相关方
OpenAI 称有超过 1.5 万个账号试图提取其模型的推理过程，并将其中一个核心群体与 Kimi 开发商月之暗面（Moonshot AI）相关人员关联；Anthropic 在今年 2 月也提出过类似指控。按 OpenAI 自己的说法，此次并未破解任何加密，也未入侵数据库，指控的核心是违反其服务条款。两家实验室也都从另一侧面对同类指控：Reddit 正起诉 Anthropic 抓取帖子训练 Claude 违反用户协议，加拿大新闻出版商则起诉 OpenAI 违反其网站条款。
匹配字段标题、摘要
OpenAI 称已阻断窃取模型推理的攻击，但同一手法在 Azure 上仍奏效
OpenAI 称已检测并关闭一场针对其模型隐藏推理的对抗性蒸馏攻击，该活动 7 月 1 日以小规模开始，7 月 24 至 25 日激增至来自 4000 多名用户的 16000 次请求，涉及 15000 多个关联账号，到 7 月 28 日已全部封禁。OpenAI 将核心参与者与 Moonshot AI 相关人员关联，并称已封禁欺诈账号、收紧注册并堵住加密推理被复用读取的漏洞。研究者 Joachim Schaeffer 团队 9 月 13 日复测发现，该攻击在 OpenAI 和 Anthropic 自家 API 上被拦截，但在 Microsoft Azure 上对包括 GPT-6 Astra 在内的每个 OpenAI 模型以及最高到 Sonnet 5 的 Anthropic 模型仍然有效，一次尝试即可逐字提取推理内容。
匹配字段标题、摘要
OpenAI 与 Cerebras 达成多年协议，部署 750 兆瓦晶圆级推理系统
OpenAI 与 Cerebras 签署多年协议，将部署 750 兆瓦的 Cerebras 晶圆级系统为 OpenAI 客户提供推理服务，从 2026 年起分多阶段推进。Cerebras 称这是全球规模最大的高速 AI 推理部署，其系统运行大语言模型时响应速度最高可达 GPU 系统的 15 倍。OpenAI 的 Sachin Katti 表示，Cerebras 为其平台补充了专用的低延迟推理方案。
匹配字段标题、摘要
Cerebras 与 AWS 合作，CS-3 将部署到 AWS 数据中心并通过 Bedrock 提供推理
Cerebras 宣布 AWS 将在其数据中心部署 Cerebras CS-3 系统，并通过 AWS Bedrock 提供推理服务，运行领先的开源 LLM 和 Amazon Nova 模型。双方还在合作一种解耦架构，把 AWS Trainium 与 Cerebras WSE 配对，在相同硬件占用下提供 5 倍的高速 token 容量。该架构中 Trainium 负责 prefill 并计算 KV cache，经 Amazon EFA 传给 WSE 专做 decode，Cerebras 称其可每秒生成数千个输出 token，而 GPU 为数百个。AWS 与 Cerebras 将同时支持聚合与解耦两种配置，预计多数客户会按负载在两者间路由。
匹配字段标题、摘要
Baseten 与 OpenAI 合作，在 Codex 和 Responses API 中提供开源模型推理
Baseten 宣布与 OpenAI 合作，成为 OpenAI B2B Marketplace 中首批开源模型推理供应商之一，并在 Codex 内提供原生集成。OpenAI 企业客户可用现有 OpenAI 承诺额度，在 Codex 或 Responses API 中调用由 Baseten 服务的开源模型。Baseten 称其推理运行在美国基础设施上，对所有提示词实行零数据保留（ZDR），并支持将部署固定到特定区域。
匹配字段标题、摘要
AI 公司转向家庭分布式算力运行推理
IEEE Spectrum 报道，Far Labs、Evolving Edge、Bless Network、Salad、Gradient 等公司正把 AI 推理任务分散到家庭和小型企业的闲置算力上，并向设备所有者付费。Far Labs 的 Far AI 平台将在未来几周上线，Evolving Edge 处于公开测试阶段。这些平台主要运行较小的开源模型，通过 Ray 或自研软件把单个推理任务拆分到多台设备，Far Labs 称其平台延迟可低至 100 毫秒以内，并以开源节点软件和最小权限设计回应隐私与安全顾虑。
匹配字段标题、摘要
AMD 收购 AI 推理芯片初创公司 Taalas
AMD 本周以未披露金额收购 AI 推理初创公司 Taalas，计划把其技术整合进加速器路线图，并与 AMD Instinct GPU 组成系统级方案。Taalas 将模型权重固化进 ROM 电路并搭配大块 SRAM 作为片上 KV cache，当前 HC1 芯片可容纳 80 亿参数模型，下一代 HC2 目标为 200 亿参数。此前 AMD 已与 Cerebras 合作做分离式推理，由 GPU 承担 prefill、专用引擎承担 decode。
匹配字段标题、摘要
DeepLearning.AI 周报：GPT-5.6 家族受限发布、Sakana 模型编排与微软自研推理模型
DeepLearning.AI 周报汇总多项进展：OpenAI 发布 GPT-5.6 Sol、Terra、Luna 三款闭源视觉语言模型，目前仅向约 20 家美国政府批准的机构开放，价格从每百万 token 输入 5 美元到 1 美元不等，OpenAI 称未来几周扩大开放。Sakana AI 发布 Fugu 与 Fugu-Ultra 两款编排其他模型和智能体的模型，称在 Terminal-Bench 2.1、GPQA-Diamond 等基准上超过 Claude Fable 5、Claude Mythos Preview 和 GPT-5.5。微软推出首个未蒸馏或微调自其他厂商的推理模型 MAI-Thinking-1，采用 MoE 架构，总参数 1 万亿、每 token 激活 350 亿，称在 AIME 2025 上以 97.0% 超过 Claude Sonnet 4.6。周报还介绍了斯坦福与伯克利团队的 RoboReward 机器人奖励模型。
匹配字段标题、摘要
Jakub Pachocki 团队的推理模型在 2025 ICPC 世界总决赛解出全部 12 道题
Jakub Pachocki 团队的推理模型在约 5 小时内解出 2025 ICPC 世界总决赛全部 12 道题，而最佳人类队伍解出 11 道。该模型族此前还在 AtCoder Heuristics World Finals 获得第二名，并在国际数学奥林匹克和国际信息学奥林匹克中获得金牌；团队下一步将研究更开放、时间跨度更长的问题及长期运行模型的安全与对齐。
匹配字段标题、摘要