搜索“推理”

Microsoft公布Clea Maia 300推理XPU规格

2026年10月14日,Microsoft公布第三代自研推理加速器Clea Maia 300的规格。据The Next Platform报道,该芯片在Open Compute Project Summit 2026上亮相,采用台积电2纳米N2P工艺和chiplet架构,封装内含7颗芯片与8个HBM4堆栈,配备288 GB HBM4和18 TB/sec内存带宽。微软称一机架96颗Maia 300的token吞吐量最高可达一机架48颗Maia 200的7倍,每瓦性能提升2.5倍,单机架功耗约167千瓦,面向更大规模的智能体推理负载,ATL 2.0网络可将128个机架、12,288颗加速器连入同一一致性域。早先报道称,该芯片面向推理负载,预计2027年开始量产部署,官方称其每兆瓦token数比主流GPU系统高40%,TDP为950瓦;微软表示Maia 200已在Copilot等生产负载中运行,并部署于美国、欧洲和澳大利亚。

Microsoft公布Clea Maia 300推理XPU规格

Microsoft 公布 Clea Maia 300加速器的规格

查看事件：Microsoft公布Clea Maia 300推理XPU规格

FireRedTeam 发布 FireRedASR2S 及权重与推理代码

2026年2月12日,FireRedTeam 发布一体化语音系统 FireRedASR2S,并放出模型权重与推理代码。该系统包含 ASR、VAD、LID、Punc 四个模块,各模块均称达到 SOTA,且可独立使用。其中 FireRedASR2 支持中文(普通话及 20 多种方言口音)、英文、中英混说以及语音和歌声转写,在 4 个普通话公开基准上平均 CER 为 2.89%,在 19 个中文方言口音基准上为 11.55%,均优于 Doubao-ASR、Qwen3-ASR-1.7B、Fun-ASR 和 Fun-ASR-Nano-2512。FireRedVAD 支持 100 多种语言的语音、歌声和音乐检测,F1 为 97.57%;FireRedLID 覆盖 100 多种语言和 20 多种中文方言,准确率 97.18%;FireRedPunc 中英文标点预测平均 F1 为 78.90%。技术报告见 arXiv。目前尚无后续发展事实。

Google AI Edge 团队开源 ML Drift GPU 推理引擎

2026年10月8日,Google AI Edge 团队以 Apache 2.0 协议开源端侧 GPU 计算引擎 ML Drift。该引擎抽象 OpenGL ES、OpenCL、Metal 和 WebGPU,是 LiteRT 的核心 GPU 加速引擎,也可作为独立库使用。相比旧版 TFLite GPU delegate,它引入张量虚拟化统一 shader、可扩展自定义算子框架、5D 张量支持和针对 LLM 的阶段性优化,并新增 Windows 和 Linux 桌面预览。官方称 Gemma 基准中内存开销最多降低 12%,YouTube Shorts 平均帧延迟最多降低 40%,Google Photos 提速最多 2 秒,Adobe Lightroom 与 Photoshop 端侧性能最多提升 30%,Snapchat 镜头模型延迟改善 30%。旧版 TFLite GPU delegate 将不再获得新功能更新。目前尚无后续发展事实。

FireRedTeam 发布 FireRedASR2S 及模型权重与推理代码

FireRedTeam 发布 FireRedASR2S（FireRedASR2-AED、FireRedVAD、FireRedLID、FireRedPunc）及模型权重与推理代码

查看事件：FireRedTeam 发布 FireRedASR2S 及权重与推理代码

AgentCore支持按次推理支付

2026年10月9日,AWS 正式发布 Amazon Bedrock AgentCore payments,为 AI 智能体提供按需付费的托管能力,支持 x402 协议端点,其中包括 Amazon Bedrock 推理端点,使智能体可按次支付模型推理费用。据 AWS Machine Learning 发布的信息,Incarna 借助该服务让智能体逐次向 BlockRun 支付模型推理费用,集成工作从原计划的 2 至 3 个月缩短到 3 天,约 200 行应用代码。测试期间智能体已处理超过 1000 笔支付,单次金额在 0.001 至 0.05 美元之间,每笔在链上独立结算,花费上限由基础设施层强制执行。目前该能力已正式可用,尚无进一步发展事实。

llama.cpp通过ggml RPC后端分发异构推理

2026年10月7日,llama.cpp作者Georgi Gerganov介绍,llama.cpp可以通过ggml RPC后端在异构设备上分发推理。他表示该能力目前属于高级设置,并预计未来会降低普通用户的使用门槛。被引用的演示显示,MiMo 2.6 Flash的原生mxfp4权重可跨RTX 6000 GPU与M5笔记本运行,在10 GbE下达到40 tokens/sec,且llama.cpp开箱支持。目前该故事没有后续发展事实,状态停留在上述介绍与演示。

Prime Intellect推出Prime Inference推理平台

2026年10月,Prime Intellect推出面向前沿开源模型的推理服务平台Prime Inference,提供无服务器端点和预留GPU容量,支持通过OpenAI SDK接入,并具备跨数据中心自动故障转移能力。据其官方发布,首个公开部署的GLM-5.3已于9月22日上线OpenRouter,工具调用错误率接近零、上线以来保持100%可用;服务栈结合NVIDIA Dynamo、vLLM、Mooncake和FlashInfer,采用预填充与解码分离部署,在GB200 NVL72上以1:4的P/D比例实现每组66个会话、每用户101 tok/s。另有报道称,该平台在公开发布前内部日均处理近一万亿token,负载来自RL rollout、合成数据生成、评测和长时间运行的编码智能体,测试中p90词元间延迟降低近40%。

OpenRouter推出Batch API半价推理

2026年9月22日,OpenRouter发布Batch API,批量请求按每token价格通常收取50%甚至更低费用,目前支持70多个模型。该接口为异步设计,用户提交批量请求后,由服务商在24小时窗口内自行选择完成时间,支持chat completions、responses、messages和embeddings等请求形态,输入与结果保留30天。据官方披露,两周beta期间完成23万多个批次,中位完成时间为7分钟,90%在一小时内完成;另有报道称太平洋时间5点至中午提交的批次明显更慢。目前该故事尚无后续发展事实。

Dynamo-Triton支持多GPU推理

2026年9月21日,NVIDIA 在 Dynamo-Triton 26.07 中启用 TensorRT 后端的多设备推理能力,一个 KIND_MODEL 实例可占用多块 GPU,并通过单个 gRPC 端点对外提供分布式推理服务;TensorRT 11.0 起完整支持该能力。官方以 Cosmos 3 Nano 视频生成为例说明,Ulysses 上下文并行把 44,160 个视频 token 分配到最多八块 GPU,端到端生成延迟从单 GPU 的 156.6 秒降至八 GPU 的 34.2 秒,transformer RPC 加速比达 6.09 倍。CP2、CP4、CP8 的输出通过 MAE ≤ 25 与 PSNR ≥ 18 dB 的质量阈值校验。该基准未测量并发吞吐、单视频成本或 TCO。目前尚无后续发展事实。

Cohere推出代码模型推理引擎

2026年9月8日,Cohere发布面向North Mini Code的Megakernel推理服务引擎并开放GitHub代码。该引擎在单张H100上以BF16运行,端到端平均解码吞吐量较vLLM提升1.25至1.41倍;批大小为1时达到292 tok/s,为vLLM的1.58倍。它支持连续批处理、分页注意力、流式输出、前缀缓存、工具调用及OpenAI兼容接口。目前最大批大小为8,预填充仍由普通PyTorch内核运行,期间会暂停解码。

AgentCore支持按次推理支付

Amazon Bedrock AgentCore 支持 AI智能体通过x402按次支付模型推理费用

查看事件：AgentCore支持按次推理支付

Prime Intellect推出推理平台

Prime Intellect 推出 Prime Inference开放模型推理服务平台

查看事件：Prime Intellect推出Prime Inference推理平台

Cognition 选择 Cerebras 作为最快推理提供商

Cognition 选择 Cerebras 作为最快推理提供商。据 Cerebras 官方博客,Cognition 的 SWE-1.6 与 SWE-grep 系列由 Cerebras Inference 提供推理,编码性能达到前沿水平,速度最高约为 GPU 的 5 倍。其中 SWE-1.6 在 Windsurf 快速档上最高可达 950 tokens/秒,SWE-Bench Pro 成绩为 50.4%,高于 SWE-1.5 的 40.1%。该模型还更多使用并行工具调用、更少循环,并更依赖自身工具而非终端命令。目前尚无后续发展事实。

Google AI Edge 团队开源 ML Drift GPU 推理引擎

Google AI Edge Team 开源发布 ML Drift

查看事件：Google AI Edge 团队开源 ML Drift GPU 推理引擎

llama.cpp通过ggml RPC后端分发异构推理

Georgi Gerganov 介绍 llama.cpp的ggml RPC后端异构设备推理分发能力

查看事件：llama.cpp通过ggml RPC后端分发异构推理

Cognition 选择 Cerebras 作为最快推理提供商

Cognition 选择 Cerebras 作为最快推理提供商

查看事件：Cognition 选择 Cerebras 作为最快推理提供商

OpenRouter推出Batch API半价推理

OpenRouter 推出 Batch API

查看事件：OpenRouter推出Batch API半价推理

Dynamo-Triton支持多GPU推理

NVIDIA 在Dynamo-Triton 26.07中启用 TensorRT多设备推理能力

查看事件：Dynamo-Triton支持多GPU推理