Inworld 推出 Inworld Inference，一个面向消费级 AI 应用的 LLM 推理 API，支持 Gemma 4、GLM、DeepSeek 和 MiMo 等开源模型。官方称在 Gemma 4 26B 上首 token 中位延迟为 0.17 秒，对比 OpenRouter 上其他供应商中位值 0.61 秒快 3.6 倍；95 分位为 0.31 秒对 2.42 秒，快 7.8 倍。开发者还可设置首个模型失败或耗时过长时自动切换到备用模型。
匹配字段标题、摘要
Perplexity 宣布 GPT-6 Astra 和 SOL 6.1 的超高速版本已在 Perplexity Computer 面向 Max 订阅者开放。两款模型生成 token 更快，可更早完成耗时的 Computer 任务；用户在 Custom 中选择 Astra 或 SOL 6.1，再把速度设为 Ultrafast 即可使用。Aravind Srinivas 转发并提醒会较快消耗额度。
匹配字段标题
Intel 在 OCP Global Summit 2026 上正式公布面向 AI 推理的 D 系列 GPU 详细规格，该系列此前代号 Crescent Island，是首个采用 Intel 最新 Xe3P GPU 架构的产品线。首款型号 D270 采用风冷设计和 PCIe 5.0 接口，无需专用机架或液冷即可装入数据中心，配备 32 个 Xe3P 核心和 256 个矩阵引擎，FP8 算力 1.3 petaFLOPS，功耗 350 瓦，支持 160GB 至 480GB LPDDR5X 内存，单卡可运行最高 3000 亿参数模型，八卡系统可支持最高 1 万亿参数模型，目前正向客户提供验证样品。Intel 同时推出面向智能体 AI 的机架设计，符合 OCP ORV3 标准，可容纳超过 46000 个 CPU 核心，基于 Xeon 6+ 的配置功耗为 133.45 kW。
匹配字段标题、摘要
微软在 Open Compute Project Summit 2026 上公布第三代自研推理加速器 Clea Maia 300 的规格，采用台积电 2 纳米 N2P 工艺和 chiplet 架构，封装内含 7 颗芯片与 8 个 HBM4 堆栈，配备 288 GB HBM4 和 18 TB/sec 内存带宽。微软称一机架 96 颗 Maia 300 的 token 吞吐量最高可达一机架 48 颗 Maia 200 的 7 倍，每瓦性能提升 2.5 倍，单机架功耗约 167 千瓦。该芯片面向更大规模的智能体推理负载，ATL 2.0 网络可将 128 个机架、12,288 颗加速器连入同一一致性域。
匹配字段标题、摘要
微软发布下一代自研 AI 芯片 Maia 300，面向推理负载，预计 2027 年开始量产部署，官方称其每兆瓦 token 数比主流 GPU 系统高 40%。该芯片采用多芯粒架构，计算芯粒基于台积电 N2P 工艺，配备 8 组 HBM4 显存，峰值内存带宽 18 TB/s，TDP 为 950 瓦；在 96 加速器的配置下，机架级 token 吞吐量最高可达 Maia 200 的 7 倍。微软表示 Maia 200 已在 Copilot 等生产负载中运行，并部署于美国、欧洲和澳大利亚，GitHub Copilot 与 Microsoft Foundry 预计在 2026 年底前采用 Maia 200。
匹配字段标题、摘要
蚂蚁 inclusionAI 在 GitHub 开源 Awex，一个面向 RL 工作流的高性能训练到推理权重同步框架，目标是实现秒级参数更新。在千卡规模集群上，Awex 使用 NCCL 传输可在 1 秒内交换 10B 规模模型权重、20 秒内交换 1T 规模模型权重，改用 RDMA 传输后 1T 模型权重交换时间可降至 6 秒。框架支持 NCCL、RDMA 和共享内存多种传输模式，兼容 Megatron、SGLang、vLLM，并提供 NPU 实验性支持。
匹配字段标题、摘要
月之暗面随 Kimi K2.6 模型发布开源 Kimi Vendor Verifier（KVV）项目，帮助开源模型用户校验推理实现的准确性。KVV 包含六项基准测试，覆盖 API 参数约束预校验、OCRBench、MMMU Pro、AIME2025、K2VV ToolCall 与 SWE-Bench，其中 SWE-Bench 因依赖沙箱未开源。官方称在 Two NVIDIA H20 8-GPU 服务器上完成全流程验证，顺序执行约需 15 小时，并已针对流式推理、自动重试和断点续跑优化脚本。
匹配字段标题、摘要
Amazon Bedrock AgentCore payments 正式可用，为 AI 智能体提供按需付费的托管能力，支持 x402 协议端点，包括 Amazon Bedrock 推理端点。Incarna 借助该服务让智能体逐次向 BlockRun 支付模型推理费用，集成工作从原计划的 2 至 3 个月缩短到 3 天，约 200 行应用代码。测试期间智能体已处理超过 1000 笔支付，单次金额在 0.001 至 0.05 美元之间，每笔在链上独立结算，花费上限由基础设施层强制执行。
匹配字段标题、摘要
Architect Financial Technologies 推出 Liquid Inference，这是一个对每次 LLM 推理请求进行实时拍卖的路由器，提供方为指定模型报价，买方按最低且符合自身规则的报价成交。买方可在生成前锁定最高价格，并设置单任务成本上限、首 token 时延、最低吞吐、区域、零数据保留和提供方或模型白名单等规则，计费仅按实际用量。该服务兼容 OpenAI 与 Anthropic 客户端，官方称支持 Claude Code、Codex、OpenCode、Cursor、Pi 和 Cline，前 500 名用户可获 20 美元免费推理额度，推荐可获被推荐方费用的 20%。
匹配字段标题、摘要
Google AI Edge 团队以 Apache 2.0 协议开源端侧 GPU 计算引擎 ML Drift，它抽象 OpenGL ES、OpenCL、Metal 和 WebGPU，是 LiteRT 的核心 GPU 加速引擎，也可作为独立库使用。相比旧版 TFLite GPU delegate，它引入张量虚拟化统一 shader、可扩展自定义算子框架、5D 张量支持和针对 LLM 的阶段性优化，并新增 Windows 和 Linux 桌面预览。官方称 Gemma 基准中内存开销最多降低 12%，YouTube Shorts 平均帧延迟最多降低 40%，Google Photos 提速最多 2 秒，Adobe Lightroom 与 Photoshop 端侧性能最多提升 30%，Snapchat 镜头模型延迟改善 30%。旧版 TFLite GPU delegate 将不再获得新功能更新。
匹配字段标题
llama.cpp 作者 Georgi Gerganov 表示，llama.cpp 可以通过 ggml RPC 后端在异构设备上分发推理，目前属于高级设置，他预计未来会降低普通用户的使用门槛。被引用的演示显示，MiMo 2.6 Flash 的原生 mxfp4 权重可跨 RTX 6000 GPU 与 M5 笔记本运行，在 10 GbE 下达到 40 tokens/sec，llama.cpp 开箱支持。
匹配字段标题、摘要
Anthropic 的 Felix Rieseberg 表示，新版 Cowork 把模型推理和 VM 都放到云端运行，每个会话拥有独立沙箱、不与其他会话共享状态。旧版在云端做模型推理、但把 Anthropic 提供的 VM 装到用户电脑上执行工具调用，用户不满其磁盘、电量和性能开销，以及合上笔记本工作就中断。当 VM 需要访问用户设备上的文件时，由桌面应用负责该文件访问的工具调用。
匹配字段标题、摘要
Prime Intellect 发布 Prime Inference，为前沿开源模型提供无服务器端点和预留 GPU 容量，支持 OpenAI SDK 接入 https://api.pinference.ai/api/v1，并具备跨数据中心自动故障转移。该平台在公开发布前内部日均处理近一万亿 token，负载来自 RL rollout、合成数据生成、评测和长时间运行的编码智能体。其服务栈结合 NVIDIA Dynamo、vLLM、Mooncake 和 FlashInfer，采用预填充与解码分离部署，测试中 p90 词元间延迟降低近 40%，GLM-5.3 在 GB200 NVL72 上以 1:4 预填充解码比实现每组 66 个会话、每用户 101 tok/s。
匹配字段标题
Perplexity 近期开源了七个项目。pplx-decider-v1-27b 是多模态决策模型，在 11 项基准上平均 85.7%，领先 Jev；pplx-embed-v2-context-9b-preview 为上下文嵌入向量模型，在 ConTEB 和 turbopuffer context-bench 上表现最佳。此外还有面向 Apple silicon 的本地推理引擎 Lily，用 Rust 加自定义 metal kernel 实现，在 M5 Max 上 prefill 比 MLX-LM 快 1.23 倍、decode 快 1.35 倍；0.6B 端侧 PII 分类器 PII-Tracer 及配套 PII-TRACE 基准；面向深度研究智能体的 WANDR 基准；笔记本与工作站智能体检测响应工具 Numbat；以及只读供应链扫描器 Bumblebee。
匹配字段标题、摘要
Cerebras 发布第四代系统 CS-4，由三颗 Wafer Scale Engine 3 Turbo 处理器构成，官方称其推理速度最高可达 GPU 系统的 30 倍，每瓦吞吐量最高为 CS-3 的 10 倍。CS-4 将晶圆间互联延迟降至最低 2 微秒，可在超过 10 万亿参数的模型上实现每秒 1000 token 以上，并原生支持解耦推理，可搭配 AMD Helios、AWS Trainium 等平台做 prefill。该系统基于新的 Cerebras Nexus 平台架构，组件数量减少 50%，首批出货于本季度开始。
匹配字段标题、摘要
Cerebras 在其 Inference API 上线 GLM-4.6，称这是其目前能力最强的模型，在推理、工具调用和编码上有较大升级，速度超过 1000 tokens/秒。Cerebras 表示，GLM-4.6 在许多任务上输出水平与 Sonnet 4.5 相当，但速度快 17 倍、价格便宜 25%。该模型即日起在其按量付费开发者档（10 美元起）和 Cerebras Code 订阅（50 美元/月起）提供，并支持 Cline、VS Code、OpenCode、RooCode 等工具。
匹配字段标题、摘要
Cerebras 在 Cerebras Inference Cloud 以公开预览形式上线 Gemma 4 31B，输出速度超过 1800 tokens/s，据 Artificial Analysis 测得为 1851 tokens/s，约为典型 GPU 端点的 35 倍，含推理的首个答案 token 延迟 1.5 秒。这是 Cerebras 平台首个支持图像理解的模型，也是首个上线的 Google DeepMind 模型，可处理截图、图表、UI 状态等视觉输入。该模型为 Apache 2.0 开源权重，在 Artificial Analysis 智能指数上得分 29，与 Claude Haiku 4.5 的 30 分接近，但在 Cerebras 上运行速度快 18 倍。
匹配字段标题、摘要
Cerebras 宣布在企业客户试用中运行万亿参数开源权重模型 Kimi K2.6，Artificial Analysis 测得输出速度 981 tokens/s，比次快的 GPU 云快 6.7 倍、比中位推理服务商快 23 倍。在 10000 token 输入、生成 500 token 输出的请求中，Cerebras 用时 5.6 秒，官方 Kimi 端点为 163.7 秒，最终答案时间缩短 29 倍。Cerebras 将 Kimi K2.6 以原始 4-bit 权重存储、16-bit 浮点计算，权重分布到多块晶圆并靠片上网络做层间 all-to-all 通信。
匹配字段标题、摘要
Cognition 的 SWE-1.6 与 SWE-grep 系列由 Cerebras Inference 提供推理，编码性能达到前沿水平，速度最高约为 GPU 的 5 倍。SWE-1.6 在 Windsurf 快速档上最高可达 950 tokens/秒，SWE-Bench Pro 成绩为 50.4%，高于 SWE-1.5 的 40.1%。该模型还更多使用并行工具调用、更少循环，并更依赖自身工具而非终端命令。
匹配字段标题、摘要
Artificial Analysis 开源 AA-AgentPerf-Local，通过回放真实智能体会话在笔记本和工作站上测试本地模型推理性能，并发布配套榜单。默认负载为 8 个记录任务、168 个模型轮次，上下文增长至约 56K tokens，默认跳过工具执行以隔离推理速度。首批硬件包括 NVIDIA DGX Spark（128 GB）、AMD Ryzen AI Halo（128 GB）、MacBook Pro M5 Pro（64 GB）和 NVIDIA GeForce RTX 5090（32 GB），首批模型为 Qwen3.5-9B、Qwen3.8-27B、Qwen3.6-35B-A3B 和 Ling 3.0 Flash（124B / 5B active），均采用 4-bit 量化。
匹配字段标题、摘要