GitHub 开源项目 Colibrì 用纯 C 实现分层推理，把 MoE 模型不常用的路由专家放在 NVMe SSD 上按需读取，让 744B 的 GLM-5.2 在最低 16GB、推荐 24GB 左右 RAM 的机器上运行，GPU 不是必需品，项目已获 32k Star。作者最初的开发机只有 12 核 CPU 加 25GB RAM，冷缓存时速度约 0.05～0.1 token/s，靠 LRU 缓存、专家使用频次统计和提前一层预测专家（可预测性 71.6%）把速度提上来，128GB RAM 纯 CPU 桌面机约 1.8 token/s，6 张 RTX 5090 可达 5.8～6.8 token/s。目前它已覆盖 9 个模型家族，从 GLM-5.2/5.3、DeepSeek V4 Flash、Qwen 到 975B 的 Inkling 和 2.8T 参数的 Kimi K3，后者约需 1.6TB 存储、RAM 32GB 起步。
匹配字段标题、摘要、正文
OpenRouter 上线 Batch API，把请求打包提交后由服务商在 24 小时窗口内自行安排完成时间，价格通常为正常每 token 单价的 50%，部分模型更低，目前支持 70 多个模型。两周 beta 期间完成的 23 万多个批次中，中位完成时间为 7 分钟，90% 在一小时内完成；太平洋时间 5 点至中午提交的批次明显更慢。该接口为异步设计，支持 chat completions、responses、messages 和 embeddings 等请求形态，输入与结果保留 30 天。
匹配字段标题
NVIDIA Dynamo-Triton 26.07 启用 TensorRT 后端的多设备推理能力，一个 KIND_MODEL 实例可占用多块 GPU 并通过单个 gRPC 端点对外提供分布式推理服务，TensorRT 11.0 起完整支持该能力。以 Cosmos 3 Nano 视频生成为例，Ulysses 上下文并行把 44,160 个视频 token 分配到最多八块 GPU，端到端生成延迟从单 GPU 的 156.6 秒降至八 GPU 的 34.2 秒，transformer RPC 加速比达 6.09 倍。CP2、CP4、CP8 的输出通过 MAE ≤ 25 与 PSNR ≥ 18 dB 的质量阈值校验，但该基准未测量并发吞吐、单视频成本或 TCO。
匹配字段标题、摘要
Anthropic 在最新 Science Blog 中介绍，Claude 为 30 多个生物领域开源模型优化推理，平均提速 4 倍，部分工作是为 GPU 编写定制软件。这些模型原本用于分子系统结构建模、类药分子设计和基因突变效应预测，但运行成本高，限制了实际影响。Anthropic 表示将开源全部优化代码。
匹配字段标题、摘要
Cohere 发布面向 North Mini Code 的 Megakernel 推理服务引擎，在单张 H100 上以 BF16 运行，端到端平均解码吞吐量比 vLLM 快 1.25× - 1.41×。该引擎支持连续批处理、分页注意力、流式输出、前缀缓存和工具调用，并提供 OpenAI 兼容接口；其代码已在 GitHub 开放。批大小为 1 时，Megakernel 达到 292 tok/s，为 vLLM 的 1.58×，但当前最大批大小为 8，且预填充仍由普通 PyTorch 内核运行并会暂停解码。
匹配字段标题、摘要
Unsloth 宣布 GLM-5.3-Flash 的本地 GGUF 推理速度提升 1.6–3.4 倍，配合优化解码与多 token 预测，整体最高快 3.3 倍。用户可在 128GB 设备上通过 Unsloth Desktop 或 llama.cpp 以 3-bit 量化运行，官方同时提供了指南和 GGUF 权重链接。被引用的 Z.ai 发布信息显示，GLM-5.3-Flash 为 320B-A18B 模型，采用 MIT 许可，原生多模态并支持 1M token 上下文窗口。
匹配字段标题、摘要
NVIDIA Dynamo 以预览功能形式推出影子引擎恢复，在同一批 GPU 上保留一个已完全初始化的空闲影子引擎，由 GPU Memory Service 共享已有权重而不在 HBM 中额外复制，活跃进程失败后影子引擎可在数秒内接管。在 NVIDIA B200 节点上的双 worker GLM-5.2 部署中，影子引擎恢复用 7.3 秒恢复服务，冷重启需要 283 秒，接近 39 倍差距。该功能要求 Kubernetes 1.34 或更新版本的 Dynamic Resource Allocation 并安装 NVIDIA GPU DRA 驱动，主要支持 vLLM 后端，当前预览版尚不支持将 GMS 用于 KV cache。
匹配字段标题
Liquid AI 发布 LFM2.5-DSpark 系列草稿模型，用于 LFM2.5 的推测解码，在 H100 与 M4 Max MacBook 上最高带来 3.2 倍推理提速。草稿模型约 300M 参数，采用 5 层注意力结构、block size 为 9，在多工具场景下将 LFM2.5-2.6B 的延迟平均降低 57%。模型已以 Safetensors 和 GGUF 格式在 Hugging Face 开放，并支持 llama.cpp 与 SGLang，文中给出了对应的启动命令。
匹配字段标题、摘要
Mistral 宣布 Mistral Regional Endpoints 正式可用，客户可选择推理在欧洲或美国运行，同时 Mistral Priority Tier 进入公开预览，提供自定义速率限制和带 SLA 的可用性承诺。其平台还将支持第三方开源模型，首个接入的是 Z.ai 的 GLM-5.2，这些模型将运行在与 Mistral 自有模型相同的基础设施、区域控制和服务承诺之上。Mistral 同时组建企业联盟，通过 European Compute Units 汇集多年期算力承诺，并计划到 2030 年建成最高 1 GW 的算力容量。
匹配字段标题、摘要
Unsloth 发布 DSpark，使 DeepSeek-V4-Flash-0731 的 GGUF 本地生成速度提升约 1.4–2 倍，且精度不变。该版本在本地可达到 120 tokens/s，Unsloth 同时提供了 GGUF 文件与使用指南。
匹配字段标题
Fireworks 在 Kimi K3 开源当天提供 Day-0 推理与训练支持，称其为全球最强开源模型，并推出仅限美国区域的 Serverless 端点和零数据保留。Kimi K3 是首个达到 2.8 万亿参数的开源模型，采用 Kimi Delta Attention 与 Stable Latent MoE，激活 896 个专家中的 16 个，扩展效率是 Kimi K2 的 2.5 倍。Fireworks 称自托管需 64 个以上加速器超级节点，其 Serverless 推理默认速率限制提升 10 倍以上，Serverless Training 进入私有预览。
匹配字段标题、摘要
Hugging Face 在 Diffusers 中原生支持 Nunchaku Lite，可直接加载采用 SVDQuant 的 4-bit 扩散模型，无需自定义管线、独立推理引擎或本地编译。在 RTX 5090 上，示例模型生成 1024x1024 图像约需 1.7 秒，峰值显存约 12 GB，而 BF16 管线约为 24 GB。NVFP4 检查点要求 NVIDIA Blackwell GPU，早期架构可使用 INT4，但 Volta 和 Hopper 目前不受支持。
匹配字段标题、摘要
Together AI 发布 Dedicated Model Inference 推理平台更新，支持在同一稳定端点后运行多个部署，并提供 canary、蓝绿和滚动更新及按阈值自动回滚、A/B 与影子流量测试、按 inflight 请求或 GPU 利用率等指标自动扩缩容。平台重建了模型缓存与分发层，内部测试中多个前沿模型的冷启动速度约提升 4 倍，同时提供组织级 Prometheus 端点接入自有可观测工具。Together AI 还开启自定义训练内测，涵盖全权重与 LoRA 强化学习及监督微调，checkpoint 可直接部署到推理服务，内测名额有限。
匹配字段标题、摘要
Unsloth 发布 Gemma 4 的 NVFP4 量化版本，称在 GPU 上推理速度提升 1.5 倍。其中 Gemma-4-12B NVFP4 可在 11GB 显存上运行，26B-A4B 在 B200 上达到 13K tok/s。官方称该 NVFP4 方案面向 Blackwell 平台，可实现更快、更准确的 4-bit 推理。
匹配字段标题、摘要
Together AI 推出 Provisioned Throughput，为前沿开放模型提供预留推理容量，采用按 token 计费并附带 99% 可用性 SLA，成本最高比 Claude Opus 4.8 标价低 90%。该产品今日起支持 MiniMax M3 和 GLM-5.2，容量覆盖北美、EMEA 等地区，最短承诺期一个月。用户按 Provisioned Throughput Units（PTU）购买，每个 PTU 每分钟 0.05 美元，在 MiniMax M3 上单个 PTU 每分钟可提供 138,840 输入 token、694,200 缓存输入 token 或 23,140 输出 token。
匹配字段标题、摘要
Modal 发布 Auto Endpoints，提供 OpenAI API 兼容、生产可用的推理服务，底层是用户可见可控的 Modal App，可通过 CLI 或点击部署 GLM 5.2 等开放模型。官方称不隐藏代码与指标，自动提供投机解码接受长度、每副本引擎侧 token 延迟分位数等数据，并同步推出面向超低延迟路由的 Modal Servers，HTTP 请求开销约 5ms。其部署配方基于 SGLang、FlashAttention-4 等开源引擎的补丁与上游贡献，并采用 Z Lab 的 DFlash 块扩散 drafter 架构。
匹配字段标题、摘要
Tensordyne 公布其 Napier AI 推理引擎架构，核心思路是把数据转成对数后用加法替代矩阵乘法，官方称相比 Nvidia 和 AWS 的混合架构性能提升一个数量级以上，价格与功耗更低。Napier 采用 3nm 工艺、1380 亿晶体管，支持 NVFP4、FP8、FP16，FP8 稠密算力 2.1 petaflops，配备 144 GB HBM4 和 256 MB SRAM，单芯片功耗 300 瓦，对比 B300 GPU 的 1200 瓦。公司计划 2026 年底开放云端访问，2027 年第一季度向客户交付 beta 版 TDN Pod 系统，2027 年第二季度末开始出货。
匹配字段标题、摘要
Together AI 与 Pearl Research Labs 推出 Gemma-4-31B-it-pearl 推理端点，利用 Pearl Network 在推理过程中生成 ¶PRL，使价格降低超过 25%。双方计划扩展 Pearl 驱动的产品组合，并探索让客户直接获得部分货币发行收益。
匹配字段标题、摘要
LMSYS 宣布 SGLang 与 Miles 在 DeepSeek-V4 发布当天提供推理与 RL 训练支持，覆盖 1.6T Pro 和 284B Flash 两个版本。针对 DeepSeek-V4 的混合稀疏注意力、mHC 和 FP4 专家权重，团队引入 ShadowRadix 前缀缓存、HiSparse CPU 扩展 KV、MTP 投机解码等机制，并集成 FlashMLA、FlashInfer TRTLLM-Gen MoE、DeepGEMM Mega MoE 等内核。RL 侧 Miles 支持 DP/TP/SP/EP/PP/CP 六种并行策略与 FP8 训练，已在 32 张 GB300 上完成 285B 模型训练，首步 rollout 与训练 log-prob 偏差约 0.023。
匹配字段标题、摘要
goose 在桌面应用中内置了由 llama.cpp 驱动的本地推理，选择 Local provider 后可直接从 Hugging Face 下载量化 GGUF 模型并在本机运行，无需 Ollama、Docker 或外部服务器，也无需 API key，可离线使用。官方说明本地模型首次请求需 30–120 秒加载，上下文多为 4K–8K token，工具调用是最大短板，Gemma 4 表现较好而模拟模式仅限 shell 命令；建议从小模型起步并使用 Code Mode。
匹配字段标题、摘要