搜索“推理”

Cohere发布North Mini Code推理引擎

Cohere 发布 North Mini Code Megakernel推理服务引擎及代码

查看事件：Cohere推出代码模型推理引擎

Unsloth 提升 GLM-5.3-Flash 本地推理速

2026年9月4日,Unsloth 宣布对 GLM-5.3-Flash 的本地 GGUF 推理完成优化并公布结果。据其说法,本地推理速度提升 1.6 至 3.4 倍,配合优化解码与多 token 预测,整体最高快 3.3 倍。用户可在 128GB 设备上通过 Unsloth Desktop 或 llama.cpp 以 3-bit 量化运行,Unsloth 同时提供了使用指南和 GGUF 权重链接。被引用的 Z.ai 发布信息显示,GLM-5.3-Flash 为 320B-A18B 模型,采用 MIT 许可,原生多模态并支持 1M token 上下文窗口。目前该优化已公布,尚未见后续更新。

OpenAI公布首款自研推理芯片Jalapeño基准

2026年8月26日,OpenAI公布其首款自研推理芯片Jalapeño的基准测试结果。SemiAnalysis在OpenAI实验室用InferenceX实测,称该芯片在多个开源模型上的每兆瓦token吞吐超过NVIDIA Blackwell,在DeepSeek R1上并发1时达到每用户700 tokens/s以上,全程未使用投机解码。该芯片由OpenAI与Broadcom合作,2024年中启动设计,2025年11月完成CoWoS流片,采用HBM4、单封装15.4TB/s带宽,架构上不做prefill与decode分离。SemiAnalysis认为更公平的对手是同样使用HBM4的Rubin,两者每美元输出token数接近,但Jalapeño尚未启用投机解码,量产计划从2027年起逐步爬坡。后续IEEE Spectrum报道称,OpenAI于8月25日完整发布该芯片,提供最高13.4 petaflops的4-bit算力和232 GB内存,端到端延迟相比Nvidia GB300最多降低3.6倍。

Groq 3 LPX长上下文推理测速

2026年8月24日,Artificial Analysis 对 NVIDIA Groq 3 LPX 进行基准测试。在 Gemma 4 31B、100K 上下文测试中,其输出速度中位数达到每秒3431个 Token;在 SPEED-Bench 上,中位速度为每秒4767个输出 Token,P80 为每秒5520个。材料称,其确定性执行、编译器调度芯片间通信,以及细粒度的计算与通信重叠,面向长上下文低延迟推理。

Unsloth推出DSpark加速DeepSeek本地推理

2026年8月6日,Unsloth发布DSpark,用于加速DeepSeek-V4-Flash-0731的GGUF本地推理。据Unsloth介绍,该方案使本地生成速度提升约1.4至2倍,且精度不变,本地可达到120 tokens/s。Unsloth同时提供了对应的GGUF文件与使用指南。目前该事件仅有这一条进展,尚无后续更新。

Hugging Face接入Baseten推理服务

vLLM后端实现原生级推理速度

Together AI推出预留推理服务

2026年7月8日,Together AI推出面向MiniMax M3和GLM-5.2的Provisioned Throughput预留推理服务。据Together AI Blog介绍,该服务为前沿开放模型提供预留推理容量,采用按token计费并附带99%可用性SLA,成本最高比Claude Opus 4.8标价低90%。容量覆盖北美、EMEA等地区,最短承诺期一个月。用户按Provisioned Throughput Units(PTU)购买,每个PTU每分钟0.05美元;在MiniMax M3上,单个PTU每分钟可提供138,840输入token、694,200缓存输入token或23,140输出token。目前该服务已支持上述两款模型,暂无后续发展事实。

Together AI推出Pearl推理端点

vLLM统一TPU推理后端

2025年10月16日,vLLM宣布其TPU支持改由tpu-inference驱动,通过统一的JAX到XLA降低路径兼容PyTorch与JAX,无需修改模型代码时吞吐量提高约20%。新版默认采用SPMD,并引入RPA v3,支持任意模型规格、量化数据类型和张量并行;其在Trillium(v6e)上的吞吐量较RPA v2提高约10%。目前整体性能已接近2025年2月首个TPU原型的5倍,同时支持稠密模型、多模态输入、前缀缓存、分块预填充和结构化解码等能力。

vLLM发布语义推理路由层

2025年9月11日,vLLM推出开源意图感知推理路由层Semantic Router,可依据查询复杂度选择快速路径或思维链推理模式。官方试验显示,该设计使准确率提高约10%,延迟和token用量均减少约50%,并支持通过Kubernetes和Envoy部署。其v0.1路线图还包括语义缓存、多因素路由、性能测试和路由策略可视化。

Prime Intellect开源分布式推理代码库

2025年4月28日,Prime Intellect发布分布式推理栈预览,并开源PRIME-IROH、PRIME-VLLM、PRIME-PIPELINE三个代码库,目标是让消费级GPU通过公网连接运行推理。文章指出,流水线并行通信需求最低,适合分布式环境,但同步流水线会因100ms级跨洲延迟形成吞吐上限,而异步微批调度在内存带宽受限的解码阶段无法带来训练那样的加速。团队称已可用私有硬件通过公网跑推理,正把组件接入自家栈,用于SYNTHETIC-2合成数据运行。

Unsloth优化GLM-5.3-Flash本地推理

Unsloth 优化并公布 GLM-5.3-Flash本地GGUF推理速度

查看事件：Unsloth 提升 GLM-5.3-Flash 本地推理速

Unsloth推出DSpark加速DeepSeek-V4-Flash本地推理

Unsloth 推出 DSpark，使DeepSeek-V4-Flash-0731 GGUF本地生成提速约1.4–2倍

查看事件：Unsloth推出DSpark加速DeepSeek本地推理

Hugging Face接入Baseten推理服务

Hugging Face 接入 Baseten推理服务

查看事件：Hugging Face接入Baseten推理服务

vLLM后端实现原生级推理速度

Hugging Face Transformers与vLLM 优化 Transformers建模后端的推理性能

查看事件：vLLM后端实现原生级推理速度

Together AI推出预留推理服务

Together AI 推出 面向MiniMax M3和GLM-5.2的Provisioned Throughput预留推理服务

查看事件：Together AI推出预留推理服务

Together AI推出Pearl推理端点

Together AI与Pearl Research Labs 合作推出 折价的Gemma-4-31B-it-pearl推理端点

查看事件：Together AI推出Pearl推理端点

goose 发布内置本地推理

2026年4月24日,goose 发布内置本地推理能力,该能力基于 llama.cpp,集成于 goose 桌面应用中。用户在应用内选择 Local provider 后,可直接从 Hugging Face 下载量化 GGUF 模型并在本机运行,无需 Ollama、Docker 或外部服务器,也无需 API key,可离线使用。官方说明指出,本地模型首次请求需 30–120 秒加载,上下文多为 4K–8K token,工具调用是最大短板,Gemma 4 表现较好,而模拟模式仅限 shell 命令;官方建议从小模型起步并使用 Code Mode。目前该事实尚无后续发展。

goose 发布内置本地推理

goose 发布 内置本地推理（基于 llama.cpp）

查看事件：goose 发布内置本地推理