Hao AI Lab 开源 JetSpec++ 模型、代码与推理引擎
Hao AI Lab 宣布 JetSpec++ 的模型、代码和推理引擎全部开源，并附上论文、代码与 Hugging Face 链接。该方法把草稿生成与验证流水线化，在 Qwen3-8B 上相对 DSpark 最高 1.54 倍、相对自回归解码 7.45 倍端到端加速，BF16 下达到 1,361 TPS；配合 NVFP4 与 kernel 优化，在两块 GB200 上超过 4,000 TPS。
匹配字段标题
←搜索结果
搜索“推理”
OpenRouter 上线新版 provider router，按请求实际成本奖励高质量推理
OpenRouter 发布自成立以来对 provider router 的最大改进，新路由不再主要按价格排序，而是按请求的实际成本奖励质量最好的推理，让请求保持低价的同时兼顾速度和可靠性。提供更高价值的 provider 会自动获得更多流量，从而有动力持续改进，而 provider 变好也会同步提升用户在 OpenRouter 上的推理体验。
匹配字段标题
OpenRouter 上线新版 provider 路由器，按实际成本奖励高质量推理
OpenRouter 发布自成立以来对 provider 路由器最大的一次改进，新路由器不再主要按价格排序，而是按请求的实际成本奖励质量最好的推理，让请求保持低价的同时兼顾速度和可靠性。提供更高价值的 provider 会自动获得更多流量，从而有动力持续改进，而 provider 变好也会同步提升用户在 OpenRouter 上的推理体验。
匹配字段标题
DeepSeek 开源推理引擎 DeepInfer，披露单集群日处理约 155 万亿 Token
DeepSeek 在 GitHub 开源推理引擎 DeepInfer，即 DeepSeek-V4.1-Flash 背后的推理引擎，包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码等技术，并披露单集群每天需处理约 155 万亿个 Token。其 Zero-Overhead Batch Scheduler 让 CPU 提前一轮安排计算，与 GPU 前向重叠，并通过 total_inflight_tokens 记账、Remap 映射和 DeferredRelease 延迟回收处理跨轮次状态错位。目前开放的是离线推理能力，线上 KV Cache 存储和跨副本负载均衡等组件尚未完整公开，官方也未单独公布该调度机制相对同步方案的端到端加速数据。
匹配字段标题
Cohere Model Vault 推出可验证机密 AI 推理
Cohere 在 Model Vault 上推出机密计算功能，目前处于公开测试阶段，运行在 Microsoft Azure 的 NVIDIA GPU 上。该功能结合机密 CPU 与 GPU 执行、OHTTP 端到端加密请求内容和远程证明，让客户在释放敏感数据前先验证目标环境。Cohere 计划开源机密推理栈，并推进对 NVIDIA Blackwell 及 B200 GPU 的支持。
匹配字段标题
DeepSeek 开源推理框架 Deepinfer，降低模型自建部署成本
DeepSeek 在 GitHub 开源内部推理框架 Deepinfer，目标是降低自行部署模型时的算力与能耗成本。该框架在推理阶段把负载更均匀地分配到可用处理器核心，用投机解码加快响应，并在输出前改善结果结构；目前仅支持 DeepSeek-V4.1-Flash，后续将开放更多自家模型。硬件上需要 SM100 架构的 Nvidia GPU 或华为 Ascend 950 NPU，因此并非面向个人用户。
匹配字段标题
面壁智能 MiniCPM-V 4.7 在 iPhone 上实现 20.51 tokens/s 端侧推理
面壁智能 OpenBMB 公布 MiniCPM-V 4.7 的端侧推理方案，在 iPhone 18 Pro Max（12GB）上平均解码速度达 20.51 tokens/s，相比同一设备未优化的 SSD 专家加载基线提升 6.07 倍。该方案名为 Lookahead Expert Scheduling（LES），通过跨层路由预测预取下一层可能需要的专家、并行加载剩余专家，并对专家权重做连续存储重排和逐层混合精度量化，同时配合 DSpark 投机采样。模型为 35B 总参数、每 token 激活 3B 的 MoE 架构，原始模型架构与专家路由保持不变，无需额外训练。
匹配字段标题
DeepSeek 开源内部推理框架 DeepInfer
DeepSeek 开源了内部推理框架 DeepInfer，称其支撑 DeepSeek-V4.1-Flash 的高吞吐、低延迟推理。该框架同时支持 Nvidia 和华为昇腾硬件，具备分布式推理、投机解码、SWA Bounded Replay 和结构化输出等能力。DeepSeek 还一并发布了 deepseek-recipe，一个与官方 API 完全对齐的生产级 tokenization 组件。
匹配字段标题
DeepSeek 开源搜索、推理框架与编解码组件，并公开单卡每小时收入
DeepSeek 在一周内接连推出自研搜索 Search 与 Fetch、推理框架 DeepInfer 和编解码组件 deepseek-recipe，除搜索服务将于 11 月 1 日开始收费外，其余均免费开源。Search 与 Fetch 是面向模型的 JSON 接口，每 1000 次成功请求 5 元，可在 DeepSeek Harness、Claude Code、Codex 中通过服务端工具调用，且不绑定 DeepSeek 模型；DeepInfer 以 Apache 2.0 开源离线推理版本，兼容英伟达和国产算力平台。官方部署实践还披露单一集群每天 155 万亿 Tokens 吞吐、平均每卡每小时 38 美元收入，按此计算单卡月收入约 2.7 万美元。
匹配字段标题
DeepSeek 开源推理框架 DeepInfer 与分词组件 deepseek-recipe
DeepSeek 发布技术博客《DeepSeek V4.1 Flash 大规模推理部署实践》，并以 Apache 2.0 协议开源支撑其线上百亿级调用的云服务推理框架 DeepInfer 和生产级分词组件 deepseek-recipe。博客称基于该框架单一集群服务吞吐已达每天 155 万亿 Tokens，未来新模型的推理代码和性能优化也会持续放进 DeepInfer。文中还提到用 8 卡机器做 Prefill、64 到 128 卡超节点做 Decode，以及用 3FS 分布式存储保留 KVCache、SWA Bounded Replay 只重算最后 128 个 token 等优化。
匹配字段标题
DeepSeek 开源推理框架 DeepInfer，单集群日处理 155 万亿 token
DeepSeek 开源了支撑 DeepSeek-V4.1-Flash 的自研推理框架 DeepInfer，并公布单集群每天处理 155 万亿 token、96% 输入缓存命中、首 token 延迟 400ms、生成速度 230 tokens/s 的生产数据。该框架基于 vLLM 定制，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 同时说明 KV cache 管理和负载均衡等组件尚未完全开源，vLLM 团队则称在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
匹配字段标题
DeepSeek 开源推理框架 DeepInfer，单集群日处理 155 万亿 token
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并公布单集群日处理 155 万亿 token、输入缓存命中率 96%、首 token 平均 400ms、生成 230 tokens/s 等生产数据。该框架基于 vLLM 定制并采用 Apache 2.0 许可，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 称 KV 缓存管理和负载均衡等组件因与内部基础设施耦合尚未完全开源，vLLM 团队则报告在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
匹配字段标题
Eagle Corp 开源 EAGLE-4 灵活 drafter，加速 LLM 推理
Eagle Corp 发布开源灵活 drafter EAGLE-4，用于加速 LLM 推理。其核心是同一个 drafter 会根据 batch size、硬件和工作负载调整投机解码策略，并保持目标模型的输出分布。实测中 Qwen3.8-27B 搭配 EAGLE-4 draft 在 4 张 NVIDIA B300 上达到 961.6 tokens/s。
匹配字段标题
fal 与 Fireworks AI 提前上线 EAGLE-4 推理加速方案
fal 宣布与 Fireworks AI 合作提前上线 EAGLE-4，并附技术博客说明其原理及对创作工作流的意义。被引用的 Eagle 原帖称 EAGLE-4 是其最快的版本，在 Qwen3.8-27B 上使用 TokenSpeed 达到 961.6 tokens/s（BF16、4× NVIDIA B300、TP4、单请求、T=0），并给出 GitHub 地址。
匹配字段标题
DeepSeek 开源生产推理框架 DeepInfer
DeepSeek 开源了支撑其生产服务的推理框架 DeepInfer，采用 Apache 2.0 许可证发布在 GitHub 上。目前该框架只支持 DeepSeek-V4.1-Flash 一个模型，默认加载周末发布的 1017 版本，可运行在 Nvidia SM100 Blackwell GPU 和华为昇腾 950 NPU 上，不支持 Hopper 等较旧的 Nvidia 架构。DeepSeek 称单个集群每天服务 155 万亿 token，并暂未开源与内部基础设施强耦合的 KV cache 管理和负载均衡代码。
匹配字段标题
DeepSeek 开源推理框架 DeepInfer，支撑 V4.1-Flash 快速低成本推理
DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer，该框架是支撑 V4.1-Flash 模型大规模快速生成回答的服务软件。DeepInfer 基于 vLLM 构建，包含优化的计算内核、多芯片分布式处理和更快的文本生成技术，未来 DeepSeek 模型的代码也将开源。DeepSeek 同时发布 deepseek-recipe，可复现官方 API 的 token 处理，使自托管部署行为保持一致，官方称目标是帮助社区降低算力成本与能耗。
匹配字段标题
DeepSeek 以 Apache 2.0 开源推理框架 DeepInfer 及编解码组件
DeepSeek 以 Apache 2.0 协议开源了支撑其线上服务的推理框架 DeepInfer 和 API 同款编解码组件 deepseek-recipe，官方称后续新模型的推理代码也会持续合入该仓库。框架包含高性能算子、分布式推理、投机解码、SWA Bounded Replay 和结构化输出，但 README 显示此次只放出离线推理引擎，KV 缓存系统、预填充与解码分离部署、多副本负载均衡未包含在内。硬件上目前仅支持英伟达 Blackwell 架构 SM100 和华为昇腾 950，支持的模型也仅限 V4.1-Flash。
匹配字段标题
DeepSeek 开源推理框架 DeepInfer 与 token 编解码组件 deepseek-recipe
DeepSeek 开源了内部大规模云服务推理框架 DeepInfer 和生产级 token 编解码组件 deepseek-recipe，前者支持分布式推理、推测解码、SWA Bounded Replay 和结构化输出，可在英伟达与华为昇腾平台运行。DeepSeek 称 DeepSeek V4.1 Flash 的高吞吐低延迟推理服务即基于该框架，单一集群服务吞吐为 155 万亿 Tokens/天，按谷价计算每卡每小时 38 美金。deepseek-recipe 的处理逻辑与 DeepSeek 官方 API 完整对齐，团队同时说明 KVCache 管理与负载均衡组件因与内部基础设施耦合较深，相关代码尚未完整开源。
匹配字段标题
DeepSeek 开源其 API 背后的推理引擎 DeepInfer，同时支持 Nvidia 与华为昇腾
DeepSeek 开源了用于生产环境服务其模型的自研推理框架 DeepInfer，采用 Apache 2.0 许可，可让开发者在自有基础设施上运行 DeepSeek-V4.1-Flash，并计划支持后续模型。该框架包含 FlashMLA、DeepGEMM、DeepEP 等优化计算内核与通信库，支持投机解码、异步调度和结构化输出，同时开源了处理请求与响应转换的 deepseek-recipe 库（提供 Rust 和 Python 版本）。硬件方面首日支持 Nvidia SM100（Blackwell）架构和华为昇腾 950 NPU 系列，Hopper 等旧架构未列入；批量不变推理与确定性采样仅在 Nvidia 硬件上可用，公开性能数据也基于 Nvidia GPU。当前版本支持离线推理，但缺少 KV cache 管理、跨机推理阶段分离和副本负载均衡等完整生产服务组件。
匹配字段标题
DeepSeek 开源生产推理框架 DeepInfer，支撑 DeepSeek-V4.1-Flash
DeepSeek 以 Apache 2.0 协议开源了其生产服务所用的推理框架 DeepInfer，该框架目前只支持 DeepSeek-V4.1-Flash，运行在 NVIDIA SM100 和华为昇腾 950 上。官方称单个集群每天可服务 155 万亿 token，在 131,072 上下文、64 卡解码配置下解码吞吐超过 25,000 tokens/s/GPU。此次发布仅覆盖离线推理，KV cache 系统、P/D 分离和负载均衡未包含在内，DeepSeek 表示这些组件与内部基础设施紧密耦合。
匹配字段标题