DeepSeek 发布技术博客《DeepSeek V4.1 Flash 大规模推理部署实践》，并以 Apache 2.0 协议开源支撑其线上百亿级调用的云服务推理框架 DeepInfer 和生产级分词组件 deepseek-recipe。博客称基于该框架单一集群服务吞吐已达每天 155 万亿 Tokens，未来新模型的推理代码和性能优化也会持续放进 DeepInfer。文中还提到用 8 卡机器做 Prefill、64 到 128 卡超节点做 Decode，以及用 3FS 分布式存储保留 KVCache、SWA Bounded Replay 只重算最后 128 个 token 等优化。
匹配字段标题
DeepSeek 开源了支撑 DeepSeek-V4.1-Flash 的自研推理框架 DeepInfer，并公布单集群每天处理 155 万亿 token、96% 输入缓存命中、首 token 延迟 400ms、生成速度 230 tokens/s 的生产数据。该框架基于 vLLM 定制，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 同时说明 KV cache 管理和负载均衡等组件尚未完全开源，vLLM 团队则称在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
匹配字段标题
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并公布单集群日处理 155 万亿 token、输入缓存命中率 96%、首 token 平均 400ms、生成 230 tokens/s 等生产数据。该框架基于 vLLM 定制并采用 Apache 2.0 许可，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 称 KV 缓存管理和负载均衡等组件因与内部基础设施耦合尚未完全开源，vLLM 团队则报告在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
匹配字段标题
ElevenLabs 推出 Eleven Realtime 语音到语音模型系列，包含面向 AI 助手、教师等场景的 v1 Mini 和面向客服、线索筛选及多步骤流程的 v1 Max 两个版本。两款模型支持 90 多种语言和超过 17000 种音色，将语音识别、轮次切换、语音活动检测与语音生成整合为一个系统。在 Artificial Analysis 的评测中，Max 在 Big Bench Audio 上正确回答 98.8% 的问题，Mini 为 75.9%；Max 首音频平均耗时 0.57 秒，Mini 为 0.62 秒；工具调用任务上 Max 完成 87.1%，Mini 为 60.3%。Eleven Realtime 遵循 OpenAI Realtime 规范，开发者只需修改 API 端点和模型名即可迁移，但使用 WebRTC 的集成需改用 WebSockets。
匹配字段标题
DeepSeek 开源推理框架 DeepInfer 对应的技术报告已在知乎发布，公开了 Prefill 与 Decode 的硬件选型、KVCache 目标等内部细节。报告还给出单一集群的实际数据：服务吞吐为 155 万亿 Tokens/天，整体收入为每卡每小时 38 美金（按谷价）。
匹配字段标题
General Compute 与 Positron 签署多年合作，将 Positron 的 Atlas 推理系统提供给其云客户，硬件将于 2027 年 Q1 上线。General Compute 自购并运行专用 AI 芯片与 GPU 搭配，GPU 负责处理每个请求的输入，Positron 芯片更高效地生成输出，其设计侧重快速内存访问以缓解 token 生成瓶颈。Atlas 已在 Oracle Cloud Infrastructure 中可用，General Compute 还承诺集成 Positron 下一代 Titan 系统。
匹配字段标题
Eagle Corp 发布开源灵活 drafter EAGLE-4，用于加速 LLM 推理。其核心是同一个 drafter 会根据 batch size、硬件和工作负载调整投机解码策略，并保持目标模型的输出分布。实测中 Qwen3.8-27B 搭配 EAGLE-4 draft 在 4 张 NVIDIA B300 上达到 961.6 tokens/s。
匹配字段标题
swyx 指出 DeepSeek 在知乎披露了更多细节：基于自研框架 DeepInfer 为 DeepSeek V4.1 Flash 搭建高吞吐低延迟大规模推理服务，单集群吞吐达 155 trillion tokens/day，按非高峰价格计算每卡每小时收入 38 美元。他按每 GPU 小时约 5-10 美元的成本估算，认为 DeepSeek 按其定价可做到约 80% 的服务毛利。他同时提到 DeepSeek 已开源 DeepInfer 推理框架。
匹配字段标题
fal 宣布与 Fireworks AI 合作提前上线 EAGLE-4，并附技术博客说明其原理及对创作工作流的意义。被引用的 Eagle 原帖称 EAGLE-4 是其最快的版本，在 Qwen3.8-27B 上使用 TokenSpeed 达到 961.6 tokens/s（BF16、4× NVIDIA B300、TP4、单请求、T=0），并给出 GitHub 地址。
匹配字段标题
Amazon Bedrock 的跨区域推理（CRIS）现支持从加拿大（中部）和加拿大西部（卡尔加里）区域访问 OpenAI GPT-5.6（Sol、Terra、Luna）、GPT-6（Astra、Sol、Luna）和 GPT-6.1 Sol。这些模型支持 100 万 token 上下文窗口、推理模式、工具调用和提示词缓存，可通过 OpenAI Responses API、Chat Completions API 和 Amazon Bedrock Converse API 调用。推理在北美境内处理，提供 US geographic（us.）和 Global（global.）两类推理配置文件。
匹配字段标题
AWS 团队在 Amazon SageMaker HyperPod 上用 SFT 与 GRPO 微调 GPT-OSS-20B，解决其只用英文推理的问题：基座模型在 50 例多语言推理测试中仅 22% 用对目标语言（英语 100%、法语 0%、德语 10%、西班牙语 0%、意大利语 0%）。结论是 SFT 承担大部分工作，GRPO 在模型已有一定概率产出目标行为时才能带来可测量的增益。训练使用 LoRA，数据为 HuggingFaceH4/Multilingual-Thinking（约 949 条训练、50 条验证）。
匹配字段标题
Nebius 应用 AI 高级副总裁 Ryan Hanrui Wang 指出，公开基准测试只反映模型的最优表现，无法说明生产环境中智能体能否准确完成任务，因此应结合内部基准和 harness 评估整个推理栈。Nebius 以约 6.43 亿美元收购推理优化初创公司 Eigen AI，并通过 Token Factory 平台提供推理服务。他建议用大模型作参照扫描多个模型寻找规模甜点，例如客服任务 10B 参数可能已足够，100B 甚至 1T 参数带来的精度提升很小。
匹配字段标题
DeepSeek 开源了支撑其生产服务的推理框架 DeepInfer，采用 Apache 2.0 许可证发布在 GitHub 上。目前该框架只支持 DeepSeek-V4.1-Flash 一个模型，默认加载周末发布的 1017 版本，可运行在 Nvidia SM100 Blackwell GPU 和华为昇腾 950 NPU 上，不支持 Hopper 等较旧的 Nvidia 架构。DeepSeek 称单个集群每天服务 155 万亿 token，并暂未开源与内部基础设施强耦合的 KV cache 管理和负载均衡代码。
匹配字段标题
DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer，该框架是支撑 V4.1-Flash 模型大规模快速生成回答的服务软件。DeepInfer 基于 vLLM 构建，包含优化的计算内核、多芯片分布式处理和更快的文本生成技术，未来 DeepSeek 模型的代码也将开源。DeepSeek 同时发布 deepseek-recipe，可复现官方 API 的 token 处理，使自托管部署行为保持一致，官方称目标是帮助社区降低算力成本与能耗。
匹配字段标题
DeepSeek 以 Apache 2.0 协议开源了支撑其线上服务的推理框架 DeepInfer 和 API 同款编解码组件 deepseek-recipe，官方称后续新模型的推理代码也会持续合入该仓库。框架包含高性能算子、分布式推理、投机解码、SWA Bounded Replay 和结构化输出，但 README 显示此次只放出离线推理引擎，KV 缓存系统、预填充与解码分离部署、多副本负载均衡未包含在内。硬件上目前仅支持英伟达 Blackwell 架构 SM100 和华为昇腾 950，支持的模型也仅限 V4.1-Flash。
匹配字段标题
Aditya Agarwal 认为，推理时扩展 → 子智能体 → 智能体集群的演进路径，与 CPU 线程 → 多核 CPU → 多节点分布式系统的发展历史颇为相似，并感叹“历史总是惊人地相似”。
匹配字段标题
DeepSeek 开源了内部大规模云服务推理框架 DeepInfer 和生产级 token 编解码组件 deepseek-recipe，前者支持分布式推理、推测解码、SWA Bounded Replay 和结构化输出，可在英伟达与华为昇腾平台运行。DeepSeek 称 DeepSeek V4.1 Flash 的高吞吐低延迟推理服务即基于该框架，单一集群服务吞吐为 155 万亿 Tokens/天，按谷价计算每卡每小时 38 美金。deepseek-recipe 的处理逻辑与 DeepSeek 官方 API 完整对齐，团队同时说明 KVCache 管理与负载均衡组件因与内部基础设施耦合较深，相关代码尚未完整开源。
匹配字段标题
DeepSeek 开源了用于生产环境服务其模型的自研推理框架 DeepInfer，采用 Apache 2.0 许可，可让开发者在自有基础设施上运行 DeepSeek-V4.1-Flash，并计划支持后续模型。该框架包含 FlashMLA、DeepGEMM、DeepEP 等优化计算内核与通信库，支持投机解码、异步调度和结构化输出，同时开源了处理请求与响应转换的 deepseek-recipe 库（提供 Rust 和 Python 版本）。硬件方面首日支持 Nvidia SM100（Blackwell）架构和华为昇腾 950 NPU 系列，Hopper 等旧架构未列入；批量不变推理与确定性采样仅在 Nvidia 硬件上可用，公开性能数据也基于 Nvidia GPU。当前版本支持离线推理，但缺少 KV cache 管理、跨机推理阶段分离和副本负载均衡等完整生产服务组件。
匹配字段标题
Zyphra 发布第二代推理优化 ZOE，在 AMD Instinct MI355X 上把 GLM-5.3 在 512K 上下文下的首 token 延迟（TTFT）从 178.8 秒降至 64.6 秒（2.8 倍），90% 前缀缓存命中时从 42.3 秒降至 11.8 秒（3.6 倍）。其 CSA top-K 选择 HIP kernel 让 DeepSeek-V4-Pro 在 1M 上下文下单用户解码吞吐从 43.5 提升到 61.1 tokens/s（1.40 倍）。GLM-5.3 的 AMD MXFP4 量化把模型从 756 GB 压到 410 GB，AIME25 等基准分数与 FP8 相差 3 分以内。
匹配字段标题
DeepSeek 以 Apache 2.0 协议开源了其生产服务所用的推理框架 DeepInfer，该框架目前只支持 DeepSeek-V4.1-Flash，运行在 NVIDIA SM100 和华为昇腾 950 上。官方称单个集群每天可服务 155 万亿 token，在 131,072 上下文、64 卡解码配置下解码吞吐超过 25,000 tokens/s/GPU。此次发布仅覆盖离线推理，KV cache 系统、P/D 分离和负载均衡未包含在内，DeepSeek 表示这些组件与内部基础设施紧密耦合。
匹配字段标题