英伟达CentML工程师Benjamin Chislett用1.2万行CuTe DSL编写的Megakernel优化月之暗面Kimi K3推理，vLLM博客报告batch 1下超过840 tokens/s、多配置解码吞吐提升1.5至2倍，SemiAnalysis测算GB300 NVL72上达423 tok/s/user、提升1.68倍。vLLM博客称智能体优化的推理代码正超过人类审查与维护速度，团队因此提出fast-track model optimization RFC，让审查者从高层抽象判断设计而非逐行审代码。文章还提到英伟达正为vLLM开发DeepSeek V4.1等其他模型的优化。
匹配字段标题
2026年10月29日,DeepSeek在GitHub开源推理引擎DeepInfer,该引擎是DeepSeek-V4.1-Flash背后的推理引擎。雷锋网同日报道,DeepInfer包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术,并披露单集群每天需处理约155万亿个Token。其Zero-Overhead Batch Scheduler让CPU提前一轮安排计算,与GPU前向重叠,并通过total_inflight_tokens记账、Remap映射和DeferredRelease延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上KV Cache存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。
2026年10月29日,DeepSeek在GitHub开源推理引擎DeepInfer,该引擎是DeepSeek-V4.1-Flash背后的推理引擎。雷锋网同日报道,DeepInfer包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术,并披露单集群每天需处理约155万亿个Token。其Zero-Overhead Batch Scheduler让CPU提前一轮安排计算,与GPU前向重叠,并通过total inflight tokens记账、Remap映射和DeferredRelease延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上KV Cache存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。
匹配字段标题
2026年10月16日,vLLM博客发布技术复盘《Hyper Optimizing Kimi K3 in vLLM: Moving Fast and Responsibly》。据钛媒体·AGI报道,英伟达CentML工程师Benjamin Chislett用1.2万行CuTe DSL编写的Megakernel优化月之暗面Kimi K3推理;vLLM博客报告batch 1下超过840 tokens/s、多配置解码吞吐提升1.5至2倍,SemiAnalysis测算GB300 NVL72上达423 tok/s/user、提升1.68倍。vLLM博客称智能体优化的推理代码正超过人类审查与维护速度,团队因此提出fast-track model optimization RFC,让审查者从高层抽象判断设计而非逐行审代码。报道还提到英伟达正为vLLM开发DeepSeek V4.1等其他模型的优化。
匹配字段标题
AI Business 报道称，截至 10 月 25 日当周，中国模型在 OpenRouter 的 token 统计中占比超过一半，而约一年前该网站周使用榜的九个模型中仅有一个来自中国。Red Hat 正在内部试点自托管 GLM，最多 1400 名工程师使用，约 70% 的推理流量流向开源模型，并以每人每月 300 美元的前沿模型配额控制成本。DataCamp 则因开源模型服务商的延迟和容量不足，正从 Anthropic 转向 OpenAI，尚未把 AI 导师迁到开源模型。
匹配字段标题
亚马逊CEO安迪·贾西在a16z播客访谈中表示，公司2026年资本支出预计达2200亿美元，但2026年算力容量已售罄、2027年基本订满、2028年大量配额被锁定。他把企业AI需求描述为哑铃状，中间的大量生产系统因推理成本过高尚未深度接入，成本需再降一个数量级才会迎来爆发。贾西还提到AWS前1000客户中99%使用Graviton，性价比比x86高约40%，Trainium较同类硬件有30%到40%优势。
匹配字段标题
亚马逊 CEO 安迪·贾西在 a16z 采访中表示，AI 推理成本仍高了一个数量级，要让 AI 广泛应用于企业软件，成本需降至目前的约十分之一。他称亚马逊今年计划投入 2,200 亿美元资本开支，2026 年主要算力供应额度基本订满，2027 年大部分也已被预订；自研 Trainium 芯片性价比较同类处理器高约 30% 至 40%，已获得超过 2,250 亿美元未来收入承诺。
匹配字段标题
Nathan Lambert 称 DeepSeek 在单个集群上每天处理 150T tokens，超过 OpenRouter、Fireworks、Together 和 BaseTen 上开源模型推理量的总和。他同时贴出了自己对这几家公司推理量报告的重构对比图，并提到这一数字只对应单个集群，DeepSeek 实际拥有多少个集群尚不清楚。
匹配字段标题
2026年10月20日,DeepSeek开源内部推理框架DeepInfer。据Yuchen Jin引用DeepSeek披露的数据,单个集群每天处理155万亿token,每GPU小时产生38美元收入(非高峰定价),DeepInfer同时支持NVIDIA Blackwell和华为昇腾;36氪后续报道称其配套开源deepseek-recipe,支持英伟达SM100 GPU与华为昇腾Ascend 950 NPU。10月21日,swyx引用Latent.Space数据称单集群日处理155T tokens、输入缓存命中率96%,认为每块已售GPU生命周期价值上涨约30%。10月24日,Nathan Lambert称DeepSeek单集群日处理150T tokens,超过OpenRouter、Fireworks、Together和BaseTen开源模型推理量之和,并指出实际集群数量不明;同日LMSYS公布同硬件基准对比,称SGLang在DeepInfer自有基准上达到或超过DeepInfer,prefill吞吐最高1.04x,64x GB300上decode步长缩短1.1%–7.4%。
匹配字段标题
swyx 指出 DeepSeek 在知乎披露了更多细节：基于自研框架 DeepInfer 为 DeepSeek V4.1 Flash 搭建高吞吐低延迟大规模推理服务，单集群吞吐达 155 trillion tokens/day，按非高峰价格计算每卡每小时收入 38 美元。他按每 GPU 小时约 5-10 美元的成本估算，认为 DeepSeek 按其定价可做到约 80% 的服务毛利。他同时提到 DeepSeek 已开源 DeepInfer 推理框架。
匹配字段标题
Latent Space 播客访谈 Leash Bio 联合创始人 Ian Quigley，讨论该公司如何驯服 DNA 编码化合物库（DEL）并从中提取干净可复现的蛋白质与小分子相互作用数据。访谈提到其 Kaggle 竞赛中约 2000 支队伍在未见化学库上无人超过随机水平，以及模型能从分子结构猜出化学家身份、Hermes 仅用自家数据在公开基准上与 Boltz 持平。Ian 还预告团队正把多年积累的数据做成数万个 lab-in-the-loop 模拟，供智能体做可验证的科学推理，该工作后来发展为 Minos 并发布预印本、博客和开放数据集。
匹配字段标题
Solidot 转载的一篇分析以标题给出 Sora 的成本与收入对比：每天推理成本最高 1500 万美元，总收入仅为 210 万美元。正文未提供更多细节。
匹配字段标题
Gartner预测2026年全球推理支出将达233亿美元，首次超过190亿美元的训练支出，占AI IaaS总支出的55%；中国信通院报告预计2026年推理算力占AI算力总负载的70.5%。多位业内人士指出，Hugging Face权重下载量与OpenRouter Token调用量常被混同为出海成绩，但Token调用量不等于收入，Token出海本质是推理服务出海，与实际收入关系更直接。公有云巨头、独立MaaS推理服务商和GPU厂商正纷纷布局Token工厂，合规与全球低延迟分发是当前主要卡点。
匹配字段标题
Cerebras 发文解释分离式推理，即把 LLM 推理的 prefill 与 decode 拆到不同硬件上运行。文中提到 3 月 13 日 AWS 与 Cerebras 宣布分离式推理合作，由 AWS Trainium 负责 prefill、Cerebras CS-3 负责 decode，通过 EFA 网络连接并在 Amazon Bedrock 上提供。Cerebras 称该方案预计可将 token 吞吐提升至聚合方案的 5 倍，并援引研究称智能体负载的 P95 延迟最多改善 4.5 倍。
匹配字段标题
唐杰（jietang）复盘了 GLM-5.3-Flash 从在国内加速器上首次跑通到承载全部生产流量仅用两周的过程，端到端吞吐提升 3.2 倍，其中大量工作由基于 GLM-5.3 的 Infra Agent 完成。他指出智能体卡住的原因往往不是写不出代码，而是不知道性能为何变差，因此团队构建了可被直接调用的分层验证接口，即密集反馈，包括正确性、系统行为和性能三类信号。智能体据此发现并修复了 KDA 上下文并行路径的 TF32 精度漂移（修复已合入 Flash Linear Attention PR #1180）、KV 传输未与 DeepEP dispatch 重叠导致的开销（从超过 30% 降至 1% 以下），以及 decode kernel 重复计算归一化的问题（提速 1.71 倍）。他强调人类仍负责定义目标、搭建反馈环境和审查高风险改动，但工程师的角色正从解决问题转向设计反馈。
匹配字段标题
百度美研在十年前投资晶圆级芯片公司 Cerebras，以降低 AI 计算中的通信成本并减少对英伟达的依赖。文章回顾了其流片、散热、电源和编译器等工程难题，并认为 CUDA 生态使训练迁移成本较高，而推理需求增长正为 Cerebras 等异构芯片带来新窗口。
匹配字段标题
Redis 作者 antirez 发文谈 DwarfStar 4（DS4）项目意外走红的原因，认为准前沿模型的发布加上 2/8 bit 非对称量化方案，让 96 或 128GB 内存足以在本地运行，同时 GPT 5.5 也加快了开发。他表示这是自己第一次把本地模型用于原本会交给 Claude 或 GPT 的正式工作，并称 DeepSeek v4 Flash 表现令人印象深刻。后续项目将聚焦质量基准、内置编码智能体、本地 CI 硬件、更多移植以及串行与并行分布式推理。
匹配字段标题
Jakub Pachocki 表示，思维链忠实性与可解释性显著影响了 OpenAI 从 o1-preview 开始的推理模型设计。随着 AI 投入更多算力处理长期研究问题，隐藏思维链可为监控内部过程和验证模型意图提供途径。OpenAI 正加大对“为可解释性而训练”的研究投入，以兼顾推理解释能力与可验证性。
匹配字段标题
2026年10月16日,vLLM博客发布技术复盘《Hyper Optimizing Kimi K3 in vLLM: Moving Fast and Responsibly》。据钛媒体·AGI报道,英伟达CentML工程师Benjamin Chislett用1.2万行CuTe DSL编写的Megakernel优化月之暗面Kimi K3推理;vLLM博客报告batch 1下超过840 tokens/s、多配置解码吞吐提升1.5至2倍,SemiAnalysis测算GB300 NVL72上达423 tok/s/user、提升1.68倍。vLLM博客称智能体优化的推理代码正超过人类审查与维护速度,团队因此提出fast-track model optimization RFC,让审查者从高层抽象判断设计而非逐行审代码。报道还提到英伟达正为vLLM开发DeepSeek V4.1等其他模型的优化。
匹配字段标题
2026年10月20日,DeepSeek宣布开源其内部生产级推理框架DeepInfer。据Latent Space报道,该框架支撑DeepSeek-V4.1-Flash,基于vLLM定制,支持分布式推理、投机解码、SWA Bounded Replay和结构化输出,目标平台为NVIDIA SM100与华为昇腾950;公布的单集群生产数据为每天处理155万亿token、96%输入缓存命中、首token延迟400ms、生成速度230 tokens/s。报道同时指出,KV cache管理和负载均衡等组件尚未完全开源。次日,DeepSeek在知乎发布DeepInfer技术报告,公开Prefill与Decode的硬件选型、KVCache目标等内部细节,并给出单一集群服务吞吐155万亿Tokens/天、按谷价每卡每小时38美金的数据。目前该框架已开源,但完整服务所需的KV缓存系统、Prefill/Decode解耦和负载均衡未完全包含在本次开源项目中。
匹配字段标题
2026年10月20日,DeepSeek开源内部推理框架DeepInfer。据Yuchen Jin引用DeepSeek披露的数据,单个集群每天处理155万亿token,每GPU小时产生38美元收入(非高峰定价),DeepInfer同时支持NVIDIA Blackwell和华为昇腾;36氪后续报道称其配套开源deepseek-recipe,支持英伟达SM100 GPU与华为昇腾Ascend 950 NPU。10月21日,swyx引用Latent.Space数据称单集群日处理155T tokens、输入缓存命中率96%,认为每块已售GPU生命周期价值上涨约30%。10月24日,Nathan Lambert称DeepSeek单集群日处理150T tokens,超过OpenRouter、Fireworks、Together和BaseTen开源模型推理量之和,并指出实际集群数量不明;同日LMSYS公布同硬件基准对比,称SGLang在DeepInfer自有基准上达到或超过DeepInfer,prefill吞吐最高1.04x,64x GB300上decode步长缩短1.1%–7.4%。
匹配字段标题