DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，目标是帮助开发者与企业优化大规模推理的吞吐与延迟、降低算力成本。DeepInfer 集成高性能算子与推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出，兼容英伟达与华为昇腾平台。同步开源的还有生产级 Token 编解码组件 deepseek-recipe，与官方 API 处理逻辑完整对齐；DeepSeek 已基于 DeepInfer 提供 DeepSeek V4.1 Flash 的大规模推理服务。
匹配字段标题、摘要、正文
vLLM 新增基于 push 的 NIXL connector，把 prefill 后的传输协调与建立过程移出关键路径，在 1P1D 的 Amazon EC2 P5en + EFA 部署上，Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 最高提升 30%。该功能先在 AWS Trainium 集群上构建验证，随后作为与加速器无关的特性贡献给 vLLM，pull 模式下由 decode 实例发起 NIXL READ 的串行步骤被改为由 prefill 侧后台线程发起 NIXL WRITE。
匹配字段标题
MiniMax 于 10 月 19 日更新模型 MiniMax M3.1 Flash，其早期版本曾以匿名身份“太空兔”（Space Bunny）测试，已处理超过 200T Token。该模型在 Agentic 任务、编程、Computer Use 及网络安全能力上实现代际提升，线上推理速度提升近 3 倍，使用成本降低 70%。MiniMax 称追求智能上限的 Pro 版本也会在稍后推出。
匹配字段标题、摘要、正文
由前 Google DeepMind 研究负责人、AlphaGo 共同创造者 Thore Graepel 联合创办的伦敦 AI 公司 Metis Reasoning 正式成立，寻求一条区别于 Anthropic 和 OpenAI 前沿模型的算力高效路线，据信初期融资数千万美元。公司团队共 12 人，涵盖研究者、数学家、机器人专家和技术创业者，认为 LLM 在推理上存在根本局限、结果难以验证且缺乏审计轨迹，其方法更可验证、更稳健也更安全，并称已在前沿推理问题上以远低于前沿模型的成本取得一些积极结果。Metis 尚未公布首个 AI 模型的发布时间。
匹配字段标题、摘要、正文
稀宇科技（MiniMax）于 10 月 19 日上线 MiniMax M3.1 Flash 模型，线上推理速度较此前提升近 3 倍，Agent 类任务综合使用成本降低 70%。该模型在 BankerToolBench 取得 76.2 分、DeepSWE v1.1 取得 73.7%，OSWorld V2 和 ALE 分别为 61.7 分和 29.6 分，官方称两项 Computer Use 成绩均位列国产模型第一。M3.1 Flash 已上线 MiniMax API、MPlan 和 MiniMax Code，API 输入价格为每百万 Token 1 元、输出 4 元，模型权重计划稍后开放。
匹配字段标题、摘要、正文
北京存算协同芯片企业铭芯启睿完成超4亿元A轮融资，由博原资本领投，米哈游、兆易创新等跟投，小米战投等老股东加注，并宣布启动第一代推理芯片LPU研发。前Graphcore总裁兼大中华区总经理卢涛加入担任CEO和联合创始人，资金将用于RRAM产业化与商业化及LPU研发。该公司成立于2024年5月，由中科院刘明院士团队孵化，累计融资近6亿元。
匹配字段标题、摘要、正文
Simon Willison 发布 LLM 调试插件 llm-echo 0.5，该插件提供一个不涉及 LLM 的 echo 模型，只回显输入的提示词。新版本更新了模拟 token 用量统计，将工具调用、系统提示词和推理 token 纳入计算。示例中 `llm -m echo 'hi there' -o thinking 1 --usage` 显示 2 个输入 token、24 个输出 token。
匹配字段标题、摘要
斯坦福 CS336 第 10 讲「Inference」由 Percy Liang 讲授，用一条数学主线串起架构、算法与系统三层推理优化：架构层用 GQA/MLA/CLA 降维、局部注意力截断、量化、剪枝蒸馏压缩 KV cache 与参数，算法层用投机采样实现无损加速，系统层引入连续批处理、分页、前缀共享与写时复制。讲义为可执行形式，公式由 sympy 逐步推导并断言验证。Percy 认为 KV cache 是 Transformer 对推理不友好的结构性根源，为推理原生设计的架构（SSM、线性注意力、扩散式非自回归生成）可能是最大改进空间。
匹配字段标题、摘要、正文
Intel 于 10 月 16 日发布 Intel Inference Microservice，这款容器化软件用于在 Xeon 服务器 CPU 上最大化 AI 推理性能，可快速为 CPU 优化 LLM。软件启动时会检测 Intel 处理器并套用预先验证调优的推理设置，默认推理引擎为开源 vLLM，并支持 OpenAI SDK、LangChain、LlamaIndex、LiteLLM 和 Haystack 等框架。Intel 计划将支持扩展到其全部 GPU 产品线，包括面向 AI 推理的 D 系列 GPU。
匹配字段标题、摘要
美光（Micron）正在开发面向物理 AI 的边缘推理内存 EIM，将 LPDDR 堆叠在逻辑裸片上，以降低 AI 推理延迟并提升带宽。美光副总裁 Lee Cheol 在 SEDEX 2026 上表示，正与主要客户讨论适配自动驾驶、人形机器人、AR/VR 等新兴市场的产品，并计划将 EIM 应用于 LPDDR6，业界预计 2028 年下半年量产。美光预计未来高性能人形机器人需要约 200GB DRAM 和 4TB 存储，当前服务机器人仅 12GB DRAM 和 256GB 存储。
匹配字段标题、摘要
LMSYS 发布 SGLang Low-Latency Mode，通过插件框架把专用 kernel 接入 SGLang，在 NVIDIA 和 AMD GPU 上降低推理延迟。在四块 NVIDIA GB300 上回放 AgentX trace，单并发会话的 P90 每用户 token 生成速度从 671.2 提升到 928.4 tokens/s（1.38×）；在四块 AMD MI355X 上四并发会话从 331.6 提升到 516.0 tokens/s（1.56×）。NVIDIA 侧 kernel 位于 sgl-nvidia-mega，AMD 侧位于 sgl-amd-mono，均针对 DeepSeek-V4.1-Flash 与 DSpark 的验证和草稿执行做优化。
匹配字段标题、摘要
北京大学与三星的论文提出 TORSI 方法，让慢推理模型在局间研究快模型的失败并写出指令，快模型 Jev 在实时游戏中平均得分从 13.51 提升至 24.19，6 类游戏全部改善。他们构建的 RealtimeBench 包含 Mario、Snake、Tetris 等 6 款游戏的 180 个任务，推理期间游戏持续运行；暂停时 GPT-6.1-sol 在 6 款游戏中 5 款胜过 Jev，但实时对局仅得 1.51 分，远低于 Jev 的 13.51 分。作者建议实时智能体保留快模型在环，用慢模型离线编写和测试指令。
匹配字段标题、摘要
Elorian 发布首个视觉推理模型 Glimpse，用于比较视频中不同时间点的场景变化，并在变化细微或快速时回看原片段。Elorian 将这种基于帧的推理称为 visual thinking，Glimpse 在推理过程中可回到源视频、裁剪区域、抽取指定帧或运行代码来测量和比较所见内容，该机制被称为 visual scratch space。联合创始人 Andrew M. Dai 称其在关键公开视觉推理基准上具备与 Astra 竞争的前沿性能。
匹配字段标题、摘要、正文
Andrew M. Dai 宣布推出 Glimpse，称这是 Elorian 首个视觉思考模型，在关键公开视觉推理基准上达到与 Astra 相当的前沿性能，并解决了模型只看单张静态图像、遇到运动或视角变化就失效的问题。Jeff Dean 转发并称赞 AndrewDai 和 Elorian 团队的工作。
匹配字段标题、摘要
Elorian 发布首个模型 Glimpse，以研究预览形式开放 API，聊天界面需排队等候。该模型在推理过程中可裁剪图像区域、抽取视频帧或运行代码来测量和比较所见内容，Elorian 称之为视觉草稿空间。Glimpse 定价为每百万 token 输入 0.60 美元、输出 3 美元，据 Elorian 评测在科学图表推理和短视频描述上超过 GPT-6 Astra。公司称该模型用数百块 GPU 训练，规模明显小于对标的 frontier 系统，初期面向机器人、科研实验室和媒体创意等拥有大量视频的企业。
匹配字段标题、摘要、正文
Aleph Alpha 发布开放权重模型 Kolibri-1，总参数 78B，采用 384 个专家、6 个路由专家的 MoE 结构，推理时仅激活 3.46B 参数，上下文 256K Token 并可外推至约 100 万 Token。该模型专注德语和英语，tokenizer 对德语词切分更省 Token，例如德国联邦议院术语表仅需 1137 Token，而对比的 DeepSeek-V4.1-Flash 需要 1910 Token；预训练使用 20 万亿 Token，数据截至 2026 年 6 月 18 日。作者实测其回答正确、德语推理过程明显，并称 Merlin-Arthur 协议让模型在基准中幻觉更少，但实际效果仍需在真实使用中检验。
匹配字段标题、摘要、正文
阶跃星辰（StepFun）发帖感谢 RadixArk 帮助在生产环境中支撑 Step 5 Preview，并称 SGLang 为真实工作负载提供了高效、可扩展的推理能力。被引用的 RadixArk 帖子则祝贺 Step 5 Preview 开放权重，并表示其用 SGLang 为阶跃星辰的第一方生产 API 提供规模化支持。
匹配字段标题、摘要
Philipp Schmid 分享了新版 Gemma 文档，内容涵盖模型能力、微调指南、推理优化，以及讲解模型工作原理的教学内容，并称这些资料都集中在一处。
匹配字段标题、摘要
Artificial Analysis 在 AA-AgentPerf 上发布 NVIDIA Vera Rubin NVL72 的初步结果，在 DeepSeek V4 Pro 上每兆瓦总吞吐最高约为前代 GB300 NVL72 的 5.7 倍，DeepSeek V4.1 Flash 约 5.4 倍，GLM-5.2 约 3.0 倍，Kimi K3 约 2.8 倍。Vera Rubin 是 NVIDIA Blackwell 的继任者，NVL72 为机架级系统，含 72 颗 Rubin GPU 和 36 颗 Vera CPU，每颗 GPU 内存与 Blackwell Ultra 同为 288 GB，但内存带宽为 2.4 倍、NVLink 带宽 1.7 倍、密集 NVFP4 算力 2.3 倍。AA-AgentPerf 通过回放真实智能体编码会话衡量推理性能，Vera Rubin 在 DeepSeek V4.1 Flash 上创下 906 tok/s 的单用户速度纪录。
匹配字段标题、摘要
阶跃星辰表示 Step 5 Preview 在 NVIDIA GB300 上展现出强劲的推理性能，并期待开发者基于它进行构建。NVIDIA AI 在引用推文中称这是阶跃星辰规模最大的开放权重发布，600B MoE 模型可处理长达 24 小时的智能体任务，在 NVIDIA GB300 上使用 NVFP4 时达到近 8K tokens/sec/GPU，并提供 NVFP4 checkpoint 以及 SGLang、vLLM、NeMo Automodel 和 NVIDIA NIM 的部署与后训练路径。
匹配字段标题、摘要、正文