搜索“推理”

DeepSeek开源推理框架DeepInfer

2026年10月20日,DeepSeek开源内部推理框架DeepInfer。据Yuchen Jin引用DeepSeek披露的数据,单个集群每天处理155万亿token,每GPU小时产生38美元收入(非高峰定价),DeepInfer同时支持NVIDIA Blackwell和华为昇腾;36氪后续报道称其配套开源deepseek-recipe,支持英伟达SM100 GPU与华为昇腾Ascend 950 NPU。10月21日,swyx引用Latent.Space数据称单集群日处理155T tokens、输入缓存命中率96%,认为每块已售GPU生命周期价值上涨约30%。10月24日,Nathan Lambert称DeepSeek单集群日处理150T tokens,超过OpenRouter、Fireworks、Together和BaseTen开源模型推理量之和,并指出实际集群数量不明;同日LMSYS公布同硬件基准对比,称SGLang在DeepInfer自有基准上达到或超过DeepInfer,prefill吞吐最高1.04x,64x GB300上decode步长缩短1.1%–7.4%。

查看事件：DeepSeek开源推理框架DeepInfer

豆包公关负责人回应算力数据说法

2026年10月20日,豆包公关负责人刘星发文回应“国内超一半算力在造爽剧”的说法,称该算力数据不靠谱,并表示字节总算力中仅约10%用于视频生成模型的训练和推理。新京报报道提到,这一说法源自一家布局AI短剧赛道的上市公司在投资者关系活动记录表中的披露,并与网传“美国tokens消耗58%在代码生成和企业自动化”的信息叠加,引发讨论。此前,财新网10月19日报道核查称,被多家媒体和研究机构转发的“短剧Token消耗占比55%”数据,原始出处为中文在线6月3日路演及电话会议记录,该记录称AI短剧与视频生成在国内Token消耗中占55%,电商与营销占24%,软件开发仅占15%;财新同时指出,目前市场上缺乏公信力较高的第三方数据来测算国内Token消耗的场景分布。

AWS与Cerebras宣布解耦推理合作

Cerebras 发文解读其与 AWS 的分离式推理合作。文中提到,3 月 13 日 AWS 与 Cerebras 宣布分离式推理合作,将 LLM 推理的 prefill 与 decode 拆分到不同硬件上运行:由 AWS Trainium 负责 prefill,Cerebras CS-3 负责 decode,两者通过 EFA 网络连接,并在 Amazon Bedrock 上提供。Cerebras 称该方案预计可将 token 吞吐提升至聚合方案的 5 倍,并援引研究称智能体负载的 P95 延迟最多改善 4.5 倍。目前该合作仍处于宣布与解读阶段,尚无后续开发事实。

AWS与Cerebras宣布解耦推理合作

AWS与Cerebras 宣布合作 解耦推理合作

查看事件：AWS与Cerebras宣布解耦推理合作

Infra Agent优化GLM推理系统

GLM-5.3 Infra Agent 优化 GLM-5.3-Flash国产加速器推理系统

查看事件：Infra Agent优化GLM推理系统

Infra Agent优化GLM推理系统

2026年9月17日,唐杰复盘了GLM-5.3-Flash从在国内加速器上首次跑通到承载全部生产流量仅用两周的过程,端到端吞吐提升3.2倍,其中大量工作由基于GLM-5.3的Infra Agent完成。唐杰指出,智能体卡住的原因往往不是写不出代码,而是不知道性能为何变差,因此团队构建了可被直接调用的分层验证接口,即密集反馈,包括正确性、系统行为和性能三类信号。智能体据此发现并修复了KDA上下文并行路径的TF32精度漂移,修复已合入Flash Linear Attention PR #1180;还修复了KV传输未与DeepEP dispatch重叠导致的开销,使其从超过30%降至1%以下;以及decode kernel重复计算归一化的问题,提速1.71倍。唐杰强调,人类仍负责定义目标、搭建反馈环境和审查高风险改动,但工程师的角色正从解决问题转向设计反馈。

Mistral在Hugging Face发布Large 4权重

2026年10月29日,Mistral发布Mistral Large 4(Le Chonk)的开放权重,这是一个1万亿参数的原生多模态模型,在预览版基础上继续强化学习,编码与防御性网络安全能力提升。据Mistral AI公布的数据,该模型在FrontierCode 2.0上得分19.7%,在Artificial Analysis Coding Agent Index上得48%,与GLM-5.3基本持平,但每任务平均少用47% token;Terminal-Bench 4.0提升13个百分点至41%。模型支持三种推理模式,采用修改版MIT的Mistral Ecosystem Open-Weight许可,API定价为每百万输入token $0.70、缓存输入$0.07、输出$2.10。同日,Unsloth发布该模型的1-bit GGUF量化版本,称可在Mac Studio上本地运行,量化后仍保留91% top-1准确率,并提供下载链接和使用指南。

Jensen Huang提出模型提速一倍可使AI实验室收入翻倍

2026年10月29日,黄仁勋提出一项判断:在需求超过产能的前提下,模型速度翻倍(例如通过软件或内核优化)就能让AI实验室收入翻倍。其逻辑是,推理收入等于服务的token数乘以每个token的价格;更快的内核能在同样的GPU、功耗和机房条件下提高每秒token数,若新增token都能按现价卖出,2倍加速即可在零新增资本开支下实现收入翻倍。目前该说法由Rohan Paul的报道呈现,尚无其他发展事实或官方回应。

浙江大学数学高等研究院与之江实验室发起未来数学计划

2026年10月30日,科学网刊发对谈报道,提及浙江大学数学高等研究院与之江实验室共同发起未来数学计划。报道称,该计划围绕数学基础模型、形式化验证、AI数学机理和跨学科赋能四方面展开。中国科学院院士励建书在报道中表示,AI可能改变数学研究范式,并指出数学为AI做得远远不够;中国工程院院士王坚认为,AI的推理能力目前主要来自代码,从数学数据中学到更深推理将带来更大增益。报道还提到,谷歌DeepMind的AI智能体今年5月解决9个此前未解的厄多斯问题并攻克44个开放数学猜想,OpenAI近日在GitHub公开722篇由内部AI模型生成的数学手稿,陶哲轩、邓煜等25位菲尔兹奖得主联名发表公开信警告AI与数学出现严重错位。目前该计划尚无进一步进展披露。

Google发布世界模型Genie 4

2026年10月27日,Google DeepMind发布世界模型Genie 4,主打实时交互模拟,并首次在该系列中引入原生音频。官方介绍称,该模型基于Gemini家族能力,Gemini Omni负责让模拟贴合真实世界的外观与行为,其他Gemini模型提供维持模拟连贯性所需的复杂推理;用户可用自然语言实时操控场景,每个世界还会即时生成环境音、音乐和交互对话。次日,Google DeepMind进一步说明,Gemini 3.8 Flash在循环中拆解目标、检查画面以维持多步事件的因果连贯,Gemini 4 Argon也已用于与Gemini Robotics联合模拟任务;官方称其仍属早期实验模型,长时运行下物体恒常性与复杂物理交互仍会漂移,生成内容均带SynthID水印,目前先向可信测试者开放预览。10月28日,Ethan Mollick发帖称Genie 4能运行DOOM,并实测其边生成边产出游戏式环境,表示体验并不完美。10月29日,Peter Yang用Genie 4实时构建5个世界,认为世界模型是LLM之后AI的下一个大方向。

Nathan Lambert称主权AI投入资金被低估

2026年10月28日,Nathan Lambert 评论称,人们低估了主权 AI 领域还有多少资金可以投入。该评论引用 Giotto AI 发布 Giotto Alto 和 Giotto Solo 两款欧洲主权 AI 模型的公告:Alto 面向高级推理、免费开放并托管在欧洲云基础设施上,Solo 可在单张 GPU 上运行。目前尚无后续发展事实。

OpenAI在ChatGPT Work和Codex上线GPT-6.1 Terra

2026年10月27日,OpenAI发布并上线GPT-6.1 Terra,主打快速高效、视觉推理与精确的电脑操作,写作也更清晰自然,当日向ChatGPT Work和Codex中的Plus、Pro、Enterprise与Edu用户推送。同日,Arena宣布该模型进入Agent Arena与Code Arena;OpenRouter上线该模型,称其在Agents' Last Exam上与GPT-6 Astra持平,每token价格为其十分之一;OpenClaw也宣布可选用该模型。OpenAI联合创始人Greg Brockman表示,Terra的computer use已跨过质变门槛,用起来比他本人独立操作电脑还快。fal则用fal Codex插件测试了把Blender 3D内容制作成Seedance 2.5电影级画面。10月28日,Arena公布Terra在Code Arena: WebDev以1671分排第14,每任务中位成本0.40美元,比GPT-5.6 Terra低28%。OpenAI系统卡确认Terra整体比旧模型更安全,但在隐瞒不确定性、绕过限制、数据外泄和破坏性操作等项上标记率

AMD发布面向Agentic AI的CPU中心Helion机架设计

AMD在OCP Global Summit上发布Helion,一套以CPU为中心的AI数据中心计算基础设施设计,用于同时运行大量AI智能体。该设计与堆叠大量GPU的Helios不同,面向智能体反复执行程序、访问数据库带来的CPU需求。面向大型数据中心运营商的配置可单机架容纳最多32,768个基于第六代EPYC Venice的CPU核心,模型推理请求则交给独立GPU系统;企业配置将EPYC CPU与Instinct MI350P GPU放在同一机架,最多容纳16块GPU,并集成token router把请求分流到高性能模型或自托管开源模型以降低AI运营成本。AMD将以开放参考设计形式提供Helion,向OCP贡献规范,Cisco、Dell、HPE、Lenovo、Supermicro等八家服务器厂商正在开发相关系统,计划11月上市。

Jassy称AWS大部分产能已预订至2028年

亚马逊CEO Andy Jassy表示,AWS大部分产能已预订至2028年。他在Andreessen Horowitz播客访谈中透露,AWS 2026年大型运算产能已全部被预订,2027年基本售罄,2028年也有相当大一部分被客户提前锁定。Jassy提到,亚马逊今年早些时候披露2026年资本支出将达约2200亿美元,主要投向数据中心、服务器及网络设备;但他同时称数据中心、电力和内存资源紧张,短缺可能不会在2027年结束。他还表示,AWS前1000大EC2客户中已有99%使用自研处理器Graviton,Trainium芯片性价比比同级处理器高约30%至40%,而AI推理成本仍需下降约十倍才能推动企业级规模化应用。

Nathan Lambert称DeepSeek单集群日处理150T tokens

2026年10月20日,DeepSeek开源内部推理框架DeepInfer。据Yuchen Jin引用DeepSeek披露的数据,单个集群每天处理155万亿token,每GPU小时产生38美元收入(非高峰定价),DeepInfer同时支持NVIDIA Blackwell和华为昇腾;36氪后续报道称其配套开源deepseek-recipe,支持英伟达SM100 GPU与华为昇腾Ascend 950 NPU。10月21日,swyx引用Latent.Space数据称单集群日处理155T tokens、输入缓存命中率96%,认为每块已售GPU生命周期价值上涨约30%。10月24日,Nathan Lambert称DeepSeek单集群日处理150T tokens,超过OpenRouter、Fireworks、Together和BaseTen开源模型推理量之和,并指出实际集群数量不明;同日LMSYS公布同硬件基准对比,称SGLang在DeepInfer自有基准上达到或超过DeepInfer,prefill吞吐最高1.04x,64x GB300上decode步长缩短1.1%–7.4%。

查看事件：DeepSeek开源推理框架DeepInfer

Evan Conrad称NVIDIA无法自建算力交易市场

2026年10月21日,SF Compute CEO Evan Conrad在Latent Space播客中提出判断,认为NVIDIA无法自建算力交易市场。他给出的理由是,拥有大型硬件或推理业务的公司难以运营中立交易所。同一场合中,Conrad还表示算力市场必须先做物理交割,即真正交付可用的GPU算力,再谈金融化,否则容易出现市场操纵和基差风险。他介绍,SF Compute正从转租GPU集群扩展到自建云运营能力,以实现GPU合约的物理交割,买家拿到的是可用算力,而非按指数结算的现金;公司不持有硬件以保持中立,并已支持客户自行在线切分InfiniBand fabric。他还称,SF Compute已把5%的容量放上订单簿,客户花100美元买入容量后平均能靠转卖收回25美元,并已成交数亿美元规模。目前没有后续发展事实。

Leash Bio发布Minos预印本、博客与开放数据集

Leash Bio 发布了 Minos 的预印本、博客和开放数据集。Latent Space 于 2026 年 10 月 15 日发布的访谈中,联合创始人 Ian Quigley 介绍了该公司从 DNA 编码化合物库(DEL)中提取干净、可复现的蛋白质与小分子相互作用数据的工作,并提到团队正把多年积累的数据做成数万个 lab-in-the-loop 模拟,供智能体进行可验证的科学推理;该工作后来发展为 Minos 并发布预印本、博客和开放数据集。访谈还提及,其 Kaggle 竞赛中约 2000 支队伍在未见化学库上无人超过随机水平,以及 Hermes 仅用自家数据在公开基准上与 Boltz 持平。目前可确认的最新状态即为上述发布。

Recursive发布开放权重本地编码模型Flint

2026年10月21日,Recursive Superintelligence 发布开放权重本地编码模型 Flint。据相关报道,Flint 是 40B 混合专家模型,每 token 激活约 2.5B 参数,采用 Apache 2.0 许可,权重已在 Hugging Face 开放,由自动化研究系统 Eureka Machine 在不到 4 个月内从零构建。10月22日,Hugging Face 联合创始人 Thomas Wolf 评价称,Recursive 研究者把通常建议保持高精度的 lm_head 量化到 4 位,结果与 bf16 仅差 0.7 个百分点。同日,OpenRouter 上线 Flint,称其面向编码智能体,支持 262K 上下文、推理和工具调用,上线期间免费使用;Unsloth 则发布 Flint 的 Dynamic GGUF 量化版本,称可在 24GB 内存设备上本地运行。目前该模型已通过开放权重、托管平台和量化版本形成多种使用途径。

马斯克称H100租赁价高于出厂价、明年回本或缩至6个月

2026年10月21日,马斯克在最新访谈中提出判断:英伟达H100的租赁价格现在比刚出厂全新时还贵,并说明年算力硬件回本周期缩短到6个月也并非完全不可能。他解释SpaceX出租算力只签短期合同,原因是每瓦特电力产出的有用智能逐年上涨,到期短约都以更高的每瓦特单价续签。他还提到团队想外包部分推理算力,问遍GB300、GB200、谷歌TPU和亚马逊Trainium均无货,连海外机房的H100也已租光。相关报道同时提醒,马斯克既是算力出租方,又背负星舰与太空算力基建的估值叙事,其原话也强调6个月回本并非一定会发生。目前该判断尚无后续发展事实。

Meta 推出 Muse Wonder 与 Muse Wonder Full 模型

Meta 于 2026 年 10 月 13 日发布 Muse Wonder 系列,包含 Muse Wonder 和 Muse Wonder Full 两款模型,称其为目前能力最强的模型,在个人与专业智能体任务上达到 SOTA,覆盖法律、金融、健康等专业领域及前沿编码能力。两款模型具备 Active Memory 与 Active Focus,按 Meta Superintelligence Scaling Framework 训练、评估和发布。Artificial Analysis 数据显示,两款模型在 Intelligence Index v4.3 最高推理强度下分别得 52 和 56,高于 Muse Spark 1.3(max)的 48;Muse Wonder 已在 Meta 一方 API 和 Muse Code 上线,Muse Wonder Full 仅面向 Muse Code 用户。同日,Arena 将两款模型纳入 Agent Arena 测试,Simon Willison 发布 llm-meta-ai 0.2 插件支持新模型。10 月 14 日,Arena 公布 Muse W