英伟达CentML工程师Benjamin Chislett用1.2万行CuTe DSL编写的Megakernel优化月之暗面Kimi K3推理，vLLM博客报告batch 1下超过840 tokens/s、多配置解码吞吐提升1.5至2倍，SemiAnalysis测算GB300 NVL72上达423 tok/s/user、提升1.68倍。vLLM博客称智能体优化的推理代码正超过人类审查与维护速度，团队因此提出fast-track model optimization RFC，让审查者从高层抽象判断设计而非逐行审代码。文章还提到英伟达正为vLLM开发DeepSeek V4.1等其他模型的优化。
匹配字段标题、摘要、正文
Anthropic 今年第二季度收入 115.55 亿美元，首次实现 9.74 亿美元经营利润，约 80% 收入来自按量计费。IDC 数据显示，2026 年上半年中国公有云 MaaS 市场收入达 106.3 亿元，同比增长 889.4%，占公有云 PaaS 收入比重从去年下半年的 5.2% 升至 21.0%。智谱开放平台及 API 收入 8.25 亿元、占总收入 86.5%，火山引擎以 45.1% 份额居首，文章认为模型服务已能产生毛利，竞争单位转向推理优化与交付能力。
匹配字段摘要、正文
钛媒体旗下数智前线梳理了 OpenAI GPT-6 Astra 发布约 50 天来对具身智能行业的冲击：Astra 无需专门机器人数据训练即可直接控制机械臂完成画桥等任务，英伟达 Jim Fan 称其把自家机器人框架的基准刷到约 99%。但商汤联合多家机构的评测认为它已具备完成具身任务的能力，距离实用仍有明显差距，单次推理平均耗时 18.56 秒，把笔放进笔筒的任务耗时 4 个多小时、花费 55 美元。行业已出现三种用法：直接充当策略模型、审核修正 VLA 动作、搭建仿真环境与数据标注，宇树王兴兴称明年 GPT-7 可能直接打穿具身智能问题。
匹配字段摘要、正文
钛媒体旗下大模型之家对比 Anthropic 招股书与智谱中报，指出中美大模型厂商正走两条商业化路径。Anthropic 上半年营收 162.9 亿美元、净亏损 807 亿美元，其中 724 亿美元来自估值上涨带来的可转债公允价值损失，经营亏损收窄至 6.93 亿美元；智谱上半年收入 9.54 亿元、亏损 20.72 亿元，API 业务毛利率首次转正至 24.6%。文章还提到 Anthropic 未来十年算力采购承诺达 5180 亿美元，约 80% 不可取消，而智谱单位 Token 推理成本比年初下降 80%。
匹配字段摘要、正文
AI Business 报道称，截至 10 月 25 日当周，中国模型在 OpenRouter 的 token 统计中占比超过一半，而约一年前该网站周使用榜的九个模型中仅有一个来自中国。Red Hat 正在内部试点自托管 GLM，最多 1400 名工程师使用，约 70% 的推理流量流向开源模型，并以每人每月 300 美元的前沿模型配额控制成本。DataCamp 则因开源模型服务商的延迟和容量不足，正从 Anthropic 转向 OpenAI，尚未把 AI 导师迁到开源模型。
匹配字段标题、摘要、正文
黄仁勋表示，在需求超过产能的前提下，模型速度翻倍（例如通过软件或内核优化）就能让 AI 实验室收入翻倍。推理收入等于服务的 token 数乘以每个 token 的价格；更快的内核能在同样的 GPU、功耗和机房条件下提高每秒 token 数，若新增 token 都能按现价卖出，2 倍加速即可在零新增资本开支下实现收入翻倍。
匹配字段摘要、正文
亚马逊CEO安迪·贾西在a16z播客访谈中表示，公司2026年资本支出预计达2200亿美元，但2026年算力容量已售罄、2027年基本订满、2028年大量配额被锁定。他把企业AI需求描述为哑铃状，中间的大量生产系统因推理成本过高尚未深度接入，成本需再降一个数量级才会迎来爆发。贾西还提到AWS前1000客户中99%使用Graviton，性价比比x86高约40%，Trainium较同类硬件有30%到40%优势。
匹配字段标题、摘要、正文
亚马逊 CEO 安迪·贾西在 a16z 采访中表示，AI 推理成本仍高了一个数量级，要让 AI 广泛应用于企业软件，成本需降至目前的约十分之一。他称亚马逊今年计划投入 2,200 亿美元资本开支，2026 年主要算力供应额度基本订满，2027 年大部分也已被预订；自研 Trainium 芯片性价比较同类处理器高约 30% 至 40%，已获得超过 2,250 亿美元未来收入承诺。
匹配字段标题、摘要、正文
Nathan Lambert 称 DeepSeek 在单个集群上每天处理 150T tokens，超过 OpenRouter、Fireworks、Together 和 BaseTen 上开源模型推理量的总和。他同时贴出了自己对这几家公司推理量报告的重构对比图，并提到这一数字只对应单个集群，DeepSeek 实际拥有多少个集群尚不清楚。
匹配字段标题、摘要、正文
swyx 指出 DeepSeek 在知乎披露了更多细节：基于自研框架 DeepInfer 为 DeepSeek V4.1 Flash 搭建高吞吐低延迟大规模推理服务，单集群吞吐达 155 trillion tokens/day，按非高峰价格计算每卡每小时收入 38 美元。他按每 GPU 小时约 5-10 美元的成本估算，认为 DeepSeek 按其定价可做到约 80% 的服务毛利。他同时提到 DeepSeek 已开源 DeepInfer 推理框架。
匹配字段标题、摘要
Latent Space 播客访谈 Leash Bio 联合创始人 Ian Quigley，讨论该公司如何驯服 DNA 编码化合物库（DEL）并从中提取干净可复现的蛋白质与小分子相互作用数据。访谈提到其 Kaggle 竞赛中约 2000 支队伍在未见化学库上无人超过随机水平，以及模型能从分子结构猜出化学家身份、Hermes 仅用自家数据在公开基准上与 Boltz 持平。Ian 还预告团队正把多年积累的数据做成数万个 lab-in-the-loop 模拟，供智能体做可验证的科学推理，该工作后来发展为 Minos 并发布预印本、博客和开放数据集。
匹配字段标题、摘要、正文
Solidot 转载的一篇分析以标题给出 Sora 的成本与收入对比：每天推理成本最高 1500 万美元，总收入仅为 210 万美元。正文未提供更多细节。
匹配字段标题、摘要、正文
Gartner预测2026年全球推理支出将达233亿美元，首次超过190亿美元的训练支出，占AI IaaS总支出的55%；中国信通院报告预计2026年推理算力占AI算力总负载的70.5%。多位业内人士指出，Hugging Face权重下载量与OpenRouter Token调用量常被混同为出海成绩，但Token调用量不等于收入，Token出海本质是推理服务出海，与实际收入关系更直接。公有云巨头、独立MaaS推理服务商和GPU厂商正纷纷布局Token工厂，合规与全球低延迟分发是当前主要卡点。
匹配字段标题、摘要、正文
Cerebras 发文解释分离式推理，即把 LLM 推理的 prefill 与 decode 拆到不同硬件上运行。文中提到 3 月 13 日 AWS 与 Cerebras 宣布分离式推理合作，由 AWS Trainium 负责 prefill、Cerebras CS-3 负责 decode，通过 EFA 网络连接并在 Amazon Bedrock 上提供。Cerebras 称该方案预计可将 token 吞吐提升至聚合方案的 5 倍，并援引研究称智能体负载的 P95 延迟最多改善 4.5 倍。
匹配字段标题、摘要
唐杰（jietang）复盘了 GLM-5.3-Flash 从在国内加速器上首次跑通到承载全部生产流量仅用两周的过程，端到端吞吐提升 3.2 倍，其中大量工作由基于 GLM-5.3 的 Infra Agent 完成。他指出智能体卡住的原因往往不是写不出代码，而是不知道性能为何变差，因此团队构建了可被直接调用的分层验证接口，即密集反馈，包括正确性、系统行为和性能三类信号。智能体据此发现并修复了 KDA 上下文并行路径的 TF32 精度漂移（修复已合入 Flash Linear Attention PR #1180）、KV 传输未与 DeepEP dispatch 重叠导致的开销（从超过 30% 降至 1% 以下），以及 decode kernel 重复计算归一化的问题（提速 1.71 倍）。他强调人类仍负责定义目标、搭建反馈环境和审查高风险改动，但工程师的角色正从解决问题转向设计反馈。
匹配字段标题
百度美研在十年前投资晶圆级芯片公司 Cerebras，以降低 AI 计算中的通信成本并减少对英伟达的依赖。文章回顾了其流片、散热、电源和编译器等工程难题，并认为 CUDA 生态使训练迁移成本较高，而推理需求增长正为 Cerebras 等异构芯片带来新窗口。
匹配字段标题、摘要、正文
Redis 作者 antirez 发文谈 DwarfStar 4（DS4）项目意外走红的原因，认为准前沿模型的发布加上 2/8 bit 非对称量化方案，让 96 或 128GB 内存足以在本地运行，同时 GPT 5.5 也加快了开发。他表示这是自己第一次把本地模型用于原本会交给 Claude 或 GPT 的正式工作，并称 DeepSeek v4 Flash 表现令人印象深刻。后续项目将聚焦质量基准、内置编码智能体、本地 CI 硬件、更多移植以及串行与并行分布式推理。
匹配字段标题、摘要
Jakub Pachocki 表示，思维链忠实性与可解释性显著影响了 OpenAI 从 o1-preview 开始的推理模型设计。随着 AI 投入更多算力处理长期研究问题，隐藏思维链可为监控内部过程和验证模型意图提供途径。OpenAI 正加大对“为可解释性而训练”的研究投入，以兼顾推理解释能力与可验证性。
匹配字段标题、摘要
SemiAnalysis 播客解读 Anthropic 的 S-1，指出其增量毛利 90%、增量 EBIT 40%，推理毛利 85%、算力毛利 41%，non-GAAP 口径已连续两个季度盈利。客户净收入留存方面，去年同期花 1 美元的客户现在花 9 美元，Q1 节点为 500%，另有 250 家客户年付超 1000 万美元、1900 家超 100 万美元。节目还拆解了 5000 亿至 6000 亿美元算力承诺按每吉瓦 1000 亿美元折算仅约 5 吉瓦，并讨论了前五大客户占收入 25%、48% 走云厂商 marketplace 的口径分歧。
匹配字段摘要、正文
The New Stack 刊文讨论 AI 智能体崩溃后如何安全接替工作：应用在派发退款前先把金额、授权、幂等键和状态写入事务型存储，替换智能体继承原操作而非重新推理。文章指出 LangGraph、Temporal 等持久执行框架能恢复进度，但无法判断支付方是否已提交请求，因此需在工具边界校验持久记录，并用 Langfuse 与 ClickStack 的 MCP 服务只读排查结果不明的调用。
匹配字段摘要、正文