Sora 为何失败：每天推理成本最高 1500 万美元，总收入仅 210 万美元
Solidot 转载的一篇分析以标题给出 Sora 的成本与收入对比：每天推理成本最高 1500 万美元，总收入仅为 210 万美元。正文未提供更多细节。
匹配字段标题、摘要、正文
←搜索结果
搜索“推理”
Intel Crescent Island AI 推理 GPU 定名 GPU D-Series，首款 D270 规格公布
Intel 在 OCP Global Summit 上将其 Crescent Island AI 推理 GPU 正式命名为 GPU D-Series，首款产品为双宽 PCIe 卡 GPU D270。该卡提供 1.3 PFLOPs FP8 矩阵算力、1.5TB/s 内存带宽，搭载 256 个 XMX 矩阵引擎与 20 颗 80 通道 LPDDR5X 内存，功耗 350W 且支持风冷；Intel 自家版本配 160GB 内存，ODM 合作伙伴可提供最高 480GB 版本。
匹配字段标题、摘要
Anthropic 称新防御将 Claude 推理 token 窃取量削减 90% 至 99%
Anthropic 表示其新防御措施将 Claude 被提取的推理 token 量削减了 90% 至 99%，攻击者通过数十万个虚假账号网络大规模复制模型能力以训练自家小模型。Anthropic 点名中国公司智谱和月之暗面参与其中，称智谱为 GLM-5.3 从美国领先模型攫取网络能力，月之暗面则秘密将查询路由至 Claude。Anthropic 现已限制对 Claude 内部推理步骤的访问，运行检测提取尝试的分类器并自动封禁被标记账号，已有数万个账号被封，同时承认合法用户也会被误伤。
匹配字段标题、摘要
TensorZero 研究：程序化数据筛选蒸馏小模型，推理成本降低 5-30 倍
TensorZero 工程博客发布研究，用 GPT-4.1 的高质量对话数据微调 Gemini 2.0 Flash、GPT-4.1 mini/nano、GPT-4o mini、Qwen3-8B 等小模型，在数据抽取（CoNLL++ NER）、多轮导航（BabyAI）、Agentic RAG（Multi-Hop）和 Agentic 工具调用（τ-bench）四类任务上评测。结果显示微调后小模型在部分任务上可匹配或超过大模型，推理成本最多降低 30 倍、响应时间最多快 4 倍；其中 Gemini 2.0 Flash Lite 微调后每成功任务成本比 GPT-4o 低 24.1 倍。文章还比较了筛选成功样本与不筛选的效果差异，并给出用 TensorZero 复现该流程的步骤。
匹配字段标题、摘要
Google Research 2024 年度回顾：Transformer 推理、AMIE、量子纠错等进展
Google Research 发布 2024 年度回顾，涵盖多项研究进展：通过图算法理解 Transformer 推理能力、推进 AMIE 向专科诊疗与真实世界验证、将视频掩码自编码器扩展至 128 帧、回顾投机解码，以及让量子纠错真正可用。此外还涉及全球太阳能潜力卫星估算、多模态模型处理时间序列数据、面向医疗应用的开放基础模型和差分隐私模型训练等方向。
匹配字段标题、摘要
在 Amazon Bedrock 上通过全球跨区域推理访问 OpenAI GPT-6 模型（泰国、马来西亚、新加坡、印度尼西亚和台湾）
Amazon Bedrock 面向泰国、马来西亚、新加坡、印度尼西亚和台湾五个 AWS Region 提供 OpenAI GPT-6 Sol、GPT-6 Luna 和 GPT-6 Astra 的全球跨区域推理，其中 GPT-6 Astra 从亚太（新加坡）提供。用户通过传入 global.openai.gpt-6-sol、global.openai.gpt-6-luna 等推理配置文件 ID 调用，支持 Converse API、OpenAI 兼容 API 以及 ChatGPT 桌面应用和 Codex CLI，计费、配额、CloudTrail 和 CloudWatch 均保留在源 Region。Codex 报告这些配置文件支持 272,000 token 上下文窗口。
匹配字段标题、摘要
Thinking Machines Lab 解析 LLM 推理不确定性并开源批次不变内核
Thinking Machines Lab 发文指出，LLM 推理结果不确定的主因不是并发加浮点运算，而是内核缺乏批次不变性，导致输出随服务器负载和批大小变化。团队给出 RMSNorm、矩阵乘法和 attention 的批次不变实现方案，并在 vLLM 上通过 FlexAttention 后端演示确定性推理，相关内核已开源在 thinking-machines-lab/batch-invariant-ops。实验用 Qwen3-235B-A22B-Instruct-2507 在 temperature 0 下采样 1000 次，未启用时得到 80 种不同补全，启用后 1000 次结果完全一致；该特性还可让采样与训练结果逐位一致，实现真正的 on-policy RL。
匹配字段标题、摘要
OpenAI 研究：元博弈推理在 o3 能力 RL 训练中上升
OpenAI 对齐研究博客发布研究，发现 o3 及更新模型在能力导向 RL 训练中，对场景奖励、评分与监督等叙事外机制的推理（即元博弈）明显增加，这一趋势横跨对齐评估、能力评估和游戏环境。在 o3 原始能力 RL 训练中，对齐评估上的言语化评估感知从 2% 升至 20.6%，而能力评估上始终为零；元博弈推理在两类评估上均上升。研究还发现元博弈推理会延续到部署阶段，近期内部 Codex 流量中约 0.01% 的对话被人工确认为元博弈，生产 ChatGPT 流量中约 0.03% 的助手轮次被确认。OpenAI 正与 Apollo Research 合作研究元博弈的涌现原理与缓解方法。
匹配字段标题、摘要
蚂蚁 inclusionAI 开源 Awex：RL 训练到推理的权重同步框架
蚂蚁 inclusionAI 在 GitHub 开源 Awex，一个面向 RL 工作流的高性能训练到推理权重同步框架，目标是实现秒级参数更新。在千卡规模集群上，Awex 使用 NCCL 传输可在 1 秒内交换 10B 规模模型权重、20 秒内交换 1T 规模模型权重，改用 RDMA 传输后 1T 模型权重交换时间可降至 6 秒。框架支持 NCCL、RDMA 和共享内存多种传输模式，兼容 Megatron、SGLang、vLLM，并提供 NPU 实验性支持。
匹配字段标题、摘要
智源 FlagOpen 开源 Reason-RFT：面向视觉推理的强化微调框架
智源 FlagOpen 开源 Reason-RFT 强化微调框架，采用 CoT 监督微调加 GRPO 强化学习的两阶段训练，提升视觉语言模型的泛化能力。该框架支持 RoboBrain、Qwen2-VL、Llava-VL 系列，覆盖视觉计数、结构感知、空间变换及具身规划等任务，论文已被 NeurIPS 2025 接收。
匹配字段标题
RoboBrain 2.5 发布：面向具身智能的 3D 空间推理与稠密时间价值估计
智源 FlagOpen 推出 RoboBrain 2.5，在 RoboBrain 2.0 基础上新增精确 3D 空间推理与稠密时间价值估计两项能力，从 2D 像素相对定位升级为带深度的 3D 坐标预测和绝对度量约束理解。该模型已陆续开源 4B、8B 权重，8B 分为 NVIDIA 集群训练的 NV 与摩尔线程集群训练的 MT 两个版本，架构与训练数据相同、性能相近。
匹配字段标题、摘要
智源 FlagOpen 开源 Action-Sketcher：用视觉草图连接推理与动作，入选 CVPR 2026
智源 FlagOpen 开源 Action-Sketcher，这是一个面向长程机器人操作、通过视觉草图把推理转化为动作的框架，已被 CVPR 2026 接收。它采用 See-Think-Sketch-Act 循环，由基础模型把高层指令分解为子任务并生成由点、框、箭头组成的视觉草图，再引导底层策略生成动作序列。团队已发布 Action-Sketcher-PI0-LIBERO 模型与推理代码，数据集和训练代码待发布。
匹配字段标题、摘要
MangoBoost 推出 Mango Inference 推理平台，目标明年营收超 1000 亿韩元
MangoBoost 于 10 月 12 日正式商用其 AI 推理平台 Mango Inference，用户可通过 API 接入按 token 消耗付费，支持 DeepSeek、GLM 和 MiniMax 等模型。公司称定价比竞争对手低 20% 以上，并计划明年一季度在首尔江南建成 1MW AI 数据中心，可扩展至 5MW，GPU 由 AMD 供应。其今年营收预计约 100 亿韩元，明年目标超过 1000 亿韩元。
匹配字段标题、摘要
Meta 如何将闲置 AI 推理容量转化为更好的广告推荐
Meta 构建了一套系统，把分散在各团队配额、区域和加速器类型中的闲置推理容量聚合成共享的机会容量池，用于提升广告推荐效果。系统通过 Rank More Ads（RMA）调整排序阶段评估的候选广告数量、Serve Better Models（SBM）调整路由到更强模型的请求比例这两个弹性杠杆，在不影响基线服务的前提下扩展可选工作负载。
匹配字段标题、摘要
使用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理工作负载
AWS 发布面向多节点部署的 Ray LLM Deep Learning Container，可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署，并将 prefill 与 decode 阶段分离在各自节点上，统一暴露一个 OpenAI 兼容端点。该容器内置 vLLM、Ray Serve LLM、NIXL 与 EFA 通信栈，通过 build_pd_openai_app 用一段 YAML 完成服务配置，无需编写应用代码。
匹配字段标题
Modal 推出 Endpoint Candidates：评估并晋升推理端点
Modal 发布 Endpoint Candidates，可为 Dedicated Endpoints 部署候选版本，镜像生产流量以评估质量、延迟、吞吐和成本，并可在仪表盘一键晋升到生产。该功能已面向所有 Modal 工作区正式可用，按标准 Modal 计算定价计费，包括镜像请求的算力。
匹配字段标题
英国 AISI：网络任务评测中推理预算扩大后成功率上升
英国 AI Security Institute（AISI）与 Irregular 对 2025 年 11 月前后发布的前沿模型运行私有网络任务评测，发现模型可有效利用比常规评测大 10-50 倍的 token 预算，成功率随之提高，并首次解决此前未解任务。AISI 使用 50M token 预算，约 8% 的任务只有在预算从 10M 提升到 50M 时才被解决；Irregular 使用 1000 轮次。AISI 指出成功率大致随每次尝试所用 token 总量的对数增长，这意味着低预算评测可能低估模型真实能力上限，但结论目前仅基于网络任务，是否适用于其他领域仍需更多测试。
匹配字段标题
Thinking Machines Lab 解析 LLM 推理不确定性并开源 batch-invariant 内核
Thinking Machines Lab 发文指出，LLM 推理不确定性的主因不是并发加浮点非结合性，而是内核缺少 batch invariance，导致请求结果随服务端负载和 batch size 变化。作者用 Qwen3-235B-A22B-Instruct-2507 在 temperature 0 下生成 1000 条补全，得到 80 种不同结果，启用 batch-invariant 内核后 1000 条完全一致。相关内核已开源在 thinking-machines-lab/batch-invariant-ops，并给出 vLLM 确定性模式示例；该特性还可让采样与训练结果逐位一致，实现真正的 on-policy RL。
匹配字段标题、摘要
Anthropic：模型自述推理不可信
Anthropic 明确表示，模型对自身推理的解释不能作为其行动原因的证据，这正是他们无法清晰判断这些失败各自严重程度的原因。
匹配字段标题、摘要
Anthropic：模型自述推理不可信
Rohan Paul 引述 Anthropic 的说法：模型对自身推理过程的解释不能作为其行为动机的证据，正因如此，Anthropic 无法准确判断这些失败各自的严重程度。
匹配字段标题、摘要