天数智芯天垓300公布基准测试，推理吞吐达H200的1.05倍
X.PIN 转述天数智芯天垓300的基准测试数据，称其在标准推理测试中吞吐量为 Nvidia H200 的 1.05 倍。在 MoE 负载下性能提升 15%、首 token 延迟降低 30%，微调 Qwen3-32B 时速度是 H100 的 1.33 倍。
匹配字段标题、摘要、正文
←搜索结果
搜索“推理”
英伟达用1.2万行Megakernel优化Kimi K3推理，vLLM称AI代码已快过人工审查
英伟达CentML工程师Benjamin Chislett用1.2万行CuTe DSL编写的Megakernel优化月之暗面Kimi K3推理，vLLM博客报告batch 1下超过840 tokens/s、多配置解码吞吐提升1.5至2倍，SemiAnalysis测算GB300 NVL72上达423 tok/s/user、提升1.68倍。vLLM博客称智能体优化的推理代码正超过人类审查与维护速度，团队因此提出fast-track model optimization RFC，让审查者从高层抽象判断设计而非逐行审代码。文章还提到英伟达正为vLLM开发DeepSeek V4.1等其他模型的优化。
匹配字段标题、摘要、正文
OpenRouter 上线新版 provider router，按请求实际成本奖励高质量推理
OpenRouter 发布自成立以来对 provider router 的最大改进，新路由不再主要按价格排序，而是按请求的实际成本奖励质量最好的推理，让请求保持低价的同时兼顾速度和可靠性。提供更高价值的 provider 会自动获得更多流量，从而有动力持续改进，而 provider 变好也会同步提升用户在 OpenRouter 上的推理体验。
匹配字段标题、摘要、正文
OpenRouter 上线新版 provider 路由器，按实际成本奖励高质量推理
OpenRouter 发布自成立以来对 provider 路由器最大的一次改进，新路由器不再主要按价格排序，而是按请求的实际成本奖励质量最好的推理，让请求保持低价的同时兼顾速度和可靠性。提供更高价值的 provider 会自动获得更多流量，从而有动力持续改进，而 provider 变好也会同步提升用户在 OpenRouter 上的推理体验。
匹配字段标题、摘要
Rohan Paul 评 Sam Altman 谈本地推理
Rohan Paul 引述 Sam Altman 对本地推理的看法：从全球资源分配角度看，让全世界有限的 DRAM 都躺在各人电脑里、只用到 5% 是很糟糕的。Rohan Paul 补充说，按每 token 成本算数据中心明显占优，batch size 1 的本地模型在任何利用率指标上都是浪费，但它也是整个技术栈里唯一没人能对你下架的部分。
匹配字段标题、摘要、正文
Eclypsium 演示受损硬件如何在推理时篡改 AI 模型
Eclypsium 在 NVIDIA 支持下演示，攻击者利用受损的 DPU 和宽松的内存隔离，可在推理过程中修改运行时模型权重，使模型回答改变，而磁盘上的模型文件和哈希校验仍显示正常。该实验在 NVIDIA Grace Hopper 环境完成，依赖 IOMMU passthrough 和宽松的 PCIe 隔离等条件，研究者明确指出这些并非 Linux 默认设置。报告将 DPU、GPU、管理控制器及其固件纳入 AI 安全边界，并指出模型签名、安全启动、运行时隔离和持续监控各自回答不同问题。
匹配字段标题、摘要、正文
Akamai 推出 AI 推理与 Agent 沙箱服务，扩展云服务版图
Akamai 于 10 月 29 日发布 Akamai Inference 和 Akamai Agent Sandbox 两个产品的 beta 版，让用户在 Akamai Cloud 上运行 AI 模型并安全执行 AI 智能体生成的代码。Akamai Inference 支持 12 个开放权重模型，包括 OpenAI 的 gpt-oss-120b、Google 的 Gemma 4 和 Nvidia 的 Nemotron 3 Ultra，并提供兼容 OpenAI 的 API。Agent Sandbox 基于 WebAssembly 隔离技术，限制代码对计算资源、网络连接和系统功能的访问。
匹配字段标题、正文
Amazon Science 与 Booking.com 用知识蒸馏加 Medusa 将 LLM 推理提速最高 20 倍
Amazon Science 与 Booking.com 将知识蒸馏与 Medusa 结合，把 70B 参数的 Llama-3.1 教师模型压缩为 1.1B 的 TinyLlama 学生模型，在保持教师模型质量的同时将推理速度提升 10 至 20 倍、成本降至三分之一以下。该方案已用于 AI Trip Planner、Smart Filters 和住宿描述生成三项功能，并在 ACL 获 Industry Track 最佳论文奖。
匹配字段标题、摘要、正文
Baseten 成为 Postman 企业智能体推荐推理合作伙伴
Baseten 成为 Postman 面向企业智能体的推荐推理合作伙伴，负责为 Postman Agent Stack 构建的智能体提供生产环境推理与后训练支持。Baseten 称其 2026 年发布的七款模型 API 在 Artificial Analysis 的吞吐与延迟排名中均进入前二，其中 Beam 1.0、DeepSeek V4.1 Flash 等位列第一。Harvey 用 Baseten 后训练 27B 开源模型，在法律智能体基准上追平闭源前沿模型，而后者每任务成本约 50 美元。
匹配字段标题、摘要、正文
闪迪称 AI 推理推高 NAND 需求，长期订单排至 2030 年
闪迪在 2027 财年第一财季财报电话会议上表示，AI 推理正在重塑 NAND 闪存供需格局，客户低估了运行 AI 基础设施所需的 NAND 容量，新型商业模式订单管道已延伸至 2030 年甚至更远。2027 财年约 50% 的位元出货已被 NBM 协议锁定，2028 财年预计升至约三分之二。闪迪同时宣布首款高带宽闪存 HBF 存储晶粒完成流片并进入制造阶段，面向 AI 推理提供接近 HBM 的读取带宽和 NAND 级容量，首批样品计划于下一个日历年交付。
匹配字段标题、摘要、正文
ARC Prize 公布 Muse Spark Open 在 ARC-AGI 上的推理扩展测试结果
ARC Prize 公布 Meta 的 Muse Spark Open 在 ARC-AGI 公开任务上的测试结果：ARC-AGI-2 随推理规模提升，medium 平均每任务 55k token 得 29.4%，high 150k token 得 51.0%，xhigh 180k token 得 57.2%。ARC-AGI-1 在 high 时已达 92.8%，xhigh 升至 94.0%。该模型在 ARC-AGI-2 上得 57.5%、每任务 0.73 美元，ARC-AGI-1 得 89.0%、每任务 0.29 美元，分数与 Haiku 5.5 和 GPT-6 Luna 相近但成本约为其 9 倍。
匹配字段标题、摘要、正文
Yuchen Jin 感慨一年前手写图像推理引擎
Yuchen Jin 分享与朋友的对话：一年前他们为图像模型构建的超快推理引擎，整个引擎都是手写完成的。他对此感慨“Holy shit. Just ONE year ago.”
匹配字段标题、摘要、正文
Perplexity CEO 问：哪些推理任务仍受限于智能
Perplexity CEO Aravind Srinivas 发帖提问：有哪些推理任务，你们仍然卡在智能水平上，而不是算力或资金上？
匹配字段标题、摘要、正文
蚂蚁百灵与英伟达优化 Ling-3.0-flash 推理
蚂蚁百灵（Ant Ling）与 NVIDIA AI 团队合作，在单台 NVIDIA DGX Spark 上用三种技术优化了开放权重模型 Ling-3.0-flash 的推理。在 1,319 道 GSM8K 题目上，解码吞吐从 37.81 tok/s 提升至 53.89 tok/s（+42.5%），平均延迟从 15.21s 降至 11.49s（-24.5%），准确率无统计上可检测的变化。
匹配字段标题、摘要、正文
持续推理的经济学：从每 token 成本到每任务成本
AI 推理正从一次性计算事件变成持续的生产负载，其成本取决于流量模式、延迟目标、模型规模、上下文长度与并发度。Stanford 2025 AI Index 显示，MMLU 上 GPT-3.5 级性能的查询价格从 2022 年 11 月的 $20/百万 token 降至 2024 年 10 月 Gemini 1.5 Flash-8B 的 $0.07/百万 token，约 18 个月下降逾 280 倍。但推理模型与智能体会生成更多 token、多次调用模型并长时间占用加速器内存，使每 token 成本与每完成任务成本日益分离，生产环境应衡量在约定服务水平下的每成功任务成本。
匹配字段标题、摘要、正文
中国开源模型进入企业：Red Hat 用 GLM 承接七成推理流量
AI Business 报道称，截至 10 月 25 日当周，中国模型在 OpenRouter 的 token 统计中占比超过一半，而约一年前该网站周使用榜的九个模型中仅有一个来自中国。Red Hat 正在内部试点自托管 GLM，最多 1400 名工程师使用，约 70% 的推理流量流向开源模型，并以每人每月 300 美元的前沿模型配额控制成本。DataCamp 则因开源模型服务商的延迟和容量不足，正从 Anthropic 转向 OpenAI，尚未把 AI 导师迁到开源模型。
匹配字段标题、摘要、正文
DeepSeek 开源推理引擎 DeepInfer，披露单集群日处理约 155 万亿 Token
DeepSeek 在 GitHub 开源推理引擎 DeepInfer，即 DeepSeek-V4.1-Flash 背后的推理引擎，包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码等技术，并披露单集群每天需处理约 155 万亿个 Token。其 Zero-Overhead Batch Scheduler 让 CPU 提前一轮安排计算，与 GPU 前向重叠，并通过 total_inflight_tokens 记账、Remap 映射和 DeferredRelease 延迟回收处理跨轮次状态错位。目前开放的是离线推理能力，线上 KV Cache 存储和跨副本负载均衡等组件尚未完整公开，官方也未单独公布该调度机制相对同步方案的端到端加速数据。
匹配字段标题、摘要、正文
Akamai 推出 AI 推理与 Agent Sandbox 服务
Akamai 发布 Akamai Inference 和 Akamai Agent Sandbox 两项服务：前者通过 OpenAI 兼容 API 提供 12 个开放权重模型，参数量从 8B 到 2.8T，包括 NVIDIA Nemotron 3 Ultra、OpenAI gpt-oss-120b 和 Google Gemma 4；后者基于 WebAssembly 隔离运行 AI 智能体生成的代码，并以 Spin 框架开源组件形式发布。Akamai 同时扩充 NVIDIA Blackwell Ultra GPU 集群，每个八卡节点配备 2.3 TB HBM3e 内存。
匹配字段标题、正文
Oracle 云将上线 Google TPU 及 OpenAI、Cerebras 等推理芯片
Oracle 宣布将在 OCI 上部署 Google TPU，以及来自 OpenAI、Cerebras、SambaNova 和 Positron AI 的推理芯片，让客户在 Nvidia GPU 之外有更多算力选择。Oracle 称将成为 Google Cloud 之外首家提供 TPU 的超大规模云厂商，TPU 与 Cerebras 晶圆级引擎计划 2027 年上线，Positron Atlas 已可用。同时 Oracle 扩大与 Nvidia 的合作，Vera Rubin NVL72 系统和 Vera CPU 已在 OCI 正式可用。
匹配字段标题、摘要、正文
Nebius 将 rollout 收集时间缩短 66.9%，智能体强化学习瓶颈在推理
Nebius 在基于 Terminal-Bench 的工作负载实验中，通过调整路由、沙箱执行和批次组装，把 256 条轨迹批次的固定权重收集时间缩短了 66.9%。Nebius AI 训练副总裁 Di Jin 指出，rollout 生成常占训练单步的大部分时间，团队应把推理引擎当作后训练 RL 优化器的一部分，并以“可训练批次时间”而非每秒 token 数衡量效率。他还强调环境构建是新的数据整理工作，未被度量的策略陈旧才是问题。
匹配字段标题、摘要、正文