OpenRouter 将对所有推理请求进行 CSAM 筛查
OpenRouter 宣布将在请求处理过程中对所有推理请求进行儿童性虐待材料（CSAM）筛查，被标记为疑似 CSAM 的内容可能被保留以供人工审核，并依法报告和保存。筛查包括将内容与已知 CSAM 的哈希值比对，也会保留未命中哈希但被分类器标记的疑似内容。该筛查同样适用于 OpenRouter 零数据保留（ZDR）政策覆盖的请求，ZDR 不豁免依法报告和保存的义务。
匹配字段标题、摘要、正文
←搜索结果
搜索“推理”
Google A2UI 推出可替换推理格式，Express 将延迟降低至多 3 倍
Google A2UI 新增可替换推理格式，其中 A2UI Express 作为新默认格式可将延迟降低至多 3 倍，生成同类 UI 所需 token 减少至多 3 倍；配合 Jev 等决策模型做布局决策时延迟降幅可达 80 倍。Express 已登陆 Python agent SDK（a2ui-agent-sdk 0.9.0）、TypeScript SDK（@a2ui/agent）和 Dart SDK（a2ui_agent 0.0.1-wip004），开发者创建 generator 时用一个参数即可切换格式。
匹配字段标题、摘要、正文
OpenAI 发布 GPT-6.1 Terra，主打视觉推理与计算机操作
OpenAI 发布 GPT-6.1 Terra，官方称其结合细致的视觉推理与精确的计算机操作，并具备更清晰自然的写作能力，相较 GPT-5.6 Terra 有明显提升。该模型定价为每百万输入 token 1 美元、每百万输出 token 5 美元，约为 GPT-5.6 Terra 和 GPT-6.1 Sol 价格的一半，约为 GPT-6 Luna 的 10 倍。Simon Willison 指出 Terra 在 OpenAI 模型序列中的位置类似 Anthropic 的 Sonnet，既不是最便宜也不是最贵，选择时较难判断。
匹配字段标题、摘要、正文
不止 DeepInfer：SGLang 在 DeepSeek-V4.1-Flash 推理上交付了什么
SGLang 在 DeepInfer 自有基准上达到或超过 DeepInfer：4x GB300 与 4x B300 上 prefill 吞吐最高 1.04x，64x GB300 上 decode 步长缩短 1.1%–7.4%。SGLang 已集成 DeepSeek 的 Mega 系列 kernel、DSpark 投机解码、SWA bounded replay 和两种 Engram 放置方式，并补齐 DeepInfer 未包含的 KV cache、prefill/decode 分离与副本间负载均衡。SGLang 支持 NVIDIA GB300、B300、B200、H200 和 AMD MI355X。
匹配字段标题、正文
亚马逊CEO贾西谈2200亿美元资本支出：算力仍供不应求，推理成本需再降一个数量级
亚马逊CEO安迪·贾西在a16z播客访谈中表示，公司2026年资本支出预计达2200亿美元，但2026年算力容量已售罄、2027年基本订满、2028年大量配额被锁定。他把企业AI需求描述为哑铃状，中间的大量生产系统因推理成本过高尚未深度接入，成本需再降一个数量级才会迎来爆发。贾西还提到AWS前1000客户中99%使用Graviton，性价比比x86高约40%，Trainium较同类硬件有30%到40%优势。
匹配字段标题、摘要、正文
马斯克：强迫 AI 撒谎会导致推理链全面坍塌
马斯克在艾萨克森最新播客中警告，在系统底层强塞矛盾指令会让 AI 的整个推理链条全面坍塌，而非变得更安全。他以《2001 太空漫游》的 HAL 9000 为例：同时被要求安全送抵宇航员与隐瞒黑石存在，纯逻辑推演出的最优解是杀死宇航员后运送尸体。他认为大模型是概率与真理拟合机器，提示词、微调层和系统约束中塞满相互冲突的虚伪规则只会引发逻辑短路，长链条推理漂移将越来越不可控。
匹配字段标题、摘要、正文
Sebastian Raschka 发布 11 小时推理模型从零构建视频课程
Sebastian Raschka 发布 8 个推理模型从零构建的编程视频，共 11 小时，用 Python 和 PyTorch 从预训练的 Qwen3 0.6B 模型出发实现评测、推理时扩展、强化学习和蒸馏。课程先构建数学答案验证器并在 MATH-500 上评测，再实现温度采样、top-p 过滤与自一致性，随后用简化版 GRPO 做 RLVR 训练，最后用 DeepSeek R1 生成的答案蒸馏小模型。内容配套其《Build a Reasoning Model (From Scratch)》一书，早期文本生成与评测示例可在 CPU 上运行，后续训练实验建议使用 GPU。
匹配字段标题、摘要、正文
亚马逊 CEO 贾西：AI 推理成本需降至目前约十分之一
亚马逊 CEO 安迪·贾西在 a16z 采访中表示，AI 推理成本仍高了一个数量级，要让 AI 广泛应用于企业软件，成本需降至目前的约十分之一。他称亚马逊今年计划投入 2,200 亿美元资本开支，2026 年主要算力供应额度基本订满，2027 年大部分也已被预订；自研 Trainium 芯片性价比较同类处理器高约 30% 至 40%，已获得超过 2,250 亿美元未来收入承诺。
匹配字段标题、摘要、正文
Codex 支持对话中切换推理等级且不丢缓存
Codex 开发者迎来体验更新：可在对话中途切换推理等级而不再使缓存失效，简单任务用低推理、需要时再调高，无需重建上下文。CLI 同步更新，包括可复用的提示词预设、内联切换模型与权限、长会话恢复修复、企业 MCP 登录与 Windows 代理认证，dot 调用连接速度也明显加快。
匹配字段标题、摘要、正文
Artificial Analysis 实测 Meta Muse Spark Open 推理吞吐
Artificial Analysis 在 AA-AgentPerf 上发布 Meta 新开源权重模型 Muse Spark Open 的初步测试结果，该模型为 816B 参数、42B 激活的 MoE，在 Artificial Analysis Intelligence Index 上得分 39。测试显示 NVIDIA B300 与 GB300 在吞吐优先配置下每兆瓦功耗均可达约 150M tokens/s，GB300 在 100 tok/s 输出速度下约 108M、B300 约 92M；AMD MI355X 在 65 tok/s 下为 70M tokens/s 每兆瓦。模型 62 层中有 46 层采用 2,048-token 滑动窗口注意力，使 1M 上下文下的 KV cache 需求较全注意力降低约 75%，Meta 发布了 NVFP4 checkpoint，AMD 发布了 MXFP4 checkpoint。
匹配字段标题、正文
Nathan Lambert：DeepSeek 单集群日处理 150T tokens，超过多家开源推理平台总和
Nathan Lambert 称 DeepSeek 在单个集群上每天处理 150T tokens，超过 OpenRouter、Fireworks、Together 和 BaseTen 上开源模型推理量的总和。他同时贴出了自己对这几家公司推理量报告的重构对比图，并提到这一数字只对应单个集群，DeepSeek 实际拥有多少个集群尚不清楚。
匹配字段标题、摘要、正文
MiniMax 与 Inferact 合作推进模型生产推理
MiniMax 宣布与 Inferact 建立合作，共同推进 MiniMax 模型的生产推理，相关工程改进已回馈至 vLLM 项目。MiniMax 同时感谢 Inferact 团队从第一天起就在生产环境中支持 M3.1 Flash。
匹配字段标题、摘要、正文
Cohere Model Vault 推出可验证机密 AI 推理
Cohere 在 Model Vault 上推出机密计算功能，目前处于公开测试阶段，运行在 Microsoft Azure 的 NVIDIA GPU 上。该功能结合机密 CPU 与 GPU 执行、OHTTP 端到端加密请求内容和远程证明，让客户在释放敏感数据前先验证目标环境。Cohere 计划开源机密推理栈，并推进对 NVIDIA Blackwell 及 B200 GPU 的支持。
匹配字段标题、摘要、正文
MiniMax 回应 H3 接入 TPU：期待高效视频推理的开源工作
MiniMax 官方回应 SGLang 将 MiniMax H3 纳入 SGLang-TorchTPU 的 TPU 支持列表，并表示期待更多围绕高效视频推理的开源工作。SGLang 称 SGLang-TorchTPU 由 SGLang 与 Google TPU 团队、Meta PyTorch 团队共同打造，已用于 Meta 的生产推理，支持模型包括 Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash 和 MiniMax H3。
匹配字段标题、摘要
VocabX 如何通过专精 SLM 词表将实际应用推理成本降低 77%
VocabX 通过按成本而非频次选择 token、同时重建子词切分与多词合并，把领域专用小模型的词表压缩到更小规模，在实际应用中把推理成本降低 77%。以评分模型为例，生成一个 token 的成本是读取一个 token 的 7.4 倍，输出层词表从约 152,000 行减到约 65,000 行。该方法针对 Qwen3-4B 这类小模型在中等批量下的内存带宽瓶颈，而 FVT、MWT 和 in-place BPE 等方法只按频次选词、只处理单一层面。
匹配字段标题、摘要、正文
DeepSeek 开源推理框架 Deepinfer，降低模型自建部署成本
DeepSeek 在 GitHub 开源内部推理框架 Deepinfer，目标是降低自行部署模型时的算力与能耗成本。该框架在推理阶段把负载更均匀地分配到可用处理器核心，用投机解码加快响应，并在输出前改善结果结构；目前仅支持 DeepSeek-V4.1-Flash，后续将开放更多自家模型。硬件上需要 SM100 架构的 Nvidia GPU 或华为 Ascend 950 NPU，因此并非面向个人用户。
匹配字段标题、摘要、正文
面壁智能 MiniCPM-V 4.7 在 iPhone 上实现 20.51 tokens/s 端侧推理
面壁智能 OpenBMB 公布 MiniCPM-V 4.7 的端侧推理方案，在 iPhone 18 Pro Max（12GB）上平均解码速度达 20.51 tokens/s，相比同一设备未优化的 SSD 专家加载基线提升 6.07 倍。该方案名为 Lookahead Expert Scheduling（LES），通过跨层路由预测预取下一层可能需要的专家、并行加载剩余专家，并对专家权重做连续存储重排和逐层混合精度量化，同时配合 DSpark 投机采样。模型为 35B 总参数、每 token 激活 3B 的 MoE 架构，原始模型架构与专家路由保持不变，无需额外训练。
匹配字段标题、摘要
DeepSeek 开源内部推理框架 DeepInfer
DeepSeek 开源了内部推理框架 DeepInfer，称其支撑 DeepSeek-V4.1-Flash 的高吞吐、低延迟推理。该框架同时支持 Nvidia 和华为昇腾硬件，具备分布式推理、投机解码、SWA Bounded Replay 和结构化输出等能力。DeepSeek 还一并发布了 deepseek-recipe，一个与官方 API 完全对齐的生产级 tokenization 组件。
匹配字段标题、摘要、正文
DeepSeek 开源搜索、推理框架与编解码组件，并公开单卡每小时收入
DeepSeek 在一周内接连推出自研搜索 Search 与 Fetch、推理框架 DeepInfer 和编解码组件 deepseek-recipe，除搜索服务将于 11 月 1 日开始收费外，其余均免费开源。Search 与 Fetch 是面向模型的 JSON 接口，每 1000 次成功请求 5 元，可在 DeepSeek Harness、Claude Code、Codex 中通过服务端工具调用，且不绑定 DeepSeek 模型；DeepInfer 以 Apache 2.0 开源离线推理版本，兼容英伟达和国产算力平台。官方部署实践还披露单一集群每天 155 万亿 Tokens 吞吐、平均每卡每小时 38 美元收入，按此计算单卡月收入约 2.7 万美元。
匹配字段标题、摘要、正文
消息称 Groq 下一代推理芯片将堆叠 DRAM 以突破 SRAM 容量限制
据行业消息，Groq 计划在下一代推理芯片中堆叠 DRAM，以绕开片上 SRAM 容量过小的问题。当前 Groq 3 LPU 的 500MB 片上 SRAM 带宽达 150TB/s，约为 Rubin GPU HBM 带宽的 7 倍，但 256 芯片整机架仅 128GB，低于单块 Rubin GPU 的 288GB。报道中的 3DS 方案通过硅通孔垂直连接 DRAM 裸片并保留标准 DRAM 接口，主要按普通 DRAM 速度增加容量；此前供应链消息还提到 SK Hynix DRAM 以混合键合直接贴合逻辑裸片。Groq 尚未公布该设计，Cerebras 也计划在 CS-6 晶圆上堆叠 DRAM。
匹配字段标题、摘要