Baseten 工程博客的模型性能栏目汇总了多项推理优化工作，包括让 pyannote 的说话人分离（diarization）模型提速 9.6x、让 Kimi K3 的 tokenization 在百万 token 智能体负载下提速 18x，以及为 DeepSeek V4 Pro 0813 做推理工程优化。该栏目还涵盖托管 RL rollout 的 delta 权重同步优化、Coval 语音 AI 基准测试，以及为 Kimi K3 和 GLM-5.2 构建 API 的实践。
匹配字段摘要、正文
Baseten 工程博客的 AI 模型栏目汇集多篇模型与推理工程文章，包括 NVIDIA Nemotron 3 Diarization 实现每音频小时一美分的实时说话人标注、DeepSeek-V4.1-Flash 面向编码智能体的更高效 prefill，以及 NVIDIA Nemotron 3.5 Lightning、Nemotron 3.5 ASR Streaming、Nemotron 3 Embed 等新模型介绍。此外还涵盖 GLM-5.3 后训练扩展、GLM 5.2 视觉能力、Laguna S 2.1 与开源后训练模型推荐等主题。
匹配字段摘要、正文
Baseten 工程博客基础设施栏目汇总了多篇文章，涵盖 LLM 推理可观测性、H100 与 H200 及 B200 GPU 对比、面向企业的 RBAC 构建、Baseten Delivery Network（BDN）加速冷启动、在 Nebius 上运行 AI 视频，以及与 Vultr 合作交付医疗 GenAI 方案等内容。
匹配字段摘要、正文
Baseten 工程博客社区栏目汇集多篇文章，涵盖为 You.com 提供开源推理、Notion 与 Gamma 的 AI 模型选择经验、持续学习时代的推理、模型微调与好莱坞对谈、NVIDIA Dynamo Day 上的 Baseten 推理栈，以及用 LangChain Agent Builder + GLM 4.7 在 Baseten 上构建智能体等内容。
匹配字段摘要、正文
Baseten 让 pyannote 的说话人分离（diarization）模型推理速度提升 9.6 倍。该博客还介绍了面向托管 RL rollout 的 delta 权重同步优化、Baseten 在 Coval 语音 AI 基准测试中领先，以及供编码智能体使用 Baseten 的新 MCP 与技能。
匹配字段摘要、正文
Ai2 推出 BenchMIRT，一种在单条提示词层面审计 LLM 基准测试的新方法，基于多维项目反应理论（MIRT），在 100 个 LLM、16 个基准、超 34K 道题上训练。它未被告知各基准测什么，却自行恢复出安全与通用推理两个主导维度。仅保留 10% 的题目即可大致还原模型强弱排序，预测模型未见过题目正确率的准确率达 79%，高于简单基线的 70%。
匹配字段摘要
Perplexity Research 与 turbopuffer 发布 pplx-embed-v2-context-9b-preview，一个面向 RAG 管线的上下文嵌入模型，每个 chunk 在编码时都能看到完整文档。模型以 Perplexity 的 query-aware 上下文压缩模型作为教师，用逐 token 打分池化出的软目标替代单一 gold passage 标注，训练时随机采样切块策略，推理阶段不增加延迟或存储。权重已在 Hugging Face 以 MIT 许可开源，需 transformers>=5.4.0 并设置 trust_remote_code=True，暂未上线 Perplexity API，模型卡提示权重与接口可能不向后兼容。模型基于内部 9B ColBERT 检索模型，线性投影输出 2048 维，Matryoshka 训练支持 1024 维，量化感知训练支持原生 int8 嵌入，训练使用约 430 个数据集、覆盖 50 多种语言。
Perplexity Research 与 turbopuffer 发布 pplx-embed-v2-context-9b-preview，一个面向 RAG 管线的上下文嵌入模型，每个 chunk 在编码时都能看到完整文档。模型以 Perplexity 的 query-aware 上下文压缩模型作为教师，用逐 token 打分池化出的软目标替代单一 gold passage 标注，训练时随机采样切块策略，推理阶段不增加延迟或存储。权重已在 Hugging Face 以 MIT 许可开源，需 transformers =5.4.0 并设置 trust remote code=True，暂未上线 Perplexity API，模型卡提示权重与接口可能不向后兼容。模型基于内部 9B ColBERT 检索模型，线性投影输出 2048 维，Matryoshka 训练支持 1024 维，量化感知训练支持原生 int8 嵌入，训练使用约 430 个数据集、覆盖 50 多种语言。
匹配字段摘要
Modal 在首届 Runtime 大会上发布多项新功能，包括让智能体获得完整 Linux 计算机的 VM Sandboxes、与主 Sandbox 同主机隔离运行的 Sandbox Sidecars，以及通过 @modal.clustered 装饰器正式可用的多节点 Modal Clusters。此外还推出保持客户端会话路由到同一容器的 Sticky Sessions，以及面向推理服务器优化的 Endpoint Candidates（目前面向部分客户私测）。
匹配字段摘要
Modal 在首届 Runtime 大会上公布多项运行时更新，包括让智能体获得完整 Linux 计算机的 VM Sandboxes、与主沙箱同主机隔离运行的 Sandbox Sidecars、通过 @modal.clustered 装饰器正式开放的多节点集群 Modal Clusters，以及保持客户端会话绑定同一容器的 Sticky Sessions。VM Sandboxes 已被 Linear、Legora、Snorkel 用于编码智能体和评测，Modal Clusters 则支撑 Decagon 的后训练、1x 的预训练和 Runway 的实时推理。Endpoint Candidates 目前面向部分客户私测，可将生产流量镜像到备选服务方案以比较质量、延迟、吞吐和成本。
匹配字段摘要
当地时间9月30日，谷歌推出新模型 Gemini 4 Argon，称能在复杂、长周期工作流中持续进行深度推理。该模型目前只向一批可信赖的网络安全防御人员开放，谷歌称需分阶段发布高水平模型能力，并自愿与美国政府协调沟通，逐步扩大适用范围，后续在完善安全防护后尽快向开发者、企业和消费者提供。
匹配字段摘要、正文
在 OpenAI DevDay 后的播客中，负责 Computer Use 智能体的 Ari Weinstein 回应了 Dwarkesh 关于 Computer Use 进展缓慢的质疑，称其与几个月前相比已完全不同，原因是模型更擅长调试和重试，并会编写 JavaScript 一次执行多步操作，同时结合截图、accessibility、DOM 与 Playwright。他还提到 Dots 为每个 Dot 提供云端 Linux 虚拟电脑，Computer Use 已进入 Agents API。OpenAI API 团队负责人 Nikunj Handa 则介绍 GPT-6 的异步工具调用、mid-turn steering、WebSockets、UltraFast 推理、prompt 缓存与预加热、compaction 等更新，并称 Decisions API 基于 Luna 权重、未训练新模型，从灵感出现到原型仅约一周。
匹配字段摘要、正文
Cognition 是首个运行 @NVIDIA Vera Rubin 的客户，由 @CoreWeave 提供支持！ 2022 年的 Hopper。2024 年的 Blackwell。现在是 Vera Rubin： 在 SWE-2 推理上，新芯片在相同解码速度下，token 吞吐量比 GB200 高出约 4.8 倍。 更多算力，更好的智能体！
Cognition 是首个运行 @NVIDIA Vera Rubin 的客户，由 @CoreWeave 提供支持！ 2022 年的 Hopper。2024 年的 Blackwell。现在是 Vera Rubin： 在 SWE-2 推理上，新芯片在相同解码速度下，token 吞吐量比 GB200 高出约 4.8 倍。 更多算力，更好的智能体！
匹配字段摘要
NVIDIA recsys-examples 现已提供基于 Dynamo-Triton 的端到端 HSTU 生成式推荐推理工作流，结合 PyTorch AOTI 编译与 FlexKV 支持的 KV 缓存。在 NVIDIA RTX PRO 6000 Blackwell Workstation Edition GPU 上，八层 HSTU 模型在 batch size 8、100% GPU KV-cache 命中率下，延迟相比无缓存的同款 AOTI 配置最多降低 5.93x，三层模型为 4.47x。
匹配字段摘要
Google 发布新前沿模型 Gemini 4 Argon，面向复杂长周期工作流，主打深度推理，覆盖真实软件工程、法律金融等企业知识工作与网络安全防御场景。该模型输出 token 上限提升至 1M tokens，目前先向 Fairwind Program 中的可信网络防御者开放，后续将尽快扩大可用范围。
匹配字段摘要
OpenAI 与 EDA 厂商 Synopsys 签署多年战略合作，将共同打造面向芯片设计的专用模型 GPT-Synopsys。该模型结合 OpenAI 的 AI 技术与 Synopsys 的 EDA 工具，目标是能对芯片设计与验证进行推理，并直接操作 Synopsys 工具，工程师负责下达设计目标并审核输出。模型运行在 OpenAI 基础设施上，双方称客户数据不用于训练且加密存储，目前已与半导体客户开展早期测试，产品将联合推广并共享收入。
匹配字段摘要
Microsoft Research 实习生开发了一套机器学习系统，可为美国本土 66,935 座变电站提供提前 30-60 分钟的空间天气风险估计，融合太阳风观测、AE 与 Dst 指数预报、地质电导率和电网基础设施数据。在 2020-2026 评估期内，Dst 预测模型在 62.2% 的小时数上优于 Burton 方程；GIC 风险阶段对 ≥10 nT/min 事件的检测率为 76.5%，对 ≥50 nT/min 极端事件为 64.1%。系统完成全部变电站推理约需 333 毫秒，但投入电网运行前仍需与电力公司进一步验证。
匹配字段摘要
Google.org 于 9 月 15 日宣布，MIT Transit Lab 获得 210 万美元资助，用于开发公共交通智能中枢 PTIQ，将公交机构的实时监控、运营控制和乘客沟通系统整合为单一 AI 编排平台。该项目为期三年，Google.org 还将提供工程师和 AI 产品专家的无偿支持。PTIQ 的决策支持界面整合预测模型、优化引擎和基于大语言模型的上下文推理，但最终决策仍由公交工作人员做出。
匹配字段摘要
CoreWeave 宣布 NVIDIA Vera Rubin NVL72 系统搭配 Spectrum-X 102.4T 以太网正式在 CoreWeave Cloud 上线，Cognition 成为首个在生产环境运行该系统的客户。Cognition 早期测试显示，Vera Rubin NVL72 在 SWE-2 推理负载上的总 token 吞吐量最高达 GB200 NVL72 的 4.8 倍。CoreWeave 还将提供首款面向 AI 智能体的 CPU NVIDIA Vera，并推出统一模型与智能体训练、评估和改进的 CoreWeave Forge。
匹配字段摘要
腾讯混元（Tencent Hy）联合复旦大学、清华大学发布 ExplorationBench，用于衡量 AI 系统的探索能力，并构建可验证的 Alien Worlds 沙盒：AlienCode（31 条隐藏规则改动、70 个任务）与 AlienLogic（24 条改写推理规则、70 个定理）。在 10 个前沿 AI 系统上，AlienCode 初始得分均不高于 15.7%，四轮反馈后最佳达 89.0%，而无反馈时仅 0.5–11.0%；即使规则被正确陈述，任务解决率也只有 73.4%。
匹配字段摘要
a16z 的 David George、Sarah Wang、Alex Immerman 和 Santiago Rodriguez 解读最新 State of Markets 演示中的 25 张关键图表，指出超大规模云厂商的年度 CapEx 正逼近 1 万亿美元，算力需求持续超过供给。他们还讨论了 OpenAI 与 Anthropic 的收入增长、AI 部署与企业可衡量影响之间的差距、智能体兴起、推理成本下降及其对 SaaS 的影响。
匹配字段摘要