Liquid AI 发布 LFM2.5-DSpark 系列草稿模型，用于 LFM2.5 的推测解码，在 H100 与 M4 Max MacBook 上最高带来 3.2 倍推理提速。草稿模型约 300M 参数，采用 5 层注意力结构、block size 为 9，在多工具场景下将 LFM2.5-2.6B 的延迟平均降低 57%。模型已以 Safetensors 和 GGUF 格式在 Hugging Face 开放，并支持 llama.cpp 与 SGLang，文中给出了对应的启动命令。
匹配字段标题、摘要
Liquid AI 为 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 投机解码草稿模型，GPU 上吞吐最高提升 3.18 倍，端侧最高 2.87 倍，且不改变输出质量。草稿模型约 300M 参数，采用 5 层、block size 9 的简化注意力结构，已在 Hugging Face 提供 Safetensors 与 GGUF 权重，并开源集成到 llama.cpp 和 SGLang。在 BFCL 多工具函数调用场景中，LFM2.5-2.6B 的延迟平均降低 57%；LFM2.5-8B-A1B 受 llama.cpp Metal 后端 MoE 实现影响，端侧仅提升 18%。
匹配字段标题
Armin Ronacher 解释称，推理轨迹本质上是模型在最终回答前写入暂存区的文本，并通过特殊 token 和解析器与答案分流。他以 GPT-OSS、Responses API 和 DwarfStar 为例，分析推理强度如何由系统提示词塑造，以及禁用原生推理时模型为何可能把思考内容泄露到错误通道。
匹配字段标题、摘要
LMSYS 针对 1.6 万亿参数 MoE 模型 DeepSeek-V4-Pro 在 H20 GPU 上的推理服务做系统优化，batch size 1 时单节点 H20-141GB 达到 271 output tokens/s，与 B300 的 383.7 tokens/s 相比性能比缩小到 1.42×。优化后的 prefill 每节点达 8.45k input tokens/s，43.7 秒处理 100 万 token 提示；面向吞吐的 DP16-EP16 每节点达 4.67k output tokens/s，平均 TPOT 27.4 ms。
匹配字段标题、摘要
Johann Rehberger 复现了论文《Stealing Reasoning Traces from Proprietary LLM APIs》中的攻击方法，把 GPT-5.6 Sol 在一个 OpenAI 账号下生成的加密推理链，用另一账号的 GPT-5.6 Luna 配合轻度越狱提示词还原出底层推理内容，包括原推理中出现过的密码。他指出这类加密推理 blob 可能因厂商在用户、会话和模型间共用密钥而被跨会话、跨账号恢复，论文作者还从公开仓库抓取的 315,320 个推理块中还原出 367 条 PII 和 182 条凭据。测试期间该攻击曾于 8 月 11 日前后完全失效，三天后又恢复可用，原因不明。
匹配字段标题、摘要
微软 AI 发布推理模型 MAI-Thinking-1，已在 Microsoft Foundry 开启公开预览。该模型为 35B 激活参数、约 1T 总参数的稀疏 MoE 架构，在 SWE-Bench Pro 上与 Claude Opus 4.6 持平，AIME 2025 得分 97.0%、AIME 2026 得分 94.5%，并在与 Claude Sonnet 4.6 的盲测人评中被更多用户偏好。模型支持 256k token 上下文窗口、函数调用和开发者指令，兼容 Chat Completions API，微软称其训练未使用第三方模型蒸馏，数据为可追溯的企业级数据。
匹配字段标题、摘要
微软研究院推出 MindTopo 基准，从连通性、包围、顺序、打结等五类拓扑属性评估多模态大语言模型的空间理解能力，每类分静态推理与交互规划两个认知层级。测试显示，模型在静态推理上普遍强于交互规划，两者均远低于人类水平；规划错误多发生在场景已被理解之后，模型无法在连续动作中维持拓扑关系。图像与视频生成仅在单帧关系可见时偶有帮助，跨序列时经常改变拓扑或违反任务动态。
匹配字段标题、摘要
亚马逊自动推理团队（ARG）成立十年来，已将形式化验证从学术研究转化为每天处理数十亿次查询的生产服务，其 Tiros、Zelkova 等工具演化为 IAM Access Analyzer、Amazon Inspector 和 Reachability Analyzer。该团队还证明了 Nitro 隔离引擎、密码学实现以及每秒处理 10 亿次 API 调用的授权引擎的正确性。Amazon Bedrock Guardrails 的自动推理检查用形式逻辑验证模型响应是否符合既定策略，验证准确率最高达 99%。
匹配字段标题、摘要
Mistral 宣布 Mistral Regional Endpoints 正式可用，客户可选择推理在欧洲或美国运行，同时 Mistral Priority Tier 进入公开预览，提供自定义速率限制和带 SLA 的可用性承诺。其平台还将支持第三方开源模型，首个接入的是 Z.ai 的 GLM-5.2，这些模型将运行在与 Mistral 自有模型相同的基础设施、区域控制和服务承诺之上。Mistral 同时组建企业联盟，通过 European Compute Units 汇集多年期算力承诺，并计划到 2030 年建成最高 1 GW 的算力容量。
匹配字段标题、摘要
AMD 本周以未披露金额收购 AI 推理初创公司 Taalas，计划把其技术整合进加速器路线图，并与 AMD Instinct GPU 组成系统级方案。Taalas 将模型权重固化进 ROM 电路并搭配大块 SRAM 作为片上 KV cache，当前 HC1 芯片可容纳 80 亿参数模型，下一代 HC2 目标为 200 亿参数。此前 AMD 已与 Cerebras 合作做分离式推理，由 GPU 承担 prefill、专用引擎承担 decode。
匹配字段标题、摘要
蚂蚁百灵开源新一代原生混合推理模型 Ling-3.0-flash，采用 124B 总参数、5.1B 激活参数的 MoE 架构，同步提供基础版本及 FP8、FP4、INT4 等多个精度版本。模型支持三种落地方式：云端 API 调用、在单台 NVIDIA DGX Spark 上以 MXFP4 或 INT4 版本完成端到端本地推理，以及在指定 GPU 测试配置下平均输出速率突破 1100 tokens/s 的高性能部署。在 Artificial Analysis 榜单中其输出速度为 353 tokens/s，AA Intelligence Index 中每项任务加权平均调用成本约 0.04 美元。
匹配字段标题、摘要、正文
Unsloth 发布 DSpark，使 DeepSeek-V4-Flash-0731 的 GGUF 本地生成速度提升约 1.4–2 倍，且精度不变。该版本在本地可达到 120 tokens/s，Unsloth 同时提供了 GGUF 文件与使用指南。
匹配字段标题
Jensen Huang 宣布推出面向自动驾驶汽车的前沿开放推理模型 Alpamayo 2 Super，使系统能够理解复杂环境并在行动前进行推理。该模型依据 OpenMDW-1.1 许可开放商业使用，团队可检查、微调和部署，并可作为出租车、卡车、班车、配送车、拖拉机及移动机器人的基础模型。
匹配字段标题、摘要
NVIDIA 技术博客分析 dense attention 在 GPU 上的性能规律：增大 group size（G）可提升 decode 吞吐，head dimension 取 128 或 256 更契合 GPU tile 与 128 字节内存传输；prefill 延迟随 ISL 平方增长，decode 延迟随 KV cache 序列长度线性增长。文章给出四条协同设计准则，并指出张量并行不应超过 KV head 数（KH），TensorRT-LLM 以 Wide EP 和 Helix Parallelism 应对。
匹配字段标题
Together AI 的 Dedicated Model Inference 支持按推理引擎原生指标自动扩缩容，包括 in-flight requests、TTFT、GPU 利用率和 token 吞吐量，用户可设置副本上下限、指标目标值以及控制扩容与缩容节奏的两个时间窗口。平台提供 8 种扩缩容指标，多指标时仅第一个生效；min_replicas: 0 只能与 max_replicas: 0 搭配用于显式停止部署，不支持缩容到零后自动唤醒。
匹配字段标题、摘要
Together AI 联合佐治亚理工、UIUC 和 CMU 提出 ThunderAgent，把每个智能体工作流抽象为可调度程序，以程序级调度缓解 KV cache thrashing，在合成数据生成流水线中实现最高 2.5 倍单节点吞吐提升。在单台 8×H100 节点、batch size 192 下，SGLang 吞吐降至 390 token/s、平均延迟 65s，ThunderAgent 达到 803 token/s、平均延迟 10.6s；8 节点集群上相对 SGLang Gateway 加速 2.39 倍，从 16 到 64 GPU 吞吐近线性扩展。该工作已被 ICML 2026 接收为 Spotlight 论文，代码开源，客户端只需增加一个 program_id 字段，并已被 SkyRL 和 NVIDIA Dynamo 采用。
匹配字段标题
Together AI 的专用模型推理由 endpoint、deployment 和 config 三部分组成，通过容量感知流量拆分将三者绑定，支持灰度发布、A/B 测试、影子实验和零停机变更。路由按 weight × ready_replicas 计算有效容量并按比例分配流量，因此相同权重代表每副本负载相同而非流量份额相同。config 以不可变的 cr_ 修订形式存在，模型目录自带经认证的部署配置，例如 zai-org/GLM-5.2 在 4 张 NVIDIA-B200 上以 FP4 量化、TP4 并行运行。
匹配字段标题、摘要
Kimi K3 已在 Together AI 上线，Together AI 作为 Day 0 发布伙伴，为开发者提供针对编码智能体和生产负载优化的高吞吐推理访问。Together AI 称 K3 是 Kimi 的开源前沿模型，面向跨代码、工具、视觉和研究的长时间智能体工作流。Kimi 方面感谢 Together AI 团队快速推进此次发布。
匹配字段标题、摘要
Kimi K3 现已在 @digitalocean 的 Serverless Inference 上线！ 开发者可以在几分钟内用我们最强的模型开始构建。https://t.co/mDDv2zBpJg
匹配字段标题
Fireworks 在 Kimi K3 开源当天提供 Day-0 推理与训练支持，称其为全球最强开源模型，并推出仅限美国区域的 Serverless 端点和零数据保留。Kimi K3 是首个达到 2.8 万亿参数的开源模型，采用 Kimi Delta Attention 与 Stable Latent MoE，激活 896 个专家中的 16 个，扩展效率是 Kimi K2 的 2.5 倍。Fireworks 称自托管需 64 个以上加速器超级节点，其 Serverless 推理默认速率限制提升 10 倍以上，Serverless Training 进入私有预览。
匹配字段标题、摘要