ARC Prize 公布 Meta 的 Muse Spark Open 在 ARC-AGI 公开任务上的测试结果：ARC-AGI-2 随推理规模提升，medium 平均每任务 55k token 得 29.4%，high 150k token 得 51.0%，xhigh 180k token 得 57.2%。ARC-AGI-1 在 high 时已达 92.8%，xhigh 升至 94.0%。该模型在 ARC-AGI-2 上得 57.5%、每任务 0.73 美元，ARC-AGI-1 得 89.0%、每任务 0.29 美元，分数与 Haiku 5.5 和 GPT-6 Luna 相近但成本约为其 9 倍。
匹配字段标题、摘要、正文
Sebastian Raschka 发布 8 个推理模型从零构建的编程视频，共 11 小时，用 Python 和 PyTorch 从预训练的 Qwen3 0.6B 模型出发实现评测、推理时扩展、强化学习和蒸馏。课程先构建数学答案验证器并在 MATH-500 上评测，再实现温度采样、top-p 过滤与自一致性，随后用简化版 GRPO 做 RLVR 训练，最后用 DeepSeek R1 生成的答案蒸馏小模型。内容配套其《Build a Reasoning Model (From Scratch)》一书，早期文本生成与评测示例可在 CPU 上运行，后续训练实验建议使用 GPU。
匹配字段标题、摘要、正文
Artificial Analysis 在 AA-AgentPerf 上发布 Meta 新开源权重模型 Muse Spark Open 的初步测试结果，该模型为 816B 参数、42B 激活的 MoE，在 Artificial Analysis Intelligence Index 上得分 39。测试显示 NVIDIA B300 与 GB300 在吞吐优先配置下每兆瓦功耗均可达约 150M tokens/s，GB300 在 100 tok/s 输出速度下约 108M、B300 约 92M；AMD MI355X 在 65 tok/s 下为 70M tokens/s 每兆瓦。模型 62 层中有 46 层采用 2,048-token 滑动窗口注意力，使 1M 上下文下的 KV cache 需求较全注意力降低约 75%，Meta 发布了 NVFP4 checkpoint，AMD 发布了 MXFP4 checkpoint。
匹配字段标题、正文
Aleph Alpha 发布开放权重模型 Kolibri-1，总参数 78B，采用 384 个专家、6 个路由专家的 MoE 结构，推理时仅激活 3.46B 参数，上下文 256K Token 并可外推至约 100 万 Token。该模型专注德语和英语，tokenizer 对德语词切分更省 Token，例如德国联邦议院术语表仅需 1137 Token，而对比的 DeepSeek-V4.1-Flash 需要 1910 Token；预训练使用 20 万亿 Token，数据截至 2026 年 6 月 18 日。作者实测其回答正确、德语推理过程明显，并称 Merlin-Arthur 协议让模型在基准中幻觉更少，但实际效果仍需在真实使用中检验。
匹配字段标题、摘要、正文
Artificial Analysis 在 AA-AgentPerf 上发布 NVIDIA Vera Rubin NVL72 的初步结果，在 DeepSeek V4 Pro 上每兆瓦总吞吐最高约为前代 GB300 NVL72 的 5.7 倍，DeepSeek V4.1 Flash 约 5.4 倍，GLM-5.2 约 3.0 倍，Kimi K3 约 2.8 倍。Vera Rubin 是 NVIDIA Blackwell 的继任者，NVL72 为机架级系统，含 72 颗 Rubin GPU 和 36 颗 Vera CPU，每颗 GPU 内存与 Blackwell Ultra 同为 288 GB，但内存带宽为 2.4 倍、NVLink 带宽 1.7 倍、密集 NVFP4 算力 2.3 倍。AA-AgentPerf 通过回放真实智能体编码会话衡量推理性能，Vera Rubin 在 DeepSeek V4.1 Flash 上创下 906 tok/s 的单用户速度纪录。
匹配字段标题、摘要
Apple 介绍如何用最新版 MLX 在 Mac Studio 上运行大语言模型，并借助 macOS 26.2 的 RDMA over Thunderbolt 5 驱动和 MLX v0.30.1 起的 jaccl 通信集合实现多机分布式推理。在四台 M5 Ultra Mac Studio 上，816B 参数的 Muse Spark Open 以 NVFP4 精度生成超过 36 tokens/s；单机上 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍，生成速度提升 1.6 倍。文中还给出 mlx_lm.benchmark、mlx.launch 和 mlx_lm.server 的命令示例，并说明可用 OpenCode 等工具接入本地 LLM 服务。
匹配字段标题、摘要
小米 MiMo 团队发布 MiMo-V2.5 系列推理系统的端到端工程实践，覆盖 KVCache 管理、分层缓存、SWA 感知前缀缓存树、调度策略、Prefill/Decode 执行流水线与多模态优化。MiMo-V2.5-Pro 共 70 层，其中 10 层 Full Attention、60 层 SWA，滑动窗口为 128，Hybrid SWA 使计算量与 KVCache 存储降至 Full Attention 的约 1/7。团队称上线以来服务端 KV Cache 命中率平均 93%，重度用户可达 95% 以上，并将部分优化以 PR 形式回馈 SGLang 社区。
匹配字段标题、摘要
Baseten 工程博客作者基于 MetaInfer 技能框架，让 Claude Code 在单张 B200 上为 Qwen-3.6-35B-A3B（NVFP4）自主构建推理引擎 VibeQwen，单流解码速度最高比 vLLM 0.25.1 快 90%，TTFT 快 2.33 倍，并发 32 时单副本吞吐高出 71%。整个项目约一周、消耗约 17 亿 token 和 200 B200 小时，成本在数千美元量级。作者随后用同一知识库为图像分割模型 SAM 3.1 构建推理服务 Sammie，在单张 H100 上达到 91 张图/秒，比 Facebook 参考服务吞吐提升 50%，耗时数天、约 2 亿 token。
匹配字段标题、摘要
Baseten 工程师让 Claude Code 配合 Fable 5 基于 MetaInfer 技能框架，在单张 B200 上为 Qwen-3.6-35B-A3B 生成推理引擎 VibeQwen，单流解码速度最高比 vLLM 0.25.1 快 90%，TTFT 快 2.33 倍。该实验耗时约一周、消耗约 17 亿 token 和约 200 B200 小时，引擎在全部测试流量模式下均超过 vLLM。作者随后用同一知识库为图像分割模型 SAM 3.1 生成服务端 Sammie，在单张 H100 上达到 91 张图像/秒，吞吐比 Facebook 参考实现提升 50%。
匹配字段标题、摘要
Arena.ai 宣布 Claude Sonnet 5.5 以 xHigh 推理进入 Code Arena: WebDev 榜单，得分 1786 分，排名第 3。其混合价格为 $8/M tokens，与第 2 名 GPT-6 Astra 的 1788 分仅差 2 分，价格约为其 80%。分领域看，Claude Sonnet 5.5（xHigh）在 Gaming、Reference-Based Design、Brand & Marketing 排第 2，Simulations 第 3，Content Creation Tools 和 Consumer Product 第 4，Data & Analytics 第 6。
匹配字段标题、摘要
Cerebras 发文介绍 Codex 订阅中的 GPT-5.6 三款模型 Sol、Terra、Luna，三者独立训练与部署并带推理档位，用于在速度、成本和智能之间取舍。价格上 Terra 为 Sol 的一半，Luna 为 Sol 的五分之一，短上下文和长上下文均如此。文中建议多数任务先用 Luna，进展受阻时再升级到 Terra 或 Sol，Sol 在 Cerebras 上可达 750 tokens/s，并给出 Codex 中 Light 到 Ultra 五档推理级别的用法。
匹配字段标题、摘要、正文
Modal 官方工程博客复盘了为编码智能体提供推理服务的优化过程，以 Moonshot AI 的 Kimi K2.6 为例，单副本每用户性能提升 2.8 倍、副本整体提升 5.6 倍。他们用 NVFP4 微缩放格式在 B200 上部署约一万亿参数的模型，基于 SGLang 打补丁并回馈上游，通过 DFlash 投机解码、KV cache 量化与 HiCache 扩展缓存，再配合负载感知的有状态路由，把服务扩展到每天处理数千亿 token。相关代码与配置已作为 Modal Auto Endpoints 的开源后端发布。
匹配字段标题、摘要
作者实测 GPT-6 Astra 后，分析其性能、计算机使用能力，以及循环 Transformer 是否会隐藏推理链。文章解释了循环 Transformer 通过重复使用相同权重增加有效深度，并指出 Astra 采用该架构仍未获官方确认，也没有充分证据表明循环机制会导致推理链更难监控。
匹配字段标题、摘要
Armin Ronacher 解释称，推理轨迹本质上是模型在最终回答前写入暂存区的文本，并通过特殊 token 和解析器与答案分流。他以 GPT-OSS、Responses API 和 DwarfStar 为例，分析推理强度如何由系统提示词塑造，以及禁用原生推理时模型为何可能把思考内容泄露到错误通道。
匹配字段标题、摘要
文章解释了大语言模型如何通过不同推理力度，在回答质量、token 消耗、成本和延迟之间进行权衡。其实现通常结合混合 SFT 数据、按模式调整的 RL 奖励、长度惩罚、独立专家模型或硬性 token 预算；DeepSeek V4、Nemotron 3 Ultra、Kimi K3、GLM-5、Qwen3 和 Inkling 采用了不同组合。模型规模与推理力度是两套独立控制方式，较小模型提高推理力度有时可达到与较大模型降低推理力度相近的基准成绩。
匹配字段标题、摘要
ElevenLabs 研究工程师 Angelos Perivolaropoulos 介绍了如何通过标准工程优化，将语音推理的单 GPU 服务能力从 1 名用户提升至 70 名，架构级改造则可达到约 140 名。连续批处理、FP8 量化、多 token 预测和经蒸馏适配的 FP8 KV cache 是主要手段，其中 KV cache 缩小 2.5x 后，吞吐量从 28 名用户增至 70 名。各项技术会引入延迟、内存上限或质量损失，实际选择取决于具体工作负载。
匹配字段标题、摘要
Together Inference Engine 在 Kimi K2.5 编码智能体负载下，以相同的 4× NVIDIA B200 硬件实现了比 TensorRT-LLM 高 31% 的 TPS，并在饱和时保持约 2 倍更优的 TTFT。测试采用约 45k–200k Token 的长提示词和平均 450 Token 的输出；SGLang 因 TP4 内存不足改用 8× B200。性能提升来自 ThunderMLA、定制内核重写及真实流量下的端到端分析。
匹配字段标题
DeepSeek-V4 通过 CSA、HCA 与 SWA 混合注意力在 KV 存储前压缩上下文，支持 1M-token 上下文窗口，但实际效率取决于推理引擎的缓存管理。Together AI 在 NVIDIA HGX B200 上调整 SWA 缓存策略后，将单节点 KV 缓存容量从约 1.2M tokens 提升至 3.7M tokens。长上下文、解码密集型任务最先受益，短上下文任务仍更依赖预填充优化与内核成熟度。
匹配字段标题、摘要
Together AI 展示了如何用 Goose 和 together-dedicated-containers 技能，在单次会话中将 Netflix 的 void-model 部署至 Dedicated Container Inference。智能体可自动生成推理服务与容器配置；该模型能移除视频中的对象及其引发的阴影、反射和物理交互，推理任务以异步方式返回结果。
匹配字段标题、摘要
Together AI 介绍其通过算法、系统工程和硬件协同优化大规模推理的方法，旨在提升速度与成本效率，同时维持输出质量和可靠性。生产 AI 系统的推理约占全生命周期成本的 80–90%，尽管 GPT-3.5 水平的推理成本曾下降逾 280 倍，总支出仍随用例扩张而增长。其技术包括可实现 1.5–3x 加速的推测解码，以及 ATLAS 和开源 RL 框架 Aurora 所支持的自适应推测解码。
匹配字段标题、摘要