Aurora：从实时推理轨迹持续学习的开源推测解码框架
Together AI 发布 Aurora，通过强化学习从实时推理轨迹持续更新推测解码的草稿模型，相比训练良好的静态模型额外加速 1.25x，更新期间不中断服务。在涵盖五个领域的 40,000 条提示词混合流实验中，从零开始在线训练的接受长度达 3.08，高于静态基线的 2.63 和预训练后微调方案的 2.99，吞吐量稳定在 302.3 tokens/s。
匹配字段标题、摘要
←搜索结果
搜索“推理”
提升 LLM 推理能力的推理时扩展方法分类
Sebastian Raschka 将提升 LLM 答案质量与准确性的推理时扩展方法归纳为多个类别，重点讨论不改变模型权重的训练后技术。内容涵盖 CoT 提示、自洽性、Best-of-N 排序、验证器拒绝采样、自我改进和解题路径搜索；相关实验经超参数调优后进行了数千次运行，使基础模型准确率从约 15% 提升至约 52%。
匹配字段标题、摘要
vLLM 与 TorchTitan 实现训练推理逐位一致的在线强化学习
vLLM 与 TorchTitan 开源展示了逐位一致的在线强化学习方案，使 Qwen3 1.7B 的训练与推理数值完全匹配。实验中启用逐位一致性后，模型用更少步骤取得更高总奖励，但当前运行速度比非逐位一致方案慢 2.4x。
匹配字段标题、摘要
SemiAnalysis InferenceMAX 评测解析：vLLM 与 NVIDIA 加速 Blackwell 推理
vLLM 与 NVIDIA 针对 Blackwell 优化大语言模型推理，在相近延迟下，gpt-oss 120B 和 Llama 3.3 70B 的吞吐量较上一代 Hopper 最高提升约 4x。双方通过一百多个 pull request 优化注意力、GEMM、MoE 内核、图融合和异步调度，并加入自动量化后端选择与 FlashInfer 自动调优。SemiAnalysis InferenceMAX 每日更新测试结果，以不同输入输出长度和 Pareto 前沿比较吞吐量与响应速度。
匹配字段标题、摘要
深入 vLLM：高吞吐 LLM 推理系统架构解析
文章系统解析 vLLM V1 如何从单 GPU 离线推理扩展到多 GPU、多节点异步服务。内容涵盖调度器、PagedAttention、连续批处理、前缀缓存、引导解码、推测解码、P/D 分离及分布式请求链路，并说明如何用 vllm bench 衡量延迟与吞吐量。分析基于 2025 年 8 月 9 日的 commit 42172ad。
匹配字段标题、摘要
如何使用 vLLM 加速 GLM-4.5 与 GLM-4.5V 推理
vLLM 介绍了如何在 NVIDIA Blackwell 和 Hopper GPU 上加速 GLM-4.5 与 GLM-4.5V 系列推理，其最新主分支已支持两类模型。GLM-4.5 与 GLM-4.5V 均提供 FP8 和 BF16 精度版本，可使用相同命令运行；8x H100 显存不足时需添加 `--cpu-offload-gb 16`，遇到 flash_infer 问题可暂用 `VLLM_ATTENTION_BACKEND=XFORMERS`。GLM-4.5V 还支持根据复杂描述逐步推理并输出目标对象的边界框坐标。
匹配字段标题、摘要
MiniMax-M1 混合架构如何借助 vLLM 实现长上下文快速推理
vLLM 通过内存管理与底层计算优化支持 MiniMax-M1 的混合架构，实现长上下文高效推理与部署。MiniMax-M1 总参数量为 456B，推理时动态激活约 45.9B 参数；其 Lightning Attention 已通过 Triton 集成至 vLLM。文章还提供了使用 vLLM 和 Docker 部署该模型的快速指南。
匹配字段标题、摘要
vLLM 分布式推理中的张量并行与流水线并行
vLLM 介绍了如何结合张量并行和流水线并行，在多 GPU 或多节点上部署超出单卡容量的大模型。张量并行可降低延迟但依赖高带宽互连，流水线并行通信开销较低且更适合跨节点部署。案例中从 TP=1 扩展到 TP=2 后，KV cache block 增加 13.9x，token 吞吐量提升 3.9x。
匹配字段标题
ARC Prize 公布 Meta Muse Spark Open 在 ARC-AGI 上的评测结果
ARC Prize 公布 Meta 的 Muse Spark Open 在 ARC-AGI 上的验证成绩：ARC-AGI-1 为 89.0%、每任务 $0.29，ARC-AGI-2 为 57.5%、每任务 $0.73，ARC-AGI-3 在标准 harness 下为 0.1%、$3.9K。ARC Prize 称其 v1/2 得分与 Haiku 5.5 和 GPT-6 Luna 相近，但成本约为后者的 9 倍；该模型在 OpenRouter 上定价为每百万输入 $1.25、每百万输出 $4.25。随推理档位提升，ARC-AGI-2 从 medium 的 29.4%（平均 55k tokens/任务）升至 xhigh 的 57.2%（180k tokens/任务）。
匹配字段摘要
ARC Prize 实测 Meta Spark Open：ARC-AGI-2 得分 57.5%，成本约为同分模型 9 倍
ARC Prize 在 ARC-AGI 上实测 Meta Spark Open，ARC-AGI-1 得 89.0%、ARC-AGI-2 得 57.5%、ARC-AGI-3 仅 0.4%，v1/v2 分数与 Haiku 5.5、GPT-6 Luna 接近但成本约为其 9 倍。在 OpenRouter 各提供商上，该模型输入 $1.25/M、输出 $4.25/M，而 Haiku 5.5 和 GPT-6 Luna 均为输入 $0.10/M、输出 $0.50/M。随推理档位提升，ARC-AGI-2 从 medium 的 29.4%（平均 55k tokens/task）升到 xhigh 的 57.2%（180k tokens/task）。
匹配字段摘要
ARC Prize 公布 Meta Muse Spark Open 在 ARC-AGI 各版本的评测成绩
ARC Prize 公布 Meta Muse Spark Open 在 ARC-AGI 上的验证成绩：ARC-AGI-1 为 89.0%、每任务 $0.29，ARC-AGI-2 为 57.5%、每任务 $0.73，ARC-AGI-3 在 provider adapter harness 下为 0.4%、$3.0K，标准 harness 下为 0.1%、$3.9K。ARC Prize 称其在 v1/v2 上的分数与 Haiku 5.5、GPT-6 Luna 相近，但成本约为后者的 9 倍；该模型在 OpenRouter 上定价为每百万输入 $1.25、每百万输出 $4.25，而 Haiku 5.5 与 GPT-6 Luna 均为每百万输入 $0.10、每百万输出 $0.50。在公开任务上，随着推理规模提升，ARC-AGI-2 的得分从 medium 档平均 55k token/任务对应 29.4%，升到 high 档 150k 对应 51.0%，再到 xhigh 档 180k 对应 57.2%；ARC-AGI-1 在 high 档已达 92.8%，xhigh 档升至 94.0%。
匹配字段摘要
Elorian 发布 DecoyCount 基准，前沿模型视觉计数准确率均低于 50%
Elorian 与 Mercor 联合发布 DecoyCount 基准，测试模型是真正数清物体还是依赖视觉捷径，前沿模型准确率均低于 50%，最高为 GPT-6 Astra 的 43.17%。Elorian 称其视觉推理模型 Glimpse 在 1,660 道题上单次运行得分 50.48%，是唯一超过 50% 的模型，但该结果来自内部测试且未使用智能体或工具框架，而论文中的六个模型各取三次运行平均值。Elorian CEO Andrew Dai 表示，该基准同时考察视觉与推理，可区分模型是没看到物体还是数错了。
匹配字段摘要、正文
Amazon SageMaker AI 多轮强化学习实操指南：用 Wordle 示例训练 gpt-oss-20b
AWS 发布在 Amazon SageMaker AI 上做多轮强化学习（MTRL）的实操指南，以 Wordle 为例，把智能体与奖励函数部署到 Amazon Bedrock AgentCore，训练作业通过 GRPO 更新 LoRA 适配器。示例中 gpt-oss-20b 在默认推理强度下对留出单词的解题率从 61% 提升到 84%，训练 token 花费约 339 美元，AgentCore 运行时约 79 美元。文章还给出奖励设计的两处反转错误、并发下 token 失效、工具调用退化为纯文本等失败细节，并建议在最终服务的解码设置下做评测。
匹配字段摘要、正文
DeepSeek Search 登榜 Artificial Analysis 搜索指数第 17 名
DeepSeek Search 在 Artificial Analysis 搜索指数上得分 69，在 27 个搜索产品中排第 17，是榜单上价格最低的付费搜索 API。其每 1k 次搜索收费 $0.75，单任务成本约 $0.032，在 27 个产品中排第 5 便宜。AA-Omniscience 上准确率 70% 排第 10，但需要多跳推理的 BrowseComp 仅 63%，排第 25；每次搜索返回约 7k token，使模型成本升至榜单第 2 高。
匹配字段摘要
MIT 6.S950 更新第五讲 Harness 讲义：用 300 行教学 Agent 拆解 Agent 工程
MIT 公开课 6.S950 Agency with AI 更新了第五讲 The Harness 讲义，用一个约 300 行 Python、仅含 search 和 read_lines 两个工具、本地跑 Ollama 的教学 Agent Baby Anigans 拆解 Harness 的工作方式。讲义把 Agent 概括为 LLM 加 Harness，讨论可观测性上厂商把上下文摘要、推理过程加密封装到 API 后的透明度取舍，并把上下文管理、强制拦截、最小权限等做法追溯到 1965 至 1975 年的系统原则。讲义还指出没有通用最优解，5 个模型里有 4 个在不同基准上的最佳 Harness 不同。
MIT 公开课 6.S950 Agency with AI 更新了第五讲 The Harness 讲义，用一个约 300 行 Python、仅含 search 和 read lines 两个工具、本地跑 Ollama 的教学 Agent Baby Anigans 拆解 Harness 的工作方式。讲义把 Agent 概括为 LLM 加 Harness，讨论可观测性上厂商把上下文摘要、推理过程加密封装到 API 后的透明度取舍，并把上下文管理、强制拦截、最小权限等做法追溯到 1965 至 1975 年的系统原则。讲义还指出没有通用最优解，5 个模型里有 4 个在不同基准上的最佳 Harness 不同。
匹配字段摘要、正文
GPT-6 Luna 与 GPT-6.1 Sol 占据 Agent Arena Pareto 前沿 6 个位置
Arena 的 Agent Arena Pareto 前沿共 11 个位置，OpenAI 的 GPT-6 Luna 与 GPT-6.1 Sol 按不同推理档位占据其中 6 个。GPT-6 Luna 在每任务低于 $0.10 的区间拿下 4 个最优位置中的 3 个，覆盖 Max、Medium 和 Low 档；GPT-6.1 Sol 则覆盖每任务 $0.22 至 $0.65 区间。加上 GPT-6 Astra（Max），OpenAI 模型共占 7 个前沿位置，Arena 据此指出切换推理档位有时比换模型更能保持在成本与性能的最优点。
匹配字段摘要
i14 在 AWS Trainium2 上用原生 PyTorch 训练与部署 Laplace 3B 线性注意力模型
i14 与 AWS 合作，用 TorchNeuron Native 在 AWS Trainium2 上训练并部署了基于 Gated Linear Attention 的 Laplace 3B，单台 trn2.48xlarge 训练吞吐约 120,000 tokens/s。该模型每序列循环状态固定为 29.5 MB，不随上下文长度增长，推理在 1,280 并发序列下达到 11,544 output tokens/s。团队还通过 Muon 的 all_to_all 通信改造把每卡通信量降低 24 倍、训练吞吐提升 1.63 倍。
i14 与 AWS 合作，用 TorchNeuron Native 在 AWS Trainium2 上训练并部署了基于 Gated Linear Attention 的 Laplace 3B，单台 trn2.48xlarge 训练吞吐约 120,000 tokens/s。该模型每序列循环状态固定为 29.5 MB，不随上下文长度增长，推理在 1,280 并发序列下达到 11,544 output tokens/s。团队还通过 Muon 的 all to all 通信改造把每卡通信量降低 24 倍、训练吞吐提升 1.63 倍。
匹配字段摘要、正文
斯坦福 CME 295 第四讲公开：用 LLM 讲强化学习
斯坦福课程 CME 295 Transformers & Large Language Models 更新到第四讲 Reinforcement learning with LLMs，视频和讲义均已公开。这一讲从 RL 和 Reward Design 讲到 PPO、GRPO、RLVR 和 DAPO，逐个解释其中的符号。课程由 Afshine 与 Shervine Amidi 主讲，共 9 讲，覆盖 Transformer 架构、注意力变体、RoPE、LoRA 微调、RLHF/GRPO 训练、Flash Attention 推理优化、MCP 与 AI Agent、扩散语言模型。
匹配字段摘要
Meta 工程团队分享 Thin Orchestrator Agent 架构实践
Meta 工程团队发布 Agent 架构实践，用确定性的瘦编排器把 20+ 工作流路由到 14 个上下文隔离的专业 Agent，解决单 Agent 装载全部领域知识后在生产环境出现知识交叉污染和幻觉的问题。瘦编排器约 1300 行代码，只做意图分类、收集字段和可靠性检查，每个请求走固定 7 步协议，仅委派子 Agent 一步涉及 LLM 推理。文中引用 Mount Sinai 研究称多 Agent 编排在 80 任务批次下准确率 65.3%，单 Agent 为 16.6%，token 消耗最多降低 65 倍；新增管道迁移能力只需新增 workflow 模板，零新增 Agent 代码。
匹配字段摘要、正文
Reflection AI 的 Beam 1.0 在 ARC-AGI 上取得 23.5% 与 74.0% 成绩
ARC Prize 公布 Reflection AI 的 Beam 1.0 在 ARC-AGI 上的验证成绩：ARC-AGI-2 为 23.5%，每任务 $0.61；ARC-AGI-1 为 74.0%，每任务 $0.31。Beam 的最佳成绩出现在 xhigh 推理档，但 high 档在 ARC-AGI-2 上接近，为 20.0% 对 23.5%，成本约低 43%。
匹配字段摘要