全部新闻 · AI News

10月16日2026星期五26 条

10:37
邵猛10:37解读
AI 评分56
Databricks 分享把 Qwen 3.8 27B 微调提速 6 倍的调优全过程
Databricks 分享在自家 AI Runtime 上微调 Qwen 3.8 27B 的调优过程，SFT 训练时间从 7 小时 44 分降到 1 小时 17 分，提速 6 倍。torch profiler 显示瓶颈在 CPU 调度而非 GPU，单步 CPU 发起约 171 万次调用；接入 flash-linear-attention 与 causal-conv1d 融合内核后降到 2h05m，再用 1D 序列打包去 padding 降到 1h17m。作者提醒不要依赖 HF Kernel Hub 动态加载内核，版本不匹配会静默回退，且部分内核只实现 forward，训练不可用。
同一事件 · 2 条报道
#教程/实践#数据/训练#部署/工程
10:37
邵猛10:37解读
AI 评分70
LangChain 团队分享 Agent Evals 实践指南：常见问题与可落地流程
LangChain 团队的 divyasan0 以 Q&A 形式分享了 Agent Evals 实践指南，回答常见问题并给出可落地工程流程：从真实 trace 起步、用 10–20 条小数据集建立基线、失败案例回流迭代、离线与在线分层评估、代码评估器优先于 LLM 裁判、benchmark 用容器化环境验证最终状态。文中还给出 LLM 裁判的三条校准建议，并指出小模型裁判在 pass/fail 判定上与人类标注一致，总成本 $0.34 对比 Claude Sonnet 4.6 的 $28.17。
#教程/实践#Agent#评测/基准
10:37
邵猛10:37
AI 评分64
LangChain Agent Evals 常见问题速查表
针对 LangChain 团队发布的 Agent Evals 常见问题解答，作者整理了一份 Cheatsheet 方便随时查看。被引用的原帖归纳了该实践指南的要点，包括从真实 trace 起步、小数据集建立基线、失败案例回流迭代、离线与在线分层评估、代码评估器优先于 LLM 裁判，以及用容器化环境验证最终状态。
引用meng shao · @shao__meng
Agent Evals 最常见的问题都有什么？ @LangChain 团队 @divyasan0 以 Q&A 形式分享了 Agent Evals 实践指南，把常见问题一次性回答了。她给出的可落地工程流程：从真实 trace 起步、小数据集建立基线、失败案例回流迭代、离线/在线分层评估、代码优先于 LLM 裁判、benchmark 用容器化环境验证最终状态。 QA 博客地址： https://t.co/Uc9QBetiDD 为什么 Agent 难以测试？ · 输出不确定性：同一输入，多次运行结果不同； · 答案非唯一：多个不同回答都可能是正确的，无法做字符串精确匹配； · 路径自选：Agent 自己决定执行步骤，即使最终答案正确，路径也可能是“错的”（调用了不必要的工具、未经授权就行动）。起点：从 trace 开始的最小闭环一条清晰路径值得直接采纳：读一批真实 trace → 选定一个行为 → 建 10–20 条小数据集 → 跑基线实验 → 之后所有改动都与基线对比。其中最有价值的工程习惯是失败回流机制：发现一次失败 → 作为新样本加入数据集 → 改进 agent → 重跑全量。这让数据集随系统演化而增长，评估从“一次性验证”变成“持续改进的飞轮”。未上线的团队可以用内部 dogfooding 产生 trace。离线 vs 在线：两道互补的闸门 · 离线评估（Offline）：发生在发布前、对数据集、用来测新 prompt/模型/工具防回归 · 在线评估（Online）：发生在生产环境、对真实流量 trace、用来持续监控线上质量两者形成闭环：线上标出的失败，转化为线下的新样本。数据集组织原则也很实用，同一行为、同一组评估器的样本放一起；输入、评估器或目的不同就另建数据集，避免一个大盘子什么都装。评估器的优先级：代码 > LLM 裁判 > 人工 · 代码评估器：确定性检查（如“价格是否低于预算”），快、便宜、零歧义，能用则必用； · LLM-as-a-judge：处理代码判不了的主观维度（如“回复是否清晰确认了航班信息”）； · 人工审核：最贵但最可靠的信号，用于抽样校准前两者； · Pairwise（成对比较）：让裁判二选一，比绝对打分更稳定。评估对象的颗粒度也分层：单步 → 最终回复 → 完整对话 → 环境终态（如容器内记录、文件、测试是否通过）。 LLM 裁判能否信任：三条可操作建议 1. 用人工标注对照校准，调整裁判 prompt 直到两者对齐； 2. 问窄问题，“回复是否提到了每一个中转站？”远好于“这是个好回复吗？”； 3. 用二元判定或分类标签，避免 1–10 打分（数值打分的跨 run 一致性很差）。 Eval ≠ Benchmark：一个重要的概念澄清 Benchmark 本质是 “重型离线 eval”，其特殊性在于： · 任务长链路，涉及数十次工具调用； · 每个任务自带独立的容器化隔离环境； · 评分方式是检查运行后的环境状态（订票记录是否存在、代码测试是否通过），而非比对文本。文中介绍了开源评估 harness Harbor（Terminal-Bench 的底层引擎），每个任务构建一个容器，结果记录到 LangSmith 实验。自建 benchmark 的路径：从 trace 收集任务 → 定义评分规则 → 对分数做 hill climbing（爬山式迭代优化），甚至可以做成 Karpathy 式的自动化研究循环。线上评估的成本控制生产流量全量打分不现实，博客给出三层降本： 1. 采样与过滤：只评估有负反馈的 trace； 2. 代码检查优先：几乎零成本； 3. 换更便宜的裁判模型：小模型裁判在 pass/fail 判定上与人类标注一致，总成本 $0.34 vs Claude Sonnet 4.6 的 $28.17（约 1/83）。对二元判定类任务，裁判模型确实不必用旗舰模型。不必从零自建生态已提供相当多现成件：针对幻觉、PII 泄露等常见问题的预置 LLM 评估器模板、开源 agentevals 包（针对消息和工具调用）、可从代码仓库和 trace 直接生成可运行评估的 Eval Engineering Skill、从 issue 聚类自动生成数据集和断言的 LangSmith Engine。且整个体系框架无关；支持 OpenAI Agents SDK、Claude Agent SDK，或用 @ traceable 装饰器裸接。迁移也不必推倒重来：数据集以 CSV/JSONL 导入，pytest/Vitest 集成保留现有测试体系，已有裁判 prompt 直接粘贴复用。两个进阶难题多轮对话：每一轮都看似正常、整体却失败的“累积性失败”是单点评估的盲区。解法是给 trace 附上 thread ID 将各轮聚合，再挂载面向整段对话的在线评估器（如“用户是否被迫重复了自己的需求”）；离线侧则把完整对话存为样本，或用 LLM 模拟用户。超越最终输出：复杂 agent 需要检查轨迹（消息/工具调用序列）与终态（仓库变更、测试结果）。例如编码 agent 跑完后直接在其工作环境里执行该 repo 的测试套件；这正是 Harbor + 容器化沙箱的设计动机。
#教程/实践#Agent#评测/基准
10:37
邵猛10:37解读
AI 评分64
密歇根大学 AI 编程课第 14 讲 Subagents 讲义公开
密歇根大学 AI 编程课 Applied Agentic Software Engineering 第 14 讲 Subagents 讲义公开，从为什么需要 subagents、机制、关键取舍和相邻概念辨析四部分展开。讲义认为长对话会因上下文只进不出、history bleed、重发全部历史和串行执行而劣化，解法是主对话只留请求和计划、各部分阅读放进各自 subagent 并只回流结果。最大取舍是 Fresh 与 Forked：Fresh 仅以 brief 为起点，适合第二意见和独立审查但更贵；Forked 带全部历史加 brief，适合需要全部积累的侧任务且更便宜。讲义还用几个对话、谁和谁说话、谁决定下一步三个问题区分 Subagents、Team、Handoff 与 Swarm，并提到并行编辑靠 worktree 隔离。
引用meng shao · @shao__meng
https://t.co/Bmydqltumy
#教程/实践#Agent#MCP/工具调用
10:36
ARC Prize10:36一手解读
AI 评分85
ARC Prize 公布 Gemini 4 Argon 在 ARC-AGI 上的测试结果
ARC Prize 公布 Google Gemini 4 Argon 在 ARC-AGI 系列基准上的验证成绩：ARC-AGI-3 在 provider adapter harness 下得分 97.5%、成本 4.8K 美元，标准 harness 下为 49.8%、5.8K 美元；ARC-AGI-2 为 91.3%、每任务 0.32 美元，ARC-AGI-1 为 98.5%、每任务 0.16 美元。Google DeepMind 由此成为第二家在 ARC-AGI-3 上得分超过 95% 的前沿 AI 实验室，仅次于 GPT-6 Astra 的 99.9%。Argon 在 25 个 ARC-AGI-3 公开游戏中比人类基线少用 62% 的动作，并在 3 个游戏中追平或打破速通纪录。
#评测/基准#Google#DeepMind
10:36
ARC Prize10:36一手解读
AI 评分77
ARC Prize 公布 Gemini 4 Argon 在 ARC-AGI 的测试结果
ARC Prize 公布 Google Gemini 4 Argon 在 ARC-AGI 上的测试结果：ARC-AGI-3 在 provider adapter harness 下得分 97.5%、成本 4.8K 美元，标准 harness 下低推理档 49.8%、中推理档 46.3%，高推理档仅完成 55 个游戏中的 19 个因此未公布分数。ARC-AGI-2 为 91.3%、每任务 0.32 美元，ARC-AGI-1 为 98.5%、每任务 0.16 美元。ARC Prize 称 Argon 是第二个在 ARC-AGI-3 上超过 95% 的前沿实验室模型，其 97.5% 仅次于 GPT-6 Astra 的 99.9%，并在 25 个公开游戏中比人类基线少用 62% 的动作。成本按当前每百万 token 输入 2 美元、输出 10 美元的入门价格计算。
#评测/基准#Google#推理
10:36
ARC Prize10:36一手解读
AI 评分81
ARC Prize 公布 Gemini 4 Argon 在 ARC-AGI 系列上的评测结果
ARC Prize 公布 Google Gemini 4 Argon 在 ARC-AGI 上的验证成绩：ARC-AGI-3 达 97.5%（provider adapter harness，成本 4.8K 美元），标准 harness 下为 49.8%（成本 5.8K 美元）；ARC-AGI-2 为 91.3%，每任务 0.32 美元；ARC-AGI-1 为 98.5%，每任务 0.16 美元。ARC Prize 称 Google DeepMind 是第二家在 ARC-AGI-3 上超过 95% 的前沿 AI 实验室，Argon 的 97.5% 仅次于 GPT-6 Astra 的 99.9%。标准 harness 测试因 API 问题未能完成全部 55 个游戏，高推理档仅完成 19 个游戏故未公布分数，成本按每百万 token 输入 2 美元、输出 10 美元的当前优惠价计算。
#评测/基准#推理#Google
10:36
Artificial Analysis10:36解读
AI 评分56
Artificial Analysis 测试 AI 离线建模埃菲尔铁塔，两款模型默写出 72 位科学家名单
Artificial Analysis 让多个模型在无网络的沙箱中以智能体方式用 3D 建模埃菲尔铁塔，提示词约 200 词，只描述塔身形状、格构、平台和灯光，从未提到科学家名单。Claude Opus 5.5 和 Grok 4.7 都写出了塔下 72 位法国科学家、工程师和数学家的名字，每侧 18 人且顺序与真实一致，Claude Opus 5.5 还把每组名字放在与巴黎实际朝向相同的一侧。两次运行中，这些名字都首次出现在模型自己写的代码里，而非它读取的文件或工具输出。
#评测/基准#Agent#编码
10:36
Artificial Analysis10:36解读
AI 评分61
Artificial Analysis 实测 NVIDIA RTX Spark 笔记本本地智能体性能
Artificial Analysis 首次公布 AA-AgentPerf-Local 结果，搭载 NVIDIA RTX Spark N1X 的笔记本在 Qwen3.8 27B 上完成默认本地智能体负载（8 个任务、168 个模型轮次）耗时 18.7 分钟，接近 DGX Spark 的 17.3 分钟，比 MacBook Pro（M5 Pro，64 GB）快 2.0 倍，比 AMD Ryzen AI Halo 快 1.8 倍，GeForce RTX 5090 台式机最快为 4.9 分钟。N1X 芯片本质上是 DGX Spark 的 GB10（20 核 Arm CPU、6,144 核 Blackwell GPU），最高 128 GB 内存、带宽 300 GB/s；测试机型为 15 英寸 Surface Laptop Ultra 原型机（128 GB，5,900 美元），插电并设为 Windows 高性能模式，使用 NVIDIA 公布的 llama.cpp 配方。在 Qwen3.6 35B A3B 上耗时 7.6 分钟，在 Ling 3.0 Flash 上耗时 15.3 分钟，后者的 77 GB 权重无法装入 MacBook Pro 或 RTX 5090。
#评测/基准#端侧#部署/工程
10:36
Artificial Analysis10:36解读
AI 评分65
NVIDIA Vera Rubin NVL72 智能体推理首测：每兆瓦吞吐最高约 5.7 倍于 GB300
Artificial Analysis 在 AA-AgentPerf 上发布 NVIDIA Vera Rubin NVL72 的初步结果，在 DeepSeek V4 Pro 上每兆瓦总吞吐最高约为前代 GB300 NVL72 的 5.7 倍，DeepSeek V4.1 Flash 约 5.4 倍，GLM-5.2 约 3.0 倍，Kimi K3 约 2.8 倍。Vera Rubin 是 NVIDIA Blackwell 的继任者，NVL72 为机架级系统，含 72 颗 Rubin GPU 和 36 颗 Vera CPU，每颗 GPU 内存与 Blackwell Ultra 同为 288 GB，但内存带宽为 2.4 倍、NVLink 带宽 1.7 倍、密集 NVFP4 算力 2.3 倍。AA-AgentPerf 通过回放真实智能体编码会话衡量推理性能，Vera Rubin 在 DeepSeek V4.1 Flash 上创下 906 tok/s 的单用户速度纪录。
#评测/基准#Agent#部署/工程
10:34
The New Stack10:34解读
AI 评分58
AI 智能体最小权限实验：任务级授权如何把爆炸半径降到十五分之一
作者用 30 个 scope、20 个任务、160 次运行对比四种权限模型，发现任务级授权在完成率与宽泛授权相同的情况下只持有十五分之一的凭证，且调用开销可忽略。角色授权表现最差，凭证是任务级的 8.5 倍却只完成一半任务，因为它按岗位而非实际工作分配权限。作者据此提出按任务而非按主体发放凭证、凭证随运行生命周期过期、用 JIT 升级替代静态上限，并把允许与拒绝的调用都写入审计日志。
#安全/对齐#Agent#部署/工程
10:33
36氪 · AI10:33解读
AI 评分59
Artificial Analysis 发布 AA-Robotics v0.1 机械臂操控评测
美国 AI 基准测试公司 Artificial Analysis 发布 AA-Robotics v0.1，用抓取、物体摆放、按按钮等 8 项桌面操作任务，评估前沿大语言模型通过写代码控制 6 轴机械臂的能力。GPT-6 Astra 以 69 分排名第一，其后依次为 GPT-6.1 Sol、Gemini 4 Argon、Claude Opus 5.5 和 Claude Fable 5.1。GPT-6 Astra 平均每项任务耗时约 30 分钟、成本 16.36 美元，而人类平均只需 20 秒，速度差距接近两个数量级。
同一事件 · 5 条报道
#评测/基准#Agent#具身智能
10:31
Meta Engineering Blog10:31一手解读
AI 评分62
Meta 如何用 AI 智能体工程方式构建 Forum 应用
Meta 工程团队分享了用智能体 AI 构建独立 Groups 应用 Forum 的实践，把 AI 智能体当作工程流程的参与者而非打字加速器，并以通过构建、测试和评审的已验证产出而非代码量衡量成功。团队把自动化验证信号接入智能体循环，用导航智能体模拟真人操作做回归测试，并采用与生产共享代码库但把原型代码完全编译出生产构建的沙箱构建方式。Forum 在八周内达到与 Facebook Groups 的核心功能对齐，自主压力测试在开发阶段发现并修复了一处内存问题，使内存占用和页面错误约减半。
#教程/实践#Agent#编码
10:31
Google Developers Blog10:31一手解读
AI 评分54
Google 团队详解如何评测 AI 智能体：从 Day 0 到 Day 2 的落地流程
Google Developers Blog 发布一篇智能体评测实践指南，提出用关键用户旅程定义成功标准、以模拟用户生成执行轨迹，并按 Day 0 到 Day 2 逐步搭建评测流水线。文章指出仅靠终端里跑几条提示词的 vibe check 无法发现重试循环、工具参数幻觉和 token 浪费等隐性失败，建议把 LLM-as-a-judge 的 1 到 5 分打分改为布尔式通过/失败检查，并同时跟踪延迟、token 消耗、API 成本和工具调用次数。文中还列出四个常见陷阱，包括随意增删测试导致基线失效、只评文本忽略运行成本、以及为不同编排框架重写评测流程，并推荐使用开源 agent-eval 工具包配合 OpenInference 与 Gemini 平台的 Agent Evaluation 服务。
#教程/实践#Agent#评测/基准
10:29
Artificial Analysis 完整文章10:29一手解读
AI 评分59
NVIDIA RTX Spark N1X 笔记本首份 AA-AgentPerf-Local 测试结果
Artificial Analysis 公布 NVIDIA RTX Spark N1X 笔记本的首份 AA-AgentPerf-Local 结果，该机在 Qwen3.8 27B 上完成本地智能体负载耗时 18.7 分钟，接近 DGX Spark 的 17.3 分钟，比 MacBook Pro（M5 Pro）快 2.0 倍、比 AMD Ryzen AI Halo 快 1.8 倍。测试使用 128 GB 统一内存、6144 核 Blackwell GPU 的原型 15 英寸 Surface Laptop Ultra，售价 5899.99 美元，通过 llama.cpp 的 Windows 原生构建在 GPU 上运行模型。在 Qwen3.6 35B A3B 上耗时 7.6 分钟，在 124B 的 Ling 3.0 Flash 上耗时 15.3 分钟，后者无法装入 MacBook Pro 或 RTX 5090 的内存。
#评测/基准#端侧#部署/工程
10:29
Anthropic：Claude.dev 开发者博客10:29一手解读
AI 评分61
Claude Code 团队如何做代码审查
Anthropic 的 Claude Code 团队公开了其代码审查流程：把大部分阅读交给机器，人工只处理高风险决策。团队称 6 月到 9 月合并的 PR 数量翻倍以上，回滚比例下降超过 40%；内部 PR 获得实质审查意见的比例从 16% 升到 54%。流程分六层，包括提交前用测试和子智能体验证、每个 PR 的 Claude 审查、可阻断的安全审查、自动化检查、按风险分级的人工批准，以及合并队列和快速回滚。
#教程/实践#编码#Agent
10:27
Apple Machine Learning Research10:27一手解读
AI 评分68
Apple 用 MLX 与 RDMA 在 Mac Studio 上本地及分布式推理大模型
Apple 介绍如何用最新版 MLX 在 Mac Studio 上运行大语言模型，并借助 macOS 26.2 的 RDMA over Thunderbolt 5 驱动和 MLX v0.30.1 起的 jaccl 通信集合实现多机分布式推理。在四台 M5 Ultra Mac Studio 上，816B 参数的 Muse Spark Open 以 NVFP4 精度生成超过 36 tokens/s；单机上 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍，生成速度提升 1.6 倍。文中还给出 mlx_lm.benchmark、mlx.launch 和 mlx_lm.server 的命令示例，并说明可用 OpenCode 等工具接入本地 LLM 服务。
同一事件 · 3 条报道
#教程/实践#部署/工程#端侧