Google Cloud AI Research 与多所大学提出 RRSI(Regularized Recursive Self-Improvement of Agent Harnesses),通过逐步收紧编辑预算和严格评审机制,防止自优化智能体在测试任务上过拟合。在覆盖编码、智能体办公和工程设计的八个基准上,RRSI 在训练任务上最多提升 14.1 分,在五个未见过的基准上最多提升 4.7 分,运行时 token 用量比未正则化版本少约 30%。底层模型 Claude Opus 4.8 全程冻结,代码已在 GitHub 发布。
Together AI 推出含 87 道真实代码问题的 ParallelKernelBench,测试前沿 LLM 能否用经 NVLink 直接传输数据的 CUDA 内核替代 PyTorch + NCCL。最佳模型零样本仅正确解决 28 题,其中 22 个方案更快;采样三次时 fast 1@3 最高仍为 31%。智能体反馈将 Gemini 3 Pro 的正确数从 24 提升至 35,但约 20 轮后停滞,主要难点仍是 rank 协调、通信顺序和传输机制选择。
chmark testing whether frontier LLMs can replace PyTorch + NCCL implementations with CUDA kernels that move data directly over NVLink. The best model solved only 28 problems correctly zero-shot, with 22 faster solutions, while fast 1@3 still peaked at 31% with three attempts. Agentic feedback raised Gemini 3 Pro from 24 to 35 correct solutions but plateaued after about 20 refinement steps, leaving rank coordination, communication ordering, and transfer-mechanism selection as the main challenges.