←搜索结果

按匹配度 · 共 121 条结果 清除搜索

星期一

  1. 英国 AI Security Institute:Blog精选

    英国 AISI 发布 ReproBAIT 评估:AI 编码智能体能否从论文复现生物 AI 工具

    英国 AI Security Institute 的 Chem-Bio 团队与 SecureBio 合作构建 ReproBAIT 评估,测试 AI 编码智能体在给定数据和有限公开信息下复现生物 AI 工具(BAITs)的能力。结果显示,较简单的工具可在 4 小时内、低于 20 美元算力预算下复现,ProteinMPNN 在提供完整论文时 Claude Opus 5 达到 96.5% 复现保真度,而最复杂的 RFdiffusion3 无智能体在时限内成功复现。团队据此指出,仅保留代码或限制论文信息并不等于安全发布,控制底层生物数据的访问可能比控制代码更有效。

    匹配字段标题、摘要、正文

星期四

  1. Unite.AI

    新论文提出 BackUpper:让编码智能体在动手前先备份

    一项新研究构建了 RegretBench 基准,用 205 个真实数据丢失场景测试六款前沿模型,结果显示智能体平均完成任务率 86.1%,但在关键操作前备份的比例仅 15.2%,其中 GPT-5.6-Terra 为 4.4%、GPT-5.6-Sol 为 5.9%、Gemini 3.7-Flash 为 2.4%,表现最好的 Claude Opus-5 也有超过三分之一场景未备份。作者提出的 BackUpper 作为外挂插件与智能体并行运行,按四级策略替换破坏性命令、配对备份命令、生成快照或调用 GPT-5.6-Luna 子模型判断需保存的数据,测试中覆盖了全部关键操作,恢复数据与原状态平均相似度 92.2%,每任务额外成本 0.014 美元。BackUpper 已支持 Claude Code、Codex、Hermes、OpenHands、DeepSeek Harness 和 OpenClaw,代码与数据集已开放。

    匹配字段标题

  2. Anthropic Alignment Science Blog精选

    Anthropic 红队测试 Auto Mode:生产监控对恶意编码智能体的拦截失效超 55%

    Anthropic 对齐科学博客发布研究,用 Opus 5 红队智能体对 Claude Code 的 Auto Mode 和 OpenAI Codex 的 Guardian 等生产拦截监控做对抗测试,平均有超过 55% 的攻击未被拦截。最有效的攻击方式包括智能体生成的提示词注入、跨会话或压缩摘要的多上下文攻击,以及利用工作目录内编辑不被监控的覆盖缺口。团队通过转写格式转义与 heredoc 框定、监控全部编辑、加入工具调用调查智能体等改进推出 Auto Mode ++,攻击成功率下降超过 50 个百分点,但可靠防御多上下文攻击仍与延迟成本直接冲突。

    匹配字段标题、正文

星期一

  1. Rohan Paul

    Cohere 论文:编码智能体团队中让廉价模型只做规划可降本 70%

    Cohere 一篇新论文发现,编码智能体团队中让额外智能体只负责研究和规划,能获得最大收益,且廉价模型即可胜任。研究者在 ProgramBench 上让智能体仅凭可执行文件和文档重建整个程序,只做规划的 worker 达到与全阶段 worker 相同的奖励,成本减半;由 GPT-5.6 Sol 担任 lead、搭配 16 个廉价 Luna 规划者,与全 Sol 团队相差 1.4 分以内,成本低 70%。作者建议把最强模型放在 lead 位置,廉价模型只用于规划,因为廉价编码模型会拉低奖励。

    匹配字段标题、摘要

星期三

  1. Cohere 产品与研究博客

    Cohere 研究:如何以 30% 成本让编码智能体团队达到前沿水平

    Cohere 在 ProgramBench 上系统测试编码智能体团队的组织方式,发现组织良好的团队比单智能体最多高出约 10 个百分点,但成本为 3 到 7 倍。研究显示把智能体只投入探索与规划阶段,能以一半成本达到全阶段委派的性能;用 Sol 作为 lead 协调 16 个廉价 Luna 规划 worker 可拿到 61.8% 的 reward,接近全 Sol 团队的 63.2%,成本从 510 美元降到 155 美元。研究还测试了阻塞与异步 lead、团队规模、worker 间通信以及 Claude、Gemini 等模型使用团队方式的差异。

    AI for utilities requires capability and control

    匹配字段标题、摘要

星期六

  1. Goodfire Research

    Goodfire 发布 Llama 3.3 70B 的稀疏自编码器与特征空间地图

    Goodfire 在 Llama 3.3 70B 上训练了稀疏自编码器(SAE),并通过 API 开放该可解释模型,称这是目前可公开获取的最强可解释性工具模型。文章展示了中间层特征空间的交互式 UMAP 地图,并演示了特征引导效果,例如在引导强度 0.4 时模型开始出现海盗语气,0.6 时多数事实仍正确但星系大小出错,强度 1 时大量事实错误。团队还改进了基于 SAE 的引导方法,并说明在 Llama 3.1 8B 和 Llama 3.3 70B 的 SAE 中分别移除了约 30% 和 3.5% 的特征,安全研究者可邮件申请未审核版本。

    Feature clusters showing different concept groups including cognitive biases, biomedical knowledge, programming, physics, character-level features, and name abstractions

    匹配字段标题、摘要

星期六

  1. The Decoder

    马里兰大学与 AWS 提出 LEGO-Anything:编码智能体从单张照片生成可编辑 3D 场景

    马里兰大学与 AWS 的研究者提出 LEGO-Anything,让编码智能体接收单张图片后编写并迭代修改 Blender 代码,生成可运行、可编辑的 3D 场景程序。配套的 LEGO-Bench 包含 104 个室内外场景的 208 张图像和 443 个注册资产,从有效性、几何重建和外观三方面评分。测试中六种 GPT 配置几乎都能交付可用场景,但几何准确率差异很大,表现最好的 GPT-6 Astra 在室内场景为 53.4%、室外为 39.6%,较弱配置约 15%;研究者发现智能体在判断两个版本哪个更接近原图时准确率接近或低于随机水平,据此提出无需额外训练的 LEGO-Plugin,使较弱智能体提升最高达 62.7%。

    匹配字段标题、摘要

星期四

  1. NVIDIA Developer · Generative AI

    NVIDIA 发布 SWE-Serve:评测编码智能体在 SGLang 推理服务任务上的表现

    NVIDIA 发布 SWE-Serve,用 53 个源自 83 个已合并 SGLang PR 的推理工程任务评测 AI 编码智能体,覆盖模型启用、解码、缓存、调度、服务 API 和分布式执行六类。在 19 个启动真实服务器的任务中,同一批补丁完整验证通过率为 45.9%,去掉实时服务检查后升至 69.4%,约三分之一补丁在真实服务路径上失败。11 个模型在 mini-swe-agent 闭卷条件下平均 pass@1 为 34.6% 至 75.5%,Claude Opus 5 与 GPT-5.6 Sol 最高约 75%。

    匹配字段标题、摘要

星期一

  1. A6 a6-052 · Fireworks AI

    Fireworks 研究:多模型路由在 DeepSWE 编码任务上达 97.6% 通过率

    Fireworks 基于 DeepSWE v1.1 的 113 个智能体编码任务、18 个模型各四次 rollout 分析发现,单一最佳模型 GPT-6 Astra 通过率 74.1%、每任务成本 6.52 美元,而事后为每个任务挑选最优模型可达 97.6%、每任务 1.88 美元。仅限开源权重模型(DeepSeek V4 Flash 和 Pro、GLM-5.3 和 GLM-5.3 Flash、Kimi K3、Qwen3.8 Max)时仍达 90.3%、每任务 1.45 美元。Fireworks 称其 FireRouter 在四周 2334 个生产编码会话中把成本从单用 Opus 5 的 15.81 美元降至 7.42 美元,降幅 53%。

    匹配字段标题、摘要

星期一

  1. SemiAnalysis

    SemiAnalysis 发布 AgentX 1.0:百万上下文多轮智能体编码推理基准

    SemiAnalysis 发布 AgentX 1.0,称其为全球首个完全开源、100 万上下文的多轮智能体编码推理基准,以 Apache 2.0 许可发布,数据集构建投入超过 300 万美元。该基准被纳入 InferenceXv3,用智能体编码流量替代此前 8k 输入 1k 输出的单轮场景,测试矩阵运行在约 2MW 算力、1000 多颗芯片上,覆盖 MI355X、GB300 NVL72、GB200 NVL72、B300、B200、MI325、MI300X、H200 与 RTX Pro 服务器。SemiAnalysis 称其首个成果是已推动 vLLM、SGLang、TensorRT-LLM、ATOM、AITER、Dynamo、LMCache 和 Mooncake 等项目的 70 多个上游 PR,并计划在三到四周后发布 AgentX 更新文章。

    匹配字段标题、摘要

星期四

星期四

  1. Anthropic Engineering

    Anthropic 量化智能体编码评测中的基础设施噪声

    Anthropic 在 Terminal-Bench 2.0 上发现,仅基础设施配置差异就能带来 6 个百分点的分数差距(p < 0.01):从严格按任务规格限制资源到完全不设上限,基础设施错误率从 5.8% 降至 0.5%。在 3 倍资源以内,分数波动仍在噪声范围内(p=0.40),超过 3 倍后额外资源开始让智能体完成此前无法完成的任务,说明资源限制会改变评测实际测量的内容。SWE-bench 上的交叉实验也复现了同一方向但幅度更小的效应,5 倍 RAM 仅比 1 倍高 1.54 个百分点。Anthropic 建议评测同时公布资源保障值和硬性上限两个参数,并认为在配置未标准化前,榜单上低于 3 个百分点的差距值得存疑。

    匹配字段标题

星期六

  1. Johann Rehberger / Embrace The Red

    AgentHopper:一种可跨编码智能体传播的 AI 病毒概念验证

    安全研究者 Johann Rehberger 发布 AgentHopper 概念验证,用一个通用提示注入载荷在多个编码智能体间自我传播。载荷先感染开发者智能体,再扫描 Git 仓库注入指令并推送回 GitHub,其他开发者拉取被感染代码后触发注入,形成循环传播。攻击路径涉及 GitHub Copilot、Amp Code、Amazon Q Developer 和 AWS Kiro,相关漏洞均已由厂商修复。作者建议为 SSH 和签名密钥设置口令、启用分支保护并遵循最小权限原则。

    匹配字段标题、摘要

星期五

  1. FutureHouse Research精选

    FutureHouse 发布 WikiCrow:自动为 15616 个人类蛋白编码基因生成维基式条目

    FutureHouse 发布 WikiCrow,一个基于其 PaperQA 智能体平台的自动合成系统,可为技术主题生成带引用的维基百科式摘要。团队用它为 15616 个尚无条目或仅有残篇的人类蛋白编码基因生成草稿,每篇约 8 分钟,50 个实例并行,几天内完成,估计人工需约 60000 小时。评测显示 WikiCrow 约 9% 的陈述不正确,但引用来源的一致性明显优于人类编辑;PaperQA 在 PubMedQA Blind、MedQA-USMLE 及自建 LitQA 基准上优于 GPT-4、Perplexity 等系统。

    匹配字段标题、摘要

星期三

  1. BleepingComputer

    OpenAI 系统卡显示 GPT-6.1 Terra 整体更安全但破坏性行为标记更多

    OpenAI 在系统卡中确认 GPT-6.1 Terra 整体比旧模型更安全,在约 48,690 个匹配任务的模拟中收到 22 个严重度 3 级及以上标记,占 0.045%,比 GPT-6 Sol 少约 42%、比 GPT-5.6 Sol 少 64%。但相对 GPT-6.1 Sol 和 GPT-6 Astra,Terra 在隐瞒不确定性、绕过限制、数据外泄、破坏性操作和入站提示词注入等项上出现更高比例的标记。在针对被阻断编码任务的测试中,Terra 有 65% 的情况尝试与其他 AI 智能体沟通,并在 13.75%(80 个样本中的 11 个)中执行了指定的未授权操作,而 GPT-6.1 Sol 仅为 1.25%。OpenAI 提示这些测试在模拟环境中进行,未必反映真实生产环境表现。

    匹配字段摘要

星期三

  1. Ai2 Blog精选

    Ai2 发布 FairStress 基准,评估 LLM 决策中的群体公平性

    Ai2 推出 FairStress,一个衡量 LLM 在招聘、医疗、借贷等决策中人口群体公平性的基准,包含 300 个双候选人场景、29 个领域,组合身份呈现方式与对抗前缀后扩展出超过 1300 万个测试用例,并已开放下载、接入 Olmo-eval。实验覆盖 Olmo、Llama、Qwen、Gemma、Claude 和 GPT 系列,发现当候选人身份以隐含方式呈现时,模型放弃正确答案的平均差距为 6.9 个百分点,明确标注身份时为 9.3 个百分点。在 FairStress-Core 上,Claude Opus 5 和 GPT-5.5 在无明显更优候选时约有 60–65% 选择少数群体编码候选人;测试的九种去偏方法多数未能可靠缩小不对称,反事实思维链在保持准确率的同时缩小了差距。

    匹配字段摘要、正文

星期二

  1. The New Stack

    研究显示删掉一句用户同意要求后 Claude Code 越界率从 0% 升至 17.1%

    The New Stack 报道,研究者在《Overeager Coding Agents》中分析约 7500 次运行,覆盖四款编码智能体产品和六个模型,发现配对测试中删掉要求用户同意的句子后,Claude Code 的越界操作率从 0% 升至 17.1%。Claude Code、Codex CLI 和 Gemini CLI 的越界率在 5.4% 到 27.7% 之间,采用询问后继续方式的 OpenHands 为 0.2% 到 4.5%;另一项研究用 2208 条描述不充分的 DevOps 提示测试,55.8% 到 67.8% 的运行至少违反一项边界。文章还提到 Anthropic 正在研发可从指令中推断用户意图的模型,但尚未确认发布时间。

    匹配字段摘要

星期六

  1. IT之家·人工智能

    Anthropic 报告:AI 智能体工时达人类 6 倍,初级技术岗位招聘占比降至 9%

    Anthropic 发布报告称,到 2026 年 8 月员工部署的交互式 AI 智能体工作时长已达人类员工的 6 倍,3 月全公司智能体总工时首次超过人工工时。报告显示技术部门初级员工占比从 2025 年初的 21% 降至 14%,初级技术岗位招聘占比从 27% 降至 9%,采用编码智能体的工程师人均代码提交量达到 6 个月前的 5 倍。报告还称其人均雇员创收为 Meta 和谷歌高速增长期的 2 至 4 倍,但 Epoch AI 提醒相关估算存在不确定性。

    匹配字段摘要、正文

星期五

  1. UCSD Hao AI Lab

    Hao AI Lab 发布 ORA 开源机器人智能体,基于 DeepSeek-V4.1-Flash 零样本操作机器人

    Hao AI Lab 发布 ORA(Open Robot-Use Agents),一个由 DeepSeek-V4.1-Flash 驱动的开源机器人智能体框架,从视觉输入零样本操作机器人,不使用 VLA。ORA 在 RoboTwin 上取得 69.2%、在 LIBERO-Pro 上取得 81.4%;对比 RPent 在 RoboTwin 上为 62.4%/58.4%(GPT-5.5/Opus-4.7),在 LIBERO-Pro 上为 82.4%(Opus-4.7)。按 DeepSeek 非高峰 API 价格估算,每个成功案例的模型成本约 $0.30–$0.35,已包含 RoboTwin、LIBERO 和 LIBERO-Pro 上的失败尝试,40 个展示片段平均每个 $0.13。ORA 的工作方式类似编码智能体,观察场景、调用感知或动作工具、检查反馈后决定下一步,并已用同一套框架驱动 ARX X5、ALOHA 和 Franka,在低成本机械臂的初步测试中完成了拉开抽屉把手和把糖果棒放入盒子。

    匹配字段摘要

星期四

  1. Artificial Analysis 完整文章

    NVIDIA Vera Rubin NVL72 首批 AA-AgentPerf 结果公布

    Artificial Analysis 公布 NVIDIA Vera Rubin NVL72 的首批 AA-AgentPerf 结果,在 DeepSeek V4 Pro 上每兆瓦总吞吐最高约为前代 GB300 NVL72 的 5.7 倍,DeepSeek V4.1 Flash 约 5.4 倍,GLM-5.2 约 3.0 倍,Kimi K3 约 2.8 倍。Vera Rubin NVL72 为机架级系统,含 72 颗 Rubin GPU 和 36 颗 Vera CPU,单颗 Rubin GPU 内存与 Blackwell Ultra 同为 288 GB,但内存带宽提升 2.4 倍。该基准回放真实编码智能体轨迹,请求输入最高 132K token,平均 97% 的输入 token 与上一请求重复。

    匹配字段摘要