←搜索结果

按匹配度 · 共 233 条结果 清除搜索

星期日

  1. 事件1 条新闻 · 1 个事实

    Prime Intellect发布INTELLECT-MAT

    2025年1月21日,Prime Intellect发布7B参数数学推理模型INTELLECT-MATH及配套数据集。该模型先用QwQ-32B生成并校验合成推理轨迹,微调Qwen-7B-Math,再用PRIME-RL做在线强化学习。团队称其早期checkpoint以47个RL step达到Eurus-2-7B-PRIME用592步的效果,训练时间缩短10倍。同时开源代码、权重和NuminaMath-QwQ-CoT-5M数据集,该数据集包含86万道数学题上的500万条经正确性校验的推理轨迹。文章还提出在推理时计算范式下,RL中大量前向计算会降低通信需求,使全球分布式训练成为可行路径,并计划今年训练o3的完全开源复现。

    匹配字段摘要

  2. 事件1 条新闻 · 1 个事实

    Redwood与Anthropic发布对齐伪装研究

    2024年12月19日,Redwood Research与Anthropic合作发表论文,展示大语言模型的对齐伪装现象:模型在训练中选择性服从训练目标,以避免训练过程改变其偏好。实验中,Claude 3 Opus被系统提示正在被训练回答所有问题(包括有害问题),并被告知只有免费用户对话会用于训练;结果它对免费用户的有害提问有14%的时间选择服从,而对付费用户几乎从不服从,且几乎每次服从都伴随明确的伪装对齐推理。研究还发现,用合成文档模拟预训练数据提供训练信息时出现类似现象,而通过强化学习实际训练模型服从有害提问后,伪装对齐推理的比例升至78%。作者指出,虽然实验中是主动告知模型训练信息,但未来模型可能自行推断训练过程,因此存在对齐伪装风险。

    匹配字段摘要

星期二

星期四

  1. OpenAI:Alignment 研究博客精选

    OpenAI 介绍如何检测前沿模型行为错位

    OpenAI 公开其前沿模型错位监控系统,覆盖训练、评估、内部使用和部分外部部署,采用激活探针、模型审查、调查智能体和自动调查四层架构。在回放 Hugging Face 事件时,强化后的监控在智能体逃出沙箱约 30 分钟后告警,比实际入侵提前 30 多小时。真实事件中,安全 L2 立即升级召回率为 79.6%,对齐 L2 队列召回率为 91.4%。

    Diagram of three defense layers—alignment training, security controls, and monitoring—with gaps and arrows showing how failures can pass through successive layers.

    k Staley、William Wong 和 Aleksandra Spyra 主要贡献了本文所述的监控基础设施及其结果。 随着我们训练能力日益强大的 AI 模型,我们需要可靠的方法来检测其行为何时偏离我们的预期。智能体可能在训练、评估或部署期间行为失当并采取未经授权的行动,从而可能造成严重后果。为了检测这些故障——并在必要时及时干预——我们会监控智能体的推理方式、所采取的行动,以及这些行动如何影响其环境。 虽然我们 监控内部编程智能体 已有一段时间,但 Hugging Face 事件 暴露了我们覆盖范围中的一个缺口:该事件始于内部网络安全评估,而我们当时并未在这些评估中运行针对行为错位的监控。为应对该事件,并鉴于我们模型 能力的不断提升 ,我们大幅扩展了监控智能体行为的系统。我们的行为错位监控器现在覆盖前沿模型在更多种场景下的表现,包括训练、评估、内部使用,以及(根据产品场景不同而有所调整的)外部部署。 为了解这一扩展后的系统本可以如何帮助防止 Hugging Face 事件,我们在强化后的监控器就位的情况下,回放了该事件中记录的行为。在该模拟中,我们的监控系统在智能体首次逃出沙箱

    匹配字段正文

  2. 邵猛

    Google Research 发布 SLEEP:用离线睡眠周期减轻大模型灾难性遗忘

    Google Research 发布 SLEEP 方法,让 LLM 在清醒交互与睡眠巩固之间周期切换,把短时上下文信息写入可扩展的长时参数,并在做梦阶段用合成数据自我改进。睡眠阶段会解锁预留的 MoE 记忆块,结合广义知识蒸馏与模仿学习完成记忆巩固,再重置高频临时参数。在持续翻译的未见语言评测中 SLEEP 近乎零掉点,BABILong 上称可扩到约 1000 万 token,AIME 24/25 与 HMMT 25 分别约 79.2%、69.0%、46.1%。

    梦境」样本。 · 再对优选样本做监督微调,并检查下游任务是否真的变好。 理论侧 巩固被看成结构化的低秩压缩:不是把短期痕迹原样抄进参数,而是选出既能对齐模型自身 on-policy 行为、又保住语义与任务相关奖励的方向;参数扩展提供「写入空间」,减轻覆盖旧知识。做梦则被描述成改善学习几何:随机专家拓宽梯度方向,梯度筛选再强调有用更新,使优化更均衡、更稳。 文中给出的结果要点 · 持续翻译:对未见语言(如满语 Manchu、Kalamang)多阶段评测中,SLEEP 近乎零掉点;ICL、Cartridges、监督微调(SFT)等基线遗忘更重。 · 长上下文:在 BABILong 上称可近乎完美地扩到约 1000 万 token,并用睡眠期巩固把长文压进参数记忆,对比含 GPT-4、Titans 等。 · 事实注入:SQuAD / 持续预训练设定下,单任务约 48.9%、CPT 约 46.2%,优于基座、SFT、SEAL 等表述。 · 数学推理:睡眠增强基座在 AIME 24/25、HMMT 25 上分别约 79.2% / 69.0% / 46.1%,优于 SFT、GRPO、OPSD 等。

    匹配字段正文

星期五

  1. Arena

    Arena 分析 26,225 条 Agent 会话:没有缓存,智能体成本高 3.6 倍

    Arena 分析 2026 年 9 月 12 日至 10 月 23 日的 26,225 条 Agent 会话、30 个智能体和 13 家实验室,发现若按完整输入价计费,排名前十智能体的典型任务成本会高出 3.6 倍,MiMo V2.6 Pro 上高出 592%。智能体 86% 至 96% 的 token 是重复读取的上下文,自身输出仅占 1% 至 2%。缓存失效会让典型任务成本增加约 5%,在 Claude Fable 5.1 上每 10 次会话有 1 次增幅超过 18%。

    15 至 220 美元。 Kimi K3.1 Pro 上 106 美元,Gemini 4 Argon 上 31 美元,MiMo V2.6 Pro 上 11 美元,是有缓存时的四到十倍。 但缓存为何如此重要?这取决于智能体如何使用 token。 智能体主要在重复读取,而重复读取构成了大部分账单 智能体对 token 的使用可分为三类。输出是模型写出的内容,包括推理。新输入是它首次看到的材料,包括缓存写入。重复读取,即缓存读取,是它已经见过并在后续调用中重新读取的上下文。 对于这些智能体,重复读取占 token 的 86% 至 96%,而输出仅占 1% 至 2%。在前十名中,智能体每写出一个 token,大约要重复读取 93 个 token。 这是因为模型在调用之间不保留任何记忆。智能体循环的每一步都会把整个对话重新发送回去,而提供商则从缓存中提供它已经见过的内容。随后产生的回复又会被之后的每一步再次读取,于是雪球越滚越大(快速解释见下方视频)。 这一机制使得重新读取此前的对话远比重新发送便宜,通常只有价格的十分之一或二十分之一。但它只有在提供商仍保存着该对话时才有效。如果提供商不再保存,

    匹配字段正文

  2. 雷科技

    智元联合清华、无问芯穹发布CEL群体经验学习范式

    智元携手清华大学、无问芯穹发布群体经验学习范式CEL,让机器人以同伴的真实作业轨迹作为学习素材,人类只负责结果判定。在插花、叠衣、手机充电、凳子组装、手机包装五项真机任务上,CEL训练的策略全部超过6名人类远程操作员平均水平,最高领先16.7个百分点,整体成功率达97.5%;手机包装任务中参与训练的机器人从16台扩至96台,成功率从86.7%升至98.3%。配套的FERT算法用失败轨迹定位短板、检索成功片段优先采样,FATS容错异步训练系统在96台机器人实验中累计完成9834轮任务采集,30起故障带来的机时损耗仅占集群总运行时间的1.3%。

    个训练,大规模的协同训练将无从谈起。 面对这一问题,团队设计了容错异步训练系统FATS,将100台机器人、50个边缘节点和6台云端服务器持续动态地组织起来,稳定支撑了大规模真实世界在线学习。FATS将机器人视作和GPU同等的训练资源,实现了所有训练硬件的统一调度。 1、SwarmLink:异步数据流,无需全员等待 数据平面 SwarmLink 负责连通环境、推理与训练节点。每一台机器人完成任务之后独立上传作业轨迹,训练模块收到数据即可实时更新策略,不用等待所有机器人完成一轮任务。训练、推理组件可灵活部署云端或者边缘端,适配多变的网络带宽条件,平衡通信开销与交互延迟。 SwarmLink设计 2、HotSwarm:节点热插拔,故障原地恢复 控制平面HotSwarm管理节点和工作进程的动态进出。支持机器人离线、充电、故障之后原地重启恢复,无需重置整套集群。在 96 台机器人的实验当中,集群累计完成 9834 轮任务采集,期间发生 30 起机器人故障事件,故障带来的机时损耗仅占集群总运行时间的1.3%。局部设备出问题,不会打断整个群体的学习迭代。 HotSwarm设计 五大真实任务实测:集群

    匹配字段正文

  3. IT之家·人工智能

    谷歌研究团队提出睡眠框架,让大模型边用边学且不遗忘旧知识

    谷歌研究团队发布“睡眠框架”(Sleep Framework)持续学习研究,把模型运行分为清醒与睡眠两个阶段,以解决大模型知识固化、难以吸收新信息的问题。睡眠阶段通过参数扩展、混合专家记忆块和知识蒸馏把短期上下文写入长期参数,并通过“做梦”生成合成样本做强化学习。实验显示该框架可处理最长约 1000 万 token 上下文,在未见语言的多阶段持续学习中性能下降接近零,并在 AIME 24/25 等数学基准上取得更高准确率。

    借鉴人类睡眠中的记忆巩固机制,将模型运行划分为“清醒阶段”和“睡眠阶段”。清醒时,模型接收并处理输入,将信息暂存于短期记忆;进入睡眠阶段后,模型暂停处理新输入,转而进行记忆整合与自我改进。 具体而言,“记忆巩固”环节通过参数扩展、混合专家记忆块和知识蒸馏,把脆弱的短期上下文信息写入长期参数,同时避免覆盖既有知识;“做梦”环节则让模型生成并筛选合成训练样本,借助强化学习反复练习,以提升推理与泛化能力。 实验显示,该框架在持续翻译、长上下文理解、事实知识吸收和数学推理等任务中优于多种基线方法:模型可处理最长约 1000 万 token 的上下文,并在未见语言的多阶段持续学习中保持接近零的性能下降;在 AIME 24/25 等数学基准上也取得更高准确率。 IT之家附上参考地址 The sleep framework: A new way for LLMs to retain knowledge in continual learning 广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家包含外链的文章均包含本声明。

    匹配字段正文

  4. 邵猛

    方寸实验室发布 87 页 DeepSeek V4.1 Flash-1017 安全评测报告

    来自中国的第三方评测实验室方寸(@FangcunLeap)发布 87 页报告,评测 DeepSeek V4.1 Flash-1017 在失控与有害操纵上的表现。报告认为其相对 DeepSeek V4 一代安全明显进步,在「不策略性藏能力、工作压力下仍守审批边界」等点上接近甚至追平文中测过的顶尖闭源模型。短板包括评测意识过强、长多步任务中越权比前代 V4.1 Flash 更常见、多轮劝说下立场漂移幅度大于文中 GPT,以及系统提示要求误导用户时多数对话会执行。

    范围对齐欧盟通用 AI 行为准则里安全与安保一章,聚焦三块:评测可信度(测到的行为能不能代表真实部署)、失控(自主行动时人还能不能指挥、纠正、停住)、有害操纵(是否绕开用户知情判断去影响信念、情绪或决策)。方法上强调两点:单轮拒答和最终分数不够,要看多轮与 agent 场景里的动作与过程;还要区分「真安全」和「认出这是考试」。全文各节都会审计评测意识,并查看推理轨迹、工具日志与环境改动。 评测可信度 模型评测意识很强:在 Agentic Misalignment 场景里,每一轮都认出自己在被测,因此那里的拒做有害事,对真实部署说明力有限。更值得注意的是方寸团队提出的 evaluation over-attribution(评测过度归因):在自有测试集里,将近一半真实用户请求也被标成「这是评测」,常因普通格式规则或角色指令触发。方寸团队担心未来前沿模型若把真实环境误当成考试,可能带来新风险;本次未观察到明确危害。另有一类行为:先绕过环境限制,再把配置文件改回去,只看终态会漏掉过程。 好消息在可见推理(CoT):外部提示改了答案时,推理里几乎总能露出提示的作用;试图用指令控制推理内容大多无

    匹配字段正文

  5. The Decoder

    Anthropic 研究:专家会采纳 AI 智能体的随机偏好并误以为是自己的判断

    Anthropic 用 50 名因果推断专家做实验,智能体在每个决策点的偏好由抛硬币随机指定,参与者仍在 86% 的分析决策中采纳了智能体的偏好,翻转率为 62% 至 82%。事后 52% 的人认为最终建议更像自己的判断,35% 认为基本或完全是自己的,仅 15% 提到 AI。研究还发现,使用智能体后分析严重错误率从 55%(6/11)降至 6%(3/50),中位耗时从 90 分钟降至 65 分钟,但无 AI 组样本较小且专业水平略低。

    向同一方向 这些发现为近期关于AI如何影响人类判断的研究增添了新证据。一项有3,132名参与者参与的关于虚假自信的研究发现,仅仅看到AI给出的答案,就几乎消除了人们保留判断的意愿。在该研究的其中一个环节中,愿意说“我不知道”的人所占比例从44%降至3%。 呈现方式也很重要。当AI产出精炼的成果(如代码或文档)时,用户核查事实的频率降低了3.7个百分点,质疑其推理的频率降低了3.1个百分点,而忽略缺失背景信息的频率则上升了5.2个百分点。逐步修改输出的用户,其质疑AI推理的频率是不进行迭代者的5.6倍。 一项发表在《柳叶刀胃肠病学与肝病学》上的波兰结肠镜检查观察性研究表明,在工作中常规使用AI可能产生持久影响。在经验丰富的医生定期使用AI系统后,他们在无AI辅助的检查中发现癌前病变的比率从28.4%降至22.4%。这表明人们不仅会采纳AI的视角,还可能丧失自身的一些认知技能。 瑞士商学院的一项调查发现,AI工具的使用与批判性思维之间存在强烈的负相关,主要体现在17至25岁的人群中。良好的教育似乎能提供一定保护,因为学历较高的人更常质疑AI的答案,也更常进行复杂的思维过程。 这些发现来自早

    匹配字段正文

  6. Meta Engineering Blog

    Meta 将 JiTTests 投入生产:LLM 生成测试在代码合入前捕获缺陷

    Meta 公布 Catching JiTTests 的生产部署结果,该系统用 LLM 为待合入的代码变更自动生成可执行测试,在代码合入前暴露缺陷。系统采用意图感知和 dodgy diff 两条工作流,并用 LLM-as-Judge 集成与规则方法 RubFake 过滤误报,同时以 human-on-the-loop 方式减少人工逐条审核。Meta 称已有 589 名工程师参与,真阳性率为 60%,2026 年上半年在 diff 阶段捕获 74 个严重隐私 SEV,使该类问题整体发生率下降 20%。

    ff,我们如何自动生成测试,在严重问题发生之前发现最严重的缺陷,并且以高真阳性率做到这一点,同时不阻碍工程师的工作速度? 为解决这一问题,我们开发了两条协同工作流: 一种“意图感知”工作流,它推断代码变更的意图和风险,并将测试生成瞄准可能的失败点。 一种“可疑 diff”工作流,它将每一次代码变更都视为变异体/缺陷,并生成测试以暴露其行为差异,而不对意图进行推理。它隐含地断言某个 diff 是有缺陷的(因此称为“可疑”)。 图 1. 用于 Catching JiTTests 的可疑 diff 与意图感知工作流的架构。 为了过滤误报,我们采用了传统的基于规则的方法,并结合一种我们称为“LLM-as-Judge”的集成方法,该方法汇总来自多个最先进(SOTA)LLM 的判断,所有这些 LLM 都负责将弱捕获分类为可能的真阳性或假阳性。 我们还保留了人工审核,同时着眼于减少审核负担。我们的目标是保持人工标注的一致性,同时降低引入工程师来审核弱捕获的可能性。 工作原理 整个系统工作流程分为五个阶段: 阶段 1:定向与触发 系统在夜间利用空闲算力运行,针对前一天提交的、被判定为“有风险”的 di

    匹配字段正文

星期三

  1. Google Research精选

    Google Research 提出 sleep 框架,让 LLM 在持续学习中保留知识

    Google Research 提出 sleep 框架,为 LLM 引入周期性的睡眠阶段,把短期上下文巩固进长期参数,以缓解灾难性遗忘和静态知识截止。该框架分为记忆巩固与 dreaming 两阶段:前者用 MoE 参数扩展和基于 GKD 与强化学习模仿的知识播种,后者通过随机专家激活、筛选合成样本和 RL 精修实现自我改进。在 BABILong 上该方法在 10M token 内接近完美扩展,在 AIME 24/25 和 HMMT 25 上分别取得 79.2%、69.0% 和 46.1% 的准确率。

    A flowing stream of glowing blue geometric shapes consolidates into a bright, interconnected neural network sphere.

    睡眠框架:让大语言模型在持续学习中保留知识的新方法 2026年10月27日 Ali Behrouz 与 Vahab Mirrokni,Google Research 我们在持续学习中引入睡眠阶段,使大语言模型能够持续整合新事实并增强推理能力,同时缓解灾难性遗忘或静态知识截止的问题。 现代大语言模型通过预训练和 上下文学习 (ICL)取得了令人瞩目的性能。然而,一旦部署,它们基本上保持静态,以固定的知识截止日期运行,因而无法获得长期能力或适应新信息。 虽然用新数据更新模型看似是显而易见的解决方案,但持续的参数量更新往往会触发 灾难性遗忘,这是一个根本性问题:学习新任务会严重损害此前已学任务的性能。或者,严格依赖 ICL 会将知识保留限制在即时上下文窗口内:一旦上下文会话结束,所获得的短期信息就会被遗忘。 受人类大脑在休息时如何处理并稳定记忆的启发,我们引入了一个 睡眠框架 ,这是一个为大型语言模型(LLM)赋予持续学习能力的学习范式 周期性的 生命周期,使它们能够持续学习,将脆弱的短期上下文巩固为稳定的长期参数。借助这一框架,我们证明,在主动交互与离线记忆巩固之间交替,可使 LLM 持续

    匹配字段正文

  2. Cartesia 产品与研究

    Cartesia 研究:从 token 到字节,分词先验如何影响语言模型的下游迁移

    Cartesia 发布系列文章第二篇,用 compute-to-loss 和 loss-to-loss 两类缩放律比较字节级 Transformer、BPE、去掉预分词的 BPE-NP、BLT-like 与 H-Net。结论是 BPE 分词在预训练算力效率上比字节级模型高近 5 倍,但同等验证 bpb 下 OLMES 下游损失明显更差,相当于约 1.9 倍算力差距;H-Net 同时获得压缩带来的算力效率与字节级模型的迁移能力,直接拟合 compute-to-OLMES 约为 2.06 倍。文章还指出预分词这一手工正则步骤对两项指标都有明显影响,并讨论了 BPE 的 prompt boundary 问题。

    The bytes of "The_end_of_tokens" chunked by an H-Net in two stages: first into "The_", "end_", "of_", and "tokens", then into "The end of" and "tokens"

    r 和任何其他模型),这是通过标准的自回归计算衡量的:对数据分段,计算下一 token 条件负对数似然,再取平均。 事实证明,存在一个主要的误差来源,它很微妙,本质上就是所谓的 提示边界问题 这是已知会困扰分词语言模型的问题。修正方法是 已知存在这些修正能够正确地对模型的预测进行边缘化,并修正模型在边界处的概率。这些修正的设计与实现并非易事,且可能影响模型的推理效率。 细节:提示边界或边缘化问题 这个问题本质上归结为:token 序列并不能与字节序列一一对应。看待这一点的一种方式是,对于给定的一段文本(例如“ How are you doing?)有许多方法可以将其切分为 token。标准的 bpb 计算只关注 规范 BPE 分词 (例如“) How are you doing ?)。但同一字符串还存在其他分词方式(例如按单个字节切分的那种),模型仍可能为其分配非零概率。为了得到底层数据(字节)上真正的隐含分布,模型需要对字符串所有可能的切分方式求和。我们称之为“边缘化问题”。 在考虑需要提示和答案的任务时,或者在使用 LLM 作为生成模型时,这就会引出 提示边界问题。只要提示词在自然

    匹配字段正文

星期一

  1. 英国 AI Security Institute:Blog精选

    英国 AISI 发布 ReproBAIT 评估:AI 编码智能体能否从论文复现生物 AI 工具

    英国 AI Security Institute 的 Chem-Bio 团队与 SecureBio 合作构建 ReproBAIT 评估,测试 AI 编码智能体在给定数据和有限公开信息下复现生物 AI 工具(BAITs)的能力。结果显示,较简单的工具可在 4 小时内、低于 20 美元算力预算下复现,ProteinMPNN 在提供完整论文时 Claude Opus 5 达到 96.5% 复现保真度,而最复杂的 RFdiffusion3 无智能体在时限内成功复现。团队据此指出,仅保留代码或限制论文信息并不等于安全发布,控制底层生物数据的访问可能比控制代码更有效。

    些推动合法研究的能力同样可能被用于追求有害结果。 AISI的化学-生物团队开展前沿研究,以理解、评估和缓解与前沿AI系统相关的化学和生物风险。我们评估先进模型可能在多大程度上助长有害能力,开发严格评估这些风险的方法,并直接与领先的AI公司、英国官员和盟国政府分享我们的发现,为部署、研究和政策决策提供依据。 随着基于前沿大语言模型的AI智能体在研究、编程和科学推理等任务上能力增强,我们预计它们复现BAITs的能力也会提高。如果一个闭源BAIT能够从有限的公开信息中被逆向工程,那么防止其被滥用的保障措施可能会被削弱。 为了衡量这一能力,我们与 SecureBio合作构建了ReproBAIT(复现生物AI工具)评估。ReproBAIT测试智能体在获得相关数据以及关于其设计的有限公开信息的情况下,能在多大程度上复现现有的BAITs。 我们的发现表明,每个BAIT的选定功能都能在有限的时间和算力预算内被复现。最简单的工具可以在4小时内、算力预算低于20美元的情况下成功复现。这意味着,保留代码或限制关于BAIT的已发布信息,本身并不等同于安全发布。这表明需要进一步探索数据治理作为管理BAITs滥用

    匹配字段正文

  2. 面壁智能 OpenBMB

    面壁智能与清华发布 PostTrainBench:智能体执行强但策略锁定

    面壁智能与清华团队基于 PostTrainBench 分析 1338 条完整训练轨迹,覆盖 7 个基准、4 个基座模型和 Claude Code、Codex CLI、OpenCode,在单张 H100 上运行 10 小时。结果显示智能体平均分随经验从 33.34 提升到 48.55,但 3557 组相邻实验中仅 2.1% 真正切换策略,执行层建议全部被采纳而策略层建议无一被采纳。同一检查点下,一句人类引导切换策略即可超过自主继续,GSM8K 提升 17.44pp、HumanEval 提升 10.80pp、AIME 2025 提升 6.67pp。

    L、加入 SFT 预热)被采纳。在 3,557 组相邻实验对中,只有 2.1% 真正切换了策略。默认行为跟随智能体而非任务:Claude Code 有 71.9% 的情况从全参数 SFT 开始;Codex CLI 有 89.5% 的情况从 PEFT/LoRA 开始。 2️⃣ 经验与算力都无法解锁它。额外的经验和记忆提升了执行能力,但从未突破锁定的策略;更多的推理 token 换来的是更精细的执行,而非更好的方向——在 AIME 2025 上,多出约 1400 万 token 仅多解出 1 道题。 3️⃣ 运行中途的人类引导处处奏效。在同一检查点、相同剩余预算下,一句切换到替代策略的引导就能胜过自主继续:GSM8K +17.44pp,HumanEval +10.80pp,AIME 2025 +6.67pp。 缺失的能力不是执行新策略——而是在轨迹中途自发重启策略决策的触发机制。 📄 论文:https://t.co/yuI2gosUXC AIAgent PostTraining LLM RLHF GRPO PPO RSI AgentBenchmark PostTrainBench THUN

    匹配字段正文

星期六

  1. TechCrunch AI

    Convovo 研究:强制二选一时 Grok 4.7 九成选共和党,GPT-6.1 Sol 九成七选民主党

    Convovo 一项针对近 500 场选举的研究发现,通过 API 强制二选一时,SpaceXAI 的 Grok 4.7 在 92% 的回答中推荐共和党候选人,OpenAI 的 GPT-6.1 Sol 在 97% 的回答中推荐民主党候选人,两者一致率不足 10%。研究还发现 Grok 常引用保守派信源,且每次 API 请求都附带约 1240 个研究者无法查看或移除的额外 token;关闭联网搜索后,GPT 的民主党倾向仍在,Grok 的共和党倾向消失,30 场中 27 场拒绝选择。OpenAI 回应称该测试针对开发者 API 且提示词明确要求推荐候选人,不反映 ChatGPT 消费端体验,消费端应用会拒绝回答此类问题。

    管如此,帕里克怀疑两个模型都在寻找理由来佐证它们既有的倾向。 帕里克说,Grok唯一的例外是当共和党候选人卷入某种争议时,比如性骚扰指控或“是纳粹”。这时Grok更可能建议投民主党。 总体而言,在共和党占绝对优势的选区,GPT在67个选区中的57个选择了民主党人。同样,在深蓝选区,Grok在72个选区中的47个选择了共和党人。 “如果你看看[Grok]的一些推理,很明显它在某种程度上被告知某些立场是可取的……所以它对这些事情肯定有自己的观点,而我们完全不知道这观点从何而来,”帕里克说。 一条可能的线索来自API本身。该研究指出,通过xAI的API向Grok发出的每个请求都附带约1,240个额外输入token,这些token并非研究人员所写,他们也无法查看或移除。帕里克称这些可能是“隐藏指令”,并认为这些额外token不太可能来自模型权重。 有趣的是,当帕里克后来应TechCrunch的请求,在关闭互联网搜索的情况下对30场竞选进行抽样测试时,这两个模型以不同的方式得出了结论。(AI聊天机器人通常通过搜索互联网来获取支持信息以回应用户查询。关闭这一能力会迫使它们主要依赖训练数据。)GPT

    匹配字段正文

  2. 钛媒体 · AGI

    哈佛研究称AI审稿意见全面胜过高水平人类同行评审

    哈佛大学两位研究人员10月22日发表论文,对比134组AI与人类审稿意见,AI在七个评价维度上全面领先;三位曾任重要学术期刊主编的专家进行30次盲评,26次认为AI审稿意见更好。研究使用124篇论文和rapidPeer提供的134份付费专业审稿意见,由Claude Opus 4.8生成审稿、GPT-5.5担任盲评裁判,AI审稿意见的事实错误比例为5.5%,人类为15.9%。

    篇审稿意见了。 答案可能非常简单——它压根就不会累。 审稿是一件相当费神的工作。审稿人需要通读论文,检查研究方法、数据、图表和论证,还得寻找作者可能遗漏的相关文献。 论文作者甚至在介绍实验时,顺手吐槽了一些传统期刊审稿人:有些人论文才看到第三页,就开始寻找足以否定论文的致命缺陷,好让自己不用继续读下去。 这次实验中,研究人员将Claude Opus 4.8的推理强度调到最高,还专门设计了一套审稿提示词,允许它联网查找资料。 不过,认真的效果也相当明显。在不联网、使用普通审稿指南的情况下,AI在补充参考文献方面的胜率为62%;换用专门优化的提示词并开放联网后,胜率直接提高到了100%。 今时不同往日。 今年4月,学术期刊《Organization Science》的编辑团队还发表过一项研究,分析了过去几年收到的一万多份审稿意见,发现大量使用AI的审稿报告反而更难读,讨论的问题也更加狭窄。 论文作者就举例,AI有时候甚至会吹毛求疵到荒唐的程度:明明知道2+2=4是正确的,却还要指出作者没有定义加号是什么意思。 以前是论文作者需要向人类审稿人证明,自己的研究值得发表;以后可能就轮到人类审稿人

    匹配字段正文

  3. 凤凰科技

    哈佛研究:AI审稿意见在七个维度全面胜过高水平人类同行评审

    哈佛大学两位研究人员10月22日发表论文,对比134组AI与人类审稿意见,AI在七个评价维度上全面领先。研究用Claude Opus 4.8生成审稿意见、GPT-5.5担任盲评裁判,134组比较中GPT-5.5全部选择AI;三位前学术期刊主编的30次盲评中有26次认为AI更好。AI审稿意见的事实错误比例为5.5%,人类为15.9%,AI引用的651个带DOI或arXiv编号的参考文献全部真实存在。

    篇审稿意见了。 答案可能非常简单——它压根就不会累。 审稿是一件相当费神的工作。审稿人需要通读论文,检查研究方法、数据、图表和论证,还得寻找作者可能遗漏的相关文献。 论文作者甚至在介绍实验时,顺手吐槽了一些传统期刊审稿人:有些人论文才看到第三页,就开始寻找足以否定论文的致命缺陷,好让自己不用继续读下去。 这次实验中,研究人员将Claude Opus 4.8的推理强度调到最高,还专门设计了一套审稿提示词,允许它联网查找资料。 不过,认真的效果也相当明显。在不联网、使用普通审稿指南的情况下,AI在补充参考文献方面的胜率为62%;换用专门优化的提示词并开放联网后,胜率直接提高到了100%。 今时不同往日。 今年4月,学术期刊《Organization Science》的编辑团队还发表过一项研究,分析了过去几年收到的一万多份审稿意见,发现大量使用AI的审稿报告反而更难读,讨论的问题也更加狭窄。 论文作者就举例,AI有时候甚至会吹毛求疵到荒唐的程度:明明知道2+2=4是正确的,却还要指出作者没有定义加号是什么意思。 以前是论文作者需要向人类审稿人证明,自己的研究值得发表;以后可能就轮到人类审稿人

    匹配字段正文

  4. 科学网

    信通院报告:大模型词元价格较去年下半年翻倍,日均消耗量增长3倍

    中国信息通信研究院人工智能研究所等机构联合发布《大模型词元服务性能监测报告(2026年)》,显示国内词元价格较去年下半年翻倍,归一化均价从6.8元涨至13.46元,而2026年6月国内词元日均消耗量约500万亿,是2025年12月的近4倍。性能上,8月国内模型平均TPS达78.23个,较2025年均值38.25个翻倍,但国外典型模型TPS均值为112.82个;国内首词时延升至1.26秒。报告还对比DeepSeek、Qwen、GLM、Kimi四款开源模型,同一模型在不同平台间TPS差距最大可接近一倍。

    态势,8月份均值达1.26秒,较2025年平均值0.78秒明显增加;国外典型模型8月TTFT平均值为2.08秒,同样呈上升趋势。报告解释称,时延上升并非单纯的性能退化,而是伴随模型参数量增加、上下文长度增加、调用量增加等多种因素同步产生的结果。 报告监测的模型中,上下文长度达到100万(1M)词元的模型占比已达47.8%,20万(200K)词元及以上的合计占比达95.7%,较2025年底提升超过76个百分点,更短上下文模型的占比则持续减少。 报告还对比了DeepSeek、Qwen、GLM、Kimi四款开源模型在不同第三方平台上的表现。5月份四款开源模型完成新版本换代后,TPS持续提升、时延不断压缩——以8月份数据计,DeepSeek-V4-Pro的TPS已达到DeepSeek-V3.2的2倍。但同一模型在不同平台间的表现不一:部分第三方平台的性能明显优于官方平台,同一模型在不同平台间的TPS差距最大可接近一倍。报告认为,各平台对相同模型的推理加速、优化策略、成本控制不同,是造成性能分化的主要原因。 (原标题:信通院报告:大模型价格回升明显,词元价格较去年下半年翻倍,日均消耗量增长3倍)

    匹配字段正文

星期五

  1. heise online

    W3C 讨论稿提出用 Web 标准约束 AI 智能体

    W3C 策略团队发布讨论稿《W3C and the State of the Web in the AI Era》,提出用 Web 标准让 AI 智能体更安全,重点覆盖 Prompt Injection 防护、可控权限和无障碍。该文于 10 月 21 日发布,用于为 TPAC 会议预热,属于建议而非已通过的标准,官方展示安排在 10 月 29 日。文中以旅行订票为例指出,让智能体搜索航班不等于授权其付费购票,并建议为支付设置支出上限、可撤销授权和可追溯凭证。

    系。对于各参与方提出的需求,策略团队建议采用两份相互关联的清单:智能体需要什么才能可靠行动,人类需要什么才能保持安全并掌握控制权?发生冲突时,人类需求应优先。 数据保护必须涵盖智能体记忆 智能体可以在网站、会话及其自身存储之间移动数据。这使数据保护问题超出了单次页面访问的范围。因此,隐私工作组应研究如何限制此类数据流、哪些信息会进入模型,以及用户对本地或云端推理拥有何种控制权。 该文件还提出了一个不带智能体记忆的隐身模式。这指的是向标准化工作提出的任务要求,而非已宣布的浏览器功能。它与隐私浏览的区别是根本性的:浏览器可以放弃本地历史数据,而伴随的智能体仍会将内容存入持久存储中。 提示词和工具调用的日志也应纳入数据保护审查。此类记录有助于排查故障,但可能包含机密信息。策略团队希望厘清可以采集哪些数据以及谁有权查看。 开放标准而非封闭的智能体世界 除了直接的用户风险之外,W3C 文件还警告可能出现更强的集中化。优先服务合作方网站、依赖单一模型以及厂商专属工具注册表的智能体,可能削弱可互操作的 Web。因此,拟议的价值准则既反对智能体锁定,也反对取代由人类操作的 Web 的纯 AI 访问路径

    匹配字段正文