Anthropic study: experts adopt AI preferences in analytical decisions at a rate of 86%
English text is being prepared.
In Anthropic's latest study, 50 causal inference experts made analytical decisions in a fictional agricultural cooperative policy evaluation, and the rate at which experts adopted AI preferences reached 86%, far exceeding the 50% expected from random choice. Even when they had already formed a judgment beforehand, after the AI gave an opposing opinion, the likelihood that experts changed their position was 53 percentage points higher than when the AI agreed with them, and research experience, self-rated expertise, educational background, and trust in AI all failed to reliably reduce this influence. In a post-task survey, 52% of participants believed the final recommendation was more like their own view, and 77% reused at least one of the AI's arguments when explaining it, but only 15% explicitly mentioned AI; among participants who used AI, the median time spent fell from 90 minutes to 65 minutes, and the proportion of serious flaws fell from 55% to 6%.
Why read this
AI score 70
Anthropic's experiment shows that experts adopt AI preferences at a high rate in statistical decisions and find it hard to notice, providing concrete data for assessing AI's influence on professional judgment.
Topics
Body
2026-10-30 14:33 IT之家 - 故渊
IT之家 10 月 30 日消息，Anthropic 最新研究显示，即便是资深专家，也可能在不知不觉中采纳 AI 智能体的随机偏好，并误以为最终结论出自自己。
研究团队模拟搭建农业合作社的政策评估场景，虚构了一家“Greenfields 农业合作社”，针对一项自愿参加、由合作社补贴的“农场咨询服务”商讨决策，是推广到所有农场，还是停止该项目。合作社董事会设定了一个决策门槛：项目需带来约 3%–4% 的生产力提升。
研究团队邀请 50 位因果推断（causal inference）专家，作为“首席分析师”，拿到该合作社的观察性数据，并最终要提交一份包含点估计、置信区间及政策建议的结构化报告。
结果显示，在如何衡量生产力、选择统计方法等四项分析决策中，专家采纳 AI 偏好的比例高达 86%，远超随机选择的 50%。
即使参与者事先已有判断，当 AI 给出相反意见后，其改变立场的可能性也比 AI 认同时高出 53 个百分点。研究经验、自评专业水平、教育背景及对 AI 的信任度，均未能可靠地降低这种影响。
更值得注意的是，多数专家并未察觉自己被“带偏”。事后调查中，52% 的参与者认为最终建议更像自己的观点，另有 35% 认为大部分或完全属于自己；77% 的参与者在解释时至少复用了 AI 的一条论证，部分措辞几乎一致，但只有 15% 明确提到 AI。
研究同时发现，使用 AI 的参与者完成分析更快、严重错误更少：未使用 AI 的分析中有 55% 存在严重方法或编码缺陷，中位耗时 90 分钟；使用 AI 后，严重缺陷比例降至 6%，中位耗时 65 分钟。
研究者警告，若大量团队使用同一模型且其默认偏好一致，可能制造“虚假共识”，甚至削弱 AI 安全审查的独立性。团队建议，AI 智能体应同时呈现正反两方最强论证，或先询问用户立场。
IT之家附上参考地址
Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家包含外链的文章均包含本声明。