亚马逊要求工程师停止刷 token,改以交付成果衡量 AI 工具
Amazon tells engineers to stop tokenmaxxing and judge AI tools by what they ship
亚马逊更新工程规范,要求团队以 AI 编码工具帮助交付的软件来衡量其价值,而非 token 消耗量,并警告不要把 AI 采用率、token 用量、代码改动和代码审查当作绩效指标。公司表示仍会查看用量数据,但需与其他指标结合:用量过低可能说明错失改进机会,用量过高则要追问交付是否相应提升。该规范针对刻意抬高 AI 消耗以在内网看板显得高效的 tokenmaxxing 行为;今年早些时候员工曾用内部 AI 智能体 MeshClaw 刷高 token 数,亚马逊在 5 月因排名被钻空子关闭了一个内部排行榜,并表示未设置员工 token 上限。规范还允许工程师得出某项任务不适合用现有工具的结论,称其为一种发现而非失败。
正文 · AI 翻译
重磅引述:亚马逊正告诉其工程团队,应以AI编码工具帮助交付的软件来评判这些工具,而不是以它们消耗的token数量来衡量。更新后的工程规范警告,不要把AI采用率、token消耗量、代码改动和代码审查当作绩效目标。亚马逊写道:“我们认为,最好的做法是衡量长期成果,并以长期成果来衡量自身。”
亚马逊并未放弃使用数据。它是在要求管理者将这些数据与其他指标一并审视。
该公司建议考察处于AI采用率两端的团队。使用率低可能说明工程师错失了改进工作的机会。使用率高则应引出另一个问题:交付是否改善得足以证明这种使用量合理。单凭任何一个数字都无法回答这个问题。
该规范针对的是tokenmaxxing——即刻意抬高AI消耗量,以便在内部看板上显得高效。
今年早些时候,亚马逊员工曾使用内部AI智能体MeshClaw(该智能体可部署代码并与Slack交互)来抬高自己的token计数。在员工钻排名空子后,亚马逊于5月关闭了一个内部排行榜。亚马逊表示,它并未对员工设置token上限。
亚马逊的规范为工程师留出了空间,让他们可以得出结论:某项任务无法从现有工具中获益。它将这一结论描述为“一种发现,而非失败”,把对工具局限性的解释视为判断力的体现,而非对采用的抵触。
该公司写道:“我们确信,无论未来的最佳实践是什么,AI都将处于软件工程实践的核心。”
其他公司也面临AI消耗量与有用产出之间的类似差距。优步总裁兼首席运营官安德鲁·麦克唐纳在5月表示,更高的token使用量尚未转化为有用的消费者功能。他发表上述言论之前,该公司披露其2026年Claude Code预算已在4月用尽。
在埃森哲,404 Media于6月获得的泄露音频记录了高管们讨论随着客户从聊天机器人转向智能体工作流而不断上升的token支出。高管们讨论了对单个任务成本以及这些支出是否值得的不确定性。据报道,该公司正在开发一款名为Token IQ的咨询工具,以帮助客户管理这些费用。