Adobe 与 UC San Diego 提出 EditAgent,让 AI 智能体像…
Adobe is testing how well AI agents can use editing tools like a Photoshop professional would
Adobe Research 与 UC San Diego 提出图像编辑智能体 EditAgent,为每一步任务在通用编辑器与专用工具之间择优,并用带亮度、色彩统计和变化图的验证记录让语言模型挑选结果。在 600 次编辑的基准上,通用编辑器 Flux-2-Klein-9B 有 42.7% 的结果不可用,专用工具解决了其中约三分之二;加入验证记录后,七个测试模型全部超过微调过的 EditScore,Qwen3.8-27B 选出可用结果的比例为 81.3%,高于 EditScore-72B 的 74.8%。EditAgent 在三个基准上超过另外七个智能体,但计算量约为单一编辑器的十倍。
正文 · AI 翻译
要点
Adobe 研究人员构建了一个用于图像编辑的 AI 智能体,它将通用编辑器与专用工具配对使用。一个标准语言模型利用实测数据比较结果,并挑选出最佳的一个。
用于图像编辑的 AI 智能体将复杂请求分解为多个步骤,通常会用相同的工具重试失败的步骤,而另一个模型则通过肉眼观察来评判输出结果。
根据一篇新论文,Adobe Research 和 UC San Diego 的研究人员希望用 EditAgent 来改变这一现状,该系统的工作方式更像 Photoshop 中的专业人士。它为每项任务挑选合适的工具,并用确凿的数据将结果与原始图像进行比较。
通用编辑器在过多任务上失败
在一项由五位专业人士盲评的600次图像编辑测试中,通用编辑器Flux-2-Klein-9B有42.7%的情况未能生成可用结果。专用工具解决了其中约三分之二的失败,尤其是在锐化、旋转和缩放方面。使用同一编辑器进行更多次重试几乎无济于事。
研究人员还测试了智能体是通过逐步细化结果,还是通过并行生成多个变体表现更好。迭代细化会累积小错误,因为每一轮都建立在已经修改过的图像之上。在专业人士选择了一方的比较中,有78.5%的情况他们更偏好从原图生成的并行变体。该智能体所需的评估轮次只有一半。EditAgent正是基于这两项发现构建的。
确凿的数据让标准模型成为更好的评判者
EditAgent 分步骤规划请求,并在每一步让通用编辑器与相匹配的专用工具一较高下。随后,一个标准语言模型在单次处理中比较所有变体。
对于每个变体,模型会收到一份验证记录,其中包含编辑区域的近景图、改动区域的变化图,以及关于亮度和色彩的实测统计数据。在一个示例中,一张照片本应被轻微提亮。数据显示,通用编辑器将其过度曝光,并使色彩偏暖。专用工具则保持在规格范围内。
研究人员在他们包含 600 次编辑的基准上对此进行了测试。评判模型必须从若干候选中选出最佳结果,他们统计了它选中专业人士也评为可用的图像的比例。作为对照,他们运行了 EditScore 等在图像编辑人工评分上微调过的模型。
没有验证记录时,测试的七个语言模型没有一个能比得上最好的微调模型。有了它,七个模型全都超过了每一个微调模型。Qwen3.8-27B 有 81.3% 的情况下做出了可用的选择,而 EditScore-72B 为 74.8%。对研究人员来说,这表明评判模型所看到的内容可能比它如何被训练更重要。
每一轮之后,EditAgent 还会检查后续编辑是否意外撤销了先前的编辑。在论文的示例中,指令“让更多日光进来”使一扇先前磨砂的窗户重新变得透明。智能体发现了这一冲突并加以修正。
EditAgent在三个基准上改进了开源编辑器Qwen-Image-Edit-2511和Flux-2-Klein-9B,并超越了另外七个AI智能体。在EdiVal基准上,Qwen变体在第三轮编辑中险胜商业模型Seedream 4.0和GPT-Image-1.5。但该智能体所需的计算量约为单一编辑器的十倍,且其表现取决于接入的是哪些工具。
该智能体为更快的编辑器生成训练数据
研究人员还将EditAgent用作数据来源。由于该智能体只保留经过验证的结果,它产出了约26,000个训练样本。在该数据上微调的编辑器在三个基准上均表现更好。相比之下,直接由FLUX生成的训练数据实际上让FLUX变得更差。随着时间推移,这一权衡可能使该智能体的高计算成本变得值得。
Adobe 于 6 月将 AI 智能体加入 Photoshop、Premiere 及其他 Creative Cloud 应用,最初以公开测试版形式推出。用户描述自己想要的效果,智能体则负责处理各个具体步骤。这些智能体能否正确选择工具并检查自身输出,是一个直接适用于 Adobe 已发布产品的问题。此后,Black Forest Labs 已替换了论文中测试的通用模型:新的 Flux 3 Image Klein 拥有 56 亿参数,比 Flux 2 Klein 更小,但在 Black Forest Labs 的内部测试中,它的得分高于所有其他开源模型,甚至高于商业版 Flux 2 Pro。