←新闻详情

Unite.AI更新于 10月28日 09:30

Salesforce 为 Agent Fabric 增加 Agent Evals 与成本控制

Salesforce Adds Agent Evals and Cost Controls to Agent Fabric

AI 导读

Salesforce 于 2026 年 10 月 27 日宣布为 AI 控制平面 Agent Fabric 增加 Agent Evals、API Evals 和高级成本控制,平台每日处理超过 12 亿次请求。Agent Evals 会在部署前自动生成测试,并在生产环境按质量阈值评估智能体、LLM 和 MCP 服务器,未达标时触发包括 Agent Kill Switch 在内的预设干预。FinOps Dashboard 与 Model Wallet 提供按智能体、实例或业务单元的花费上限,Cost Optimization Policies 据其测试场景可将 token 用量降低最多 75%。Agent Evals 和 API Evals 于 2026 年 11 月进入 beta,计划 2027 年 1 月正式可用。

推荐理由

AI 评分 63

原文交代了 Agent Evals 与成本控制的具体机制和上线节奏,可据此判断企业级智能体治理的落地方式。

主题

标签

正文 · AI 翻译

Salesforce于2026年10月27日宣布为Agent Fabric(其用于跨平台管理和治理智能体的AI控制平面)新增一系列功能,其中以Agent Evals、API Evals和高级成本控制最为突出。Salesforce表示,该平台每天处理超过12亿次请求。

此次公告围绕一个具体的运营问题展开:随着企业扩大AI部署规模,智能体可能悄无声息地失败,在无人察觉的情况下给出错误答案并不断累积成本。Salesforce表示,新功能让CIO和AI负责人能够在问题演变成客户投诉或失控成本之前发现它们,在质量下滑时自动介入,并以硬性支出上限将用量控制在预算之内。

Agent Fabric是一个企业级智能体控制平面,构建于MuleSoft之上,可从单一控制平面发现、治理、编排和观测智能体、AI资产及智能体工作流。根据Agent Fabric产品页面,其扫描器可自动检测并注册在Amazon、Google、Microsoft、Claude、Databricks和Kong等生态系统中运行的智能体、模型上下文协议(MCP)服务器和API,直接纳入Agent Registry——一个集中化的AI资产目录。该平台还包括MCP Bridge(将现有API作为MCP工具对外暴露)、多智能体编排、对A2A协议的支持、统一的LLM与MCP网关、Trusted Agent Identity,以及Agent Visualizer(可绘制智能体网络图谱,并展示置信度分数、瓶颈检测和幻觉风险等指标)。产品页面称,Agent Fabric与Agentforce(Salesforce用于在Salesforce内部构建和运行智能体的平台)由同一引擎驱动,用于定义智能体如何处理交互、推理、规划和行动。

持续评估与自动干预

Salesforce表示,Agent Evals会在部署前自动生成测试,然后在生产环境中依据既定的质量阈值评估智能体、大语言模型(LLM)和MCP服务器。当结果不达标时,系统会触发预设的干预措施,包括Agent Kill Switch,并在团队政策要求时设有审批环节。产品页面将该能力描述为将智能体质量测试转化为自动行动,并将MCP服务器和LLM评估列为即将推出。

API Evals针对的是另一个故障点:当智能体所依赖的API发生变化时,智能体会出现故障。Salesforce表示,该工具可根据API规范自动生成功能测试和性能测试,在破坏性变更进入生产环境之前将其捕获。

公告通过一个零售商的场景来说明工作流程。某零售商将其订单支持智能体切换为成本更低的AI模型,以降低运营成本。变更后,Agent Evals运行定时测试,检测到该智能体在延迟订单方面提供了不准确的信息。系统标记出该质量问题,并根据团队保留人工介入的偏好,请求批准将该智能体隔离。获批后,智能体被隔离,团队在此期间完善其处理延迟订单的指令,在低成本模型上重新运行评估以确认性能,然后将该智能体恢复上线。

产品页面将Agent Kill Switch描述为快速停止生产环境中智能体活动的一种方式,该功能自公告发布起已正式可用。Triggered-Agent Kill Switch将于2027年1月正式可用。

成本控制与预算执行

在成本方面,FinOps Dashboard和Model Wallet让预算负责人能够统一查看AI支出,并设置硬性上限,在成本超出预算之前阻止请求。Salesforce表示,根据公司的测试场景,Cost Optimization Policies通过语义缓存、负载压缩和响应裁剪,可将token用量降低最多75%。

MuleSoft的成本管理文档详细说明了执行机制。Model Wallet按智能体、按实例或按业务单元执行预算,并在支出累积时实时跟踪;当钱包余额耗尽时,执行机制会在超支发生之前而非收到账单之后介入,预测功能则会提前数天标记预计超支。Model Proxy位于流量路径中,按提供商实际收取的费率对每个请求计价,因此仪表盘上的支出可与账单对账。优化策略(Progressive Disclosure、Smart Response Trimming和TOON压缩)在网关处运行,在不修改MCP服务器或客户端代码的情况下减少token浪费。文档还描述了按团队、应用和用例实时跟踪支出,以及在失控的智能体循环超出预算之前自动将其关闭。

FinOps Dashboard、Model Wallet和Cost Optimization Policies自公告发布起已正式可用。

发现与联邦网关策略

Salesforce还宣布了两项更新,将Agent Fabric的能力扩展到其开箱即用的平台支持之外。Custom Agent Scanner为内部环境、防火墙后的系统以及第三方平台带来自动化发现能力,让团队可以构建自定义扫描器,在Agent Registry中编目智能体、模型、MCP服务器和API,而无需手动注册每一项资产。该功能在公告发布时处于beta阶段,计划于2027年1月正式可用。

Open Policies for Federated API Gateways可跨Azure、Apigee和Kong的网关发现、执行并跟踪API策略,通过一次操作即可在所有网关上应用IP允许列表或速率限制等策略,而无需逐个操作。该功能自公告发布起已正式可用。

调查数据与客户声明

公告将这些新增功能与有关评估实践的调查数据联系起来,并指出在拥有智能体的组织中,只有不到一半会在实时流量上对其进行评估。公告引用了LangChain的《State of Agent Engineering》报告,该报告在2025年11月18日至12月2日期间调查了1300多名专业人士。该报告发现,57.3%的受访者已有智能体在生产环境中运行,32%的受访者将质量列为投入生产的首要障碍,89%的受访者已为其智能体实施了某种形式的可观测性。具体到评估方面,52.4%的组织报告称在测试集上运行离线评估,而在线评估的采用率为37.3%。

ASICS Digital数字商务工程总监Poonam Deshpande表示,ASICS正与Salesforce合作,帮助塑造Agent Evals beta。“Agent Evals最让我们兴奋的一点是,它不会止步于告诉我们出了问题,”她说。“当智能体的质量下降时,Agent Fabric可以自动介入,提醒相应的负责人或将智能体下线,从而在小问题演变成大范围的客户问题之前将其遏制。”

公告还收录了Capita、GE Appliances和Newell Brands高管的声明。Capita AI工程总监Tiina Stephens表示,Agent Evals将帮助公司验证智能体是否按照明确的业务和服务成果运行。GE Appliances企业转型执行总监Adam Jones描述了一个单一控制平面,公司可以在其中查看其智能体、了解由谁构建,并在出现问题时将其关闭。Newell Brands全球客户服务副总裁Steve Sigrist表示,公司正在将Agent Fabric作为其控制平面,将AI智能体引入旗下各品牌的客户服务中。

“企业扩展智能体的速度,只能与它们保持智能体准确且不超预算的能力一样快,”MuleSoft和Agent Fabric高级副总裁兼总经理Andrew Comstock表示。“如今,发现错误答案或支出激增是一件事,而阻止它又是另一件事。Agent Fabric将二者统一起来,把评估、成本控制和干预结合在一起,使团队能够即时遏制问题,并有信心地扩展智能体。”

可用性

Agent Evals和API Evals于2026年11月进入beta阶段,计划于2027年1月正式可用。Custom Agent Scanner自公告发布起处于beta阶段,并将于2027年1月正式可用,Triggered-Agent Kill Switch同样如此。Agent Kill Switch、Open Policies for Federated API Gateways、FinOps Dashboard、Model Wallet和Cost Optimization Policies自2026年10月27日起正式可用。

来源

Unite.AI