AI News

如何设计一套经得起考验的 AI 服务 harness

MIT Tech Review更新于 11月16日 18:56

Designing an AI serving harness built to last

AI 导读

企业 AI 的竞争优势正从选哪个模型转向围绕模型构建的服务 harness,即架构、内存管理、调度与优化决策。文章指出应以工作负载定义约束、再据此确定架构,先测量再优化,例如 KV cache 随并发和上下文增长会耗尽 GPU 显存,此时加算力只会让低效系统更贵。EXL 在 Engineering the Harness 系列中探讨了这些生产挑战。

正文 · AI 翻译

企业AI的下一个竞争优势,与其说取决于你选择哪个模型,不如说取决于你围绕模型构建了什么。

这是一个重要的转变。过去几年,AI讨论的很大一部分都集中在模型能力上:更大的模型、更好的推理、更大的上下文窗口、更高的基准分数。这些进步非同寻常。但随着AI从实验走向生产,企业领导者面临的问题已经改变——不再是“模型能做什么?”——而是“我们能否可靠、经济且大规模地交付这种智能?”

答案越来越取决于服务harness——即围绕模型的工程系统,包括架构、内存管理、调度和优化决策,这些决定了模型智能转化为生产能力的效率。

对于技术高管而言,这改变了AI投资应该投向何处——以及他们应该对支撑它的架构提出什么要求。

不存在普遍“最佳”的模型或AI架构。只有适合业务问题的正确解决方案。

一个为快速响应而优化的面向客户的助手,与一个可以通宵运行的文档处理流水线有着根本不同的需求。一个内部知识应用和一个高并发的客户服务平台可能使用相同的基础模型,但需要截然不同的服务架构。

工作负载定义约束。约束应当决定架构。

这听起来很简单,但它与许多组织早期AI部署的方式背道而驰。在概念验证阶段,模型准确性自然会主导讨论。生产环境引入了在只有少数用户参与时更容易被忽视的约束:延迟、并发、内存压力、GPU利用率、基础设施成本和不可预测的流量。

如果一个模型给出的答案略好一些,但推理成本翻倍或无法满足应用的延迟要求,它未必是更好的生产选择。并非每个工作负载都需要法拉利。有时更明智的工程决策是选择恰好能提供业务所需性能的模型,而不为不需要的能力付费。

目标应该是为工作负载以合适的成本部署合适的智能。这使得服务架构不仅仅是一个工程问题。它成为一项投资决策:在哪里投入算力、在哪里优化,以及在哪里额外的模型能力根本不值得付出成本。

一旦AI进入生产,看似孤立的工程决策开始相互影响。服务架构影响内存利用率。内存管理影响并发。并发塑造批处理和调度,而调度影响GPU利用率和延迟。

只有到那时,量化、投机解码或优化的注意力机制等技术才能充分发挥其价值。这种相互依赖性很重要,因为组织可能在基础设施上花费更多,却未能解决限制性能的约束。

GPU内存就是一个很好的例子。在推理过程中,模型的权重保持不变,但键值(KV)缓存会随着活跃请求和上下文长度而增长。随着并发增加,即使计算能力仍然可用,系统也可能耗尽可用的GPU内存。在不了解这一瓶颈的情况下增加更多算力,可能只会让一个低效的系统变得更昂贵。

对技术领导者而言,这一教训比内存管理更广泛:先测量,再优化。找出主要约束。解决它。测量结果。然后确定是否出现了另一个瓶颈。重复。

不要把优化技术当作宝可梦卡牌:目标不是把它们全部收集齐。目标是应用能够消除影响最大的约束、同时保持应用业务需求的技术。

对于技术领导者来说,这要求一种不同的治理问题。与其问组织可以部署哪些AI能力,不如问哪些约束阻碍了经过验证的能力转化为可持续的业务价值。

也许投资服务harness最重要的原因是,今天的领先模型很可能不是明天的领先模型。模型会改进。硬件会演进。新的优化技术会出现。围绕它们的架构应该让这些变化更容易被吸收,而不是迫使企业在技术每次进步时重建其AI平台。

这使得适应性成为AI战略日益重要的成果。

围绕工作负载需求、清晰的服务水平目标和可衡量的生产经济性构建服务系统的组织,能够根据业务实际需要来评估新模型和基础设施。模型变更可以成为一项评估和配置决策,而不是架构重置。

EXL研究人员在EXL Engineering the Harness系列中更深入地探讨了这些生产挑战。该系列审视了服务架构、内存管理、调度和推理优化如何协同工作,使企业AI更高效、可扩展且在经济上可持续。

越来越多的企业能够获得许多相同的模型。可持续的差异化来自组织如何有效地将这种智能转化为业务成果。

模型提供智能。harness决定企业能否可靠、经济且大规模地交付成果。

本内容由EXL制作。并非由《麻省理工科技评论》编辑团队撰写。

在AlphaGo对阵围棋冠军李世石十年后,今天的AI仍未充分利用那场胜利背后的机制。

来源

MIT Tech Review