AI News

RAVEL 联合创始人兼 CEO Denise Muyco 访谈:AI 工厂为何需要编排层

Unite.AI更新于 11月16日 19:22

Denise Muyco, Co-Founder and CEO of RAVEL – Interview Series

AI 导读

RAVEL 联合创始人兼 CEO Denise Muyco 在访谈中提出,AI 工厂不只是 GPU 和高性能集群,而是整合计算、网络、存储、安全、电力、冷却与运维层的生态系统,正从孤立集群演变为跨站点、跨区域的互联资源。她认为仅增加算力无法保证昂贵资源被高效利用,因此需要编排层与策略来协调分布式环境中的工作负载。RAVEL 的产品包括 RAVEL Orchestrate、RAVEL Orchestrate AI 和 Boost。

正文 · AI 翻译

Denise Muyco 是 RAVEL 的联合创始人兼 CEO,负责领导公司为复杂计算和 AI 基础设施开发编排软件。她是一名科班出身的工程师,职业生涯横跨电力基础设施、流程优化、数字媒体、数据中心和虚拟演播室等领域。在专注于 AI 之前,她曾参与为温哥华视觉特效行业社区开发共享高性能计算基础设施,让约 30 家工作室获得计算资源和安全连接。这段经历塑造了她协调昂贵且受限资源的方法。在 RAVEL,她将系统工程视角应用于工作负载放置、基础设施利用率、互操作性,以及分布式和主权 AI 环境日益增长的需求。

RAVEL 开发的软件帮助组织在云端、本地和混合基础设施上部署、管理和扩展计算与 AI 工作负载。其产品包括面向高性能虚拟工作站的 RAVEL Orchestrate、用于工作负载自动化和优化的 RAVEL Orchestrate AI,以及用于软件许可和遥测的 Boost。该公司的工具连接基础设施、应用、虚拟化和安全,同时提供集中控制和运营可见性。RAVEL 服务于数据中心、服务提供商、企业 IT 团队、AI 研究团队和创意工作室。公司立足于数字内容创作领域的根基,专注于简化复杂环境,帮助团队更有效地利用现有基础设施。

您在工程、媒体基础设施和分布式计算的交叉领域工作多年后创立了 RAVEL。最终是什么促使您创办这家公司?随着生成式 AI 大幅提升对计算的需求,RAVEL 的使命又是如何演变的?

我是科班出身的工程师,早在当今 AI 热潮之前,我就长期在电力、计算和基础设施的交叉领域工作。职业生涯早期,我曾在一家核电站实习,后来在媒体和视觉特效领域的工作让我接触到 GPU、巨大的计算需求以及物理基础设施的种种限制。

大约 16 年前,温哥华不断壮大的视觉特效行业正直接遭遇这些限制。各工作室需要大量高性能计算来处理(或渲染)高价值项目中日益复杂的电影和电视内容,但很少有工作室能证明有必要建设足够的专用基础设施,以在安全环境中满足峰值需求。电力也日益成为制约因素。我们开发了共享基础设施,让约 30 家工作室获得高性能计算资源以及安全、高带宽的连接。

共享基础设施解决了一个问题,却带来了另一个问题:如何在各组织和工作负载之间高效分配昂贵且受限的资源?这段经历最终促成了 RAVEL 的智能基础设施编排方法。

AI 是同一根本挑战的更大版本——复杂性和所涉资本都高得多。工作负载和基础设施已经改变,但让昂贵且受限的资源高效协同工作的需求只会变得更加重要。

在 RAVEL 之前,您曾帮助创建一个由约 30 家温哥华工作室、摄影棚、制作公司和视觉特效公司组成的联盟,共享高性能计算基础设施的访问权限。这段经历让您对分布式计算有何认识?您认为当时好莱坞的渲染挑战与当今 AI 行业的基础设施挑战之间有哪些相似之处?

我在视觉特效行业的工作让我认识到,构建和配置基础设施只是问题的一半。昂贵的计算资源必须安全地共享并高效使用,而更广泛的基础设施——包括能够传输海量文件的安全网络——必须协同运作。工作负载需要调度,容量需要分配,海量数据需要迁移——与此同时,制作团队还要在严格的预算和截止日期内追求越来越宏大的成果。基础设施必须持续优化利用率和性能。

AI 是同一根本挑战的更大版本。各组织正在基础设施上投入巨资,但仅增加容量并不能保证昂贵资源得到高效利用。受电力、容量、安全、经济、地理、监管和主权要求驱动,AI 基础设施也日益分散到不同地点、提供商和环境之中。渲染和 AI 可能是非常不同的工作负载,但它们面临一个共同的重要基础设施和生态系统挑战:两者都依赖高性能计算、网络、安全和存储高效协同运作。

随着 AI 基础设施日益复杂,单纯增加计算并不能解决让这些容量高效运作的运营挑战。这正是编排以及管理更广泛基础设施生态系统的策略变得至关重要的地方。二者共同帮助组织更好地利用昂贵且受限的资源,同时在日益分散的环境中协调工作负载。

RAVEL 自称是分布式 AI 工厂的编排层。对您而言,“AI 工厂”意味着什么?如今基础设施栈中缺失了什么,才使得编排层成为必要?

在我看来,AI 工厂不仅仅是 GPU 和高性能集群;它是一个集成的基础设施生态系统,将计算、网络、存储、安全、电力、冷却以及运行 AI 工作负载所需的运维层整合在一起。AI 工厂正从孤立集群演变为跨越多个站点和区域的互联资源生态系统。这种复杂性越来越难以手动或通过零散的单点解决方案来管理。编排层通过协调栈中多样且复杂的组件,并抽象掉部分底层复杂性来解决这一问题,使基础设施更易于被运营者作为一个协调一致的系统来管理。

随着组织为 AI 改造现有数据中心,许多设施最初并非围绕当今 AI 工作负载的需求而设计。如今的 AI 面临一种结构性错配,可分解为三个关键问题。第一是电力,即找到一个拥有足够可靠电力、能够大规模运行工作负载的地点。第二是生态系统碎片化,因为 AI 栈往往分散在孤立环境中,并非为协同工作而设计。第三是对总运营成本和总拥有成本的可见性有限,这可能掩盖 AI 基础设施的真实成本。结果,工作负载可能得不到优化,硬件可能利用不足,意外的运营成本可能推高总拥有成本,最终导致 token 成本上升。

AI 基础设施日益分散在超大规模云、私有数据中心、本地系统和专业 GPU 提供商之间。组织在尝试跨这些不同环境管理 AI 工作负载时,遇到的最大挑战是什么?

过去几年,AI 基础设施竞赛一直由一个简单的假设所定义:建得更大。更大的数据中心。更大的集群。更多 GPU。更多容量。但“建得更大”的模式正日益遭遇物理、经济和监管方面的约束。

电力受到约束。电网接入需要时间。经济、地理和主权因素日益决定基础设施能够且应该建在哪里。新的挑战不仅仅是建造更多 AI 基础设施,而是如何在正确的地点建造正确的基础设施,同时让所有这些环境作为一个协调一致的系统运行。当容量分散在超大规模云、私有数据中心、本地基础设施和专业提供商之间,而这些环境未必是为协同运行而设计时,这就变得尤为困难。

电力是这些约束中最尖锐的一个。电力可用性正日益决定 AI 基础设施首先建在哪里。

这正是联邦化变得至关重要的地方。它将跨环境的基础设施连接到一个共同的运营环境中。随后,智能编排根据容量、电力、性能、成本、策略、韧性和主权来决定工作负载应在哪里运行。

随着 AI 基础设施进一步扩展,无论是跨地点还是跨提供商,竞争优势不会仅仅来自拥有更多容量。它将来自让这些容量协同工作。联邦化为这一新现实创建了基础设施模型,而智能编排使该模型能够大规模投入运营。

这正是我们的客户之一 RT-One 所追求的模式。RT-One 是拉丁美洲最大 AI 科技园区和数据中心的开发商,正计划在美洲各地建设联邦化基础设施:连接分布式容量,使其最终能够作为一个协调一致的环境来管理。

GPU 短缺受到了极大关注,但仅仅增加加速器并不一定转化为更多有用的 AI 算力。您认为当今 AI 基础设施中最大的低效来源在哪里?通过更好的编排,企业可以释放多少额外容量?

AI 基础设施竞赛一直高度关注计划新增多少吉瓦容量以及投入多少资本来建设。人们很容易将 AI 的基础设施问题简单视为 GPU 或容量短缺,但这种框架忽略了低效真正所在。重要的是要注意,计划容量并不等同于可用容量。

GPU 集群可能看起来已被全部预订,但当栈中其他地方出现性能瓶颈时,昂贵的 GPU 仍可能闲置。这些瓶颈可能包括存储吞吐量、数据管道、网络拥塞、作业调度低效、安全要求,以及架构、应用、驱动和依赖项之间的不匹配。增加 GPU 并不总能转化为额外的可用算力。

增加更多基础设施并不会自动提高效率。在许多情况下,它反而会制造更多孤岛,同时推高成本。

组织需要更强的可见性和控制力,以便提高利用率、实现基础设施决策自动化,并让工作负载更好地与可用资源和业务优先级相匹配。更强的可见性和控制力有助于将一组基础设施资源转变为一个更加协调的运行环境。至于通过编排能够释放多少容量,并不存在精确或通用的数字;每个工作负载都有独特的需求。但有一点是明确的:解决搁浅或未充分利用的容量问题,答案并不是简单地购买或建设更多资源。

RAVEL 一直强调基础设施、虚拟化技术、身份系统和应用之间的互操作性。随着 AI 工作负载变得更加复杂和分布式,为什么互操作性变得尤为重要?

随着基础设施变得更加异构,组织需要灵活性,以便使用不同的技术和环境,同时不制造更多孤立的基础设施孤岛。互操作性使来自不同供应商和环境的计算、存储、网络和应用能够协同工作,在基础设施演进过程中保留选择权。但仅靠互操作性并不能决定这些资源应如何使用。

这正是编排发挥作用的地方——协调工作负载在哪里运行、如何迁移,以及如何在各个环境中执行策略。随着 AI 基础设施日益分布式和联邦化,互操作性提供了跨技术运营的灵活性,而编排则将这些资源转变为一个协调的运行环境。

RAVEL Orchestrate AI 在计算、存储、网络和其他基础设施技术之上提供统一的编排层,协调跨云、本地和混合环境的 AI 工作负载。

数据主权正成为部署 AI 的政府和企业的一大考量。主权 AI 基础设施的增长如何改变组织对工作负载放置、数据移动、安全和编排的思考方式?

主权 AI 如今已成为战略优先事项。随之而来的是一个更根本的问题:主权究竟意味着什么?相关讨论在很大程度上聚焦于数据驻留,但我认为这一定义过于狭窄。

我将主权 AI 定义为一个国家、企业、政府机构或其他组织对其 AI 工作负载保持政策所定义的控制能力——包括管理这些工作负载的数据、模型、计算基础设施、访问、安全、运营和司法管辖。主权并不一定意味着每个工作负载都必须留在一个数据中心,甚至不必留在单一组织拥有的基础设施上。相反,它意味着组织定义工作负载允许在哪里运行、其数据可以驻留或传输到哪里、谁可以访问它、哪些基础设施可以执行它,以及必须始终遵守哪些安全、监管、地理、运营和业务策略。这种以工作负载为中心的定义与更广泛的行业趋势一致,即把主权视为对完整 AI 环境的控制,而不仅仅是数据驻留。

当主权 AI 与联邦化相遇时,RAVEL 的方法尤为与众不同。RAVEL Orchestrate AI 可以将主权要求视为编排和策略层中的约束条件:一个工作负载可能有资格在由站点、云、数据中心、边缘位置或其他基础设施组成的联邦中运行,但只能在满足该工作负载主权策略的资源上运行。在这一获批边界内,RAVEL 随后可以根据电力、成本、性能、容量、利用率、网络特征、位置和优先级等因素确定合适的基础设施。联邦化并不会消除主权;相反,联邦化可以在主权定义的边界内运作。例如,敏感的政府工作负载可能完全保留在获批的美国设施内,同时仍在多个授权站点之间进行动态编排。其结果是一种新模式:组织可以获得分布式 AI 基础设施在利用率和韧性方面的优势,而无需放弃对最敏感工作负载运行位置和运行方式的控制。

RAVEL 起源于媒体、娱乐、游戏和设计等行业,这些行业的工作负载可能极其计算密集。与你们最初为创意专业人士解决的基础设施挑战相比,生成式 AI 的需求如何改变了该平台?

RAVEL 诞生于解决基础设施问题的过程中,当时艺术家和工程师已经在昂贵的计算、存储和网络资源上运行大规模的渲染、模拟和内容创建工作负载。根本挑战在于如何让异构基础设施更易于访问、共享和编排,同时最大化利用率和性能。

生成式AI大幅放大了同一问题的规模与复杂性。过去我们主要编排应用和渲染工作负载,如今还必须考虑AI模型、引擎、智能体、训练与推理工作负载、不同的GPU架构、快速变化的软件栈、海量数据流动,以及围绕电力、成本、安全和可用性的更严格约束。

因此,RAVEL已从主要编排计算资源,演进为为AI基础设施提供智能控制与优化层。Orchestrate AI利用遥测和策略,不仅判断基础设施是否可用,还根据成本、速度、电力、性能、利用率、位置和主权要求等因素,决定工作负载应在何处以及如何运行。

联邦化也变得越来越重要,因为AI基础设施不能再被视为孤立数据中心的集合;组织需要能够在保持治理和安全的同时,智能地利用跨站点容量。从很多方面看,生成式AI并没有改变RAVEL最初要解决的根本问题——它让问题变得显著更大、更复杂,从而使智能编排、优化和联邦化愈发重要。

您的职业生涯从星巴克的机械工程和流程优化,延伸到数字媒体、数据中心、虚拟工作室,如今又进入AI基础设施领域。这段工程背景如何影响了您创办公司和解决基础设施问题的方式?

我的工程背景几乎影响了我创办公司的一切方式。机械工程教会你审视一个系统——而不只是单个组件——并追问约束在哪里、能源或资源在哪里被浪费,以及整个系统如何能表现得更好。在星巴克,我把这种思维应用于流程优化;后来在数字媒体和视觉特效领域,系统变成了计算、存储、网络、应用,最终是整个数据中心。技术变了,但我处理问题的方式其实没变。我总是问:瓶颈在哪里?什么没有被充分利用?我们能简化什么?以及如何让整个系统运转得更好,而不是只优化其中一部分?

我们构建RAVEL的方式正是如此。我认为AI基础设施问题并不只是获取更多GPU或建设更多数据中心。这是一个系统工程问题,涉及计算、电力、存储、网络、软件、工作负载、人员,以及日益重要的地理和主权因素。你可以拥有世界上最快的GPU,但如果系统其余部分没有优化,你只是制造了一个非常昂贵的瓶颈。因此,我们对待RAVEL的方式是让基础设施本身更智能——利用遥测、策略、编排和联邦化,持续决定工作负载应如何以及在哪里运行。我职业生涯始于优化物理系统;今天我们正把同样的工程 discipline 应用于优化支撑AI的基础设施。

展望未来,随着模型、智能体和应用对分布式计算的需求越来越大,您预计AI基础设施将如何演变?您是否设想AI工厂会像过去十年云计算那样,成为企业基础设施的标准化层?

我绝对相信AI工厂将成为企业基础设施的基础层,就像云计算那样——但我不认为它们会表现为单一标准化的数据中心或云。随着模型、智能体和应用消耗越来越多的计算资源,企业将在GPU、CPU、私有基础设施、新型云、超大规模云、边缘环境和专用AI系统的异构组合中运营。

电力可用性、成本、主权、性能和位置将与计算可用性同等重要。真正的挑战不只是建设更多基础设施;而是让所有这些分布式基础设施表现得像一个智能系统。未来的AI工厂不是一栋建筑——而是一个联邦化的基础设施环境,横跨计算、电力、数据以及运行AI工作负载所需的资源,并在最合理的地方运行。

我认为下一个主要基础设施层正由此出现。云计算抽象了服务器,让计算更容易消费;下一步是抽象整个AI基础设施栈的复杂性。企业不应必须手动决定每个模型或智能体应由哪个GPU、数据中心、云、电源或地理位置来运行。基础设施应日益自行做出这些决策,利用遥测和策略来优化成本、速度、电力、性能、可用性和主权。这就是我们在RAVEL努力构建的未来:一个智能编排层,让工作负载能够在联邦化AI基础设施中移动,同时保留组织的策略和控制。云让计算按需可用。我相信下一代AI基础设施将让优化按需可用。

感谢您接受这次精彩的采访。希望进一步了解如何在分布式基础设施上编排AI工作负载的读者,请访问RAVEL。

来源

Unite.AI