智能体 AI / 生成式 AI 使用 Slurm HRES 插件将 QPU 集成到超算中心 2026年11月17日 作者: Stefano Mensa, Douglas Jacobsen 和 Zohim Chandani 讨论 (0)

AI 生成的摘要

  • Slurm 26.11 引入了分层资源(HRES)插件,可将量子处理单元(QPU)建模为原生的集群级可调度资源。
  • HRES 将 QPU 与允许使用它的特定节点关联起来,克服了通用资源(GRES)将设备绑定到单个节点的限制,也克服了基于许可证的方法会导致计算节点在等待 QPU 时处于空闲状态的问题。
  • 一个简短的 Lua 插件负责设备健康检查、节点分配前的作业准入以及资源释放,同时将站点特定策略保留在 resources.yaml 中,并使设备逻辑可在不同 Slurm 站点之间移植。
  • 开源社区 QRMI 和 QDMI 已发布 HRES 插件,可将 Slurm 集群连接到来自多家供应商的量子计算机。

后续步骤

由 NVIDIA Nemotron 提供支持。AI 生成的内容可能不完整地概括信息。请核实重要信息。 了解更多

量子处理器正被集成到世界各地的超算中心。北美、欧洲和亚洲的国家计划正在推动将 量子处理单元(QPU) 与高性能计算(HPC)系统一同安装。最终,每台超级计算机都将成为量子-经典混合设备,借助量子处理器拓展科学研究的可能性。

将成为量子-GPU 超算首批重度用户的科学家们,已经在 HPC 系统上运行他们的模拟和工作流。化学、气象建模、工程仿真以及其他传统上以 HPC 为中心的领域,有望在特定工作负载上受益于量子加速。对这些科学家而言,QPU 只是另一种加速器,与超算中心已提供的 CPU 和 GPU 并列。

让量子计算机易于获取、易于编程,并让用户能像熟悉的方式一样大规模地访问、预留和执行,对于科研人员将量子处理器纳入工作流至关重要。迄今为止,一个关键的缺失环节是工作负载管理器。 Slurm 26.11 通过分层资源(HRES)插件改变了这一局面,使站点能够通过一个简短的、可移植的 Lua 插件,将 QPU 作为原生的集群级资源进行调度。

本文介绍了 QPU 为何无法适配 Slurm 此前用于 CPU 和 GPU 的调度模型。随后解释了解决方案:HRES 如何对 QPU 建模,以及 HRES 插件在 Slurm 26.11 中新增了什么,包括中间件团队所依赖的 API 回调和能力。文章还讨论了 QRMI 和 QDMI 等社区驱动的接口如何已在这些 API 之上构建了开源插件,以及量子生态系统和超算中心的初步采用情况。

构建量子-GPU 超算

在超算中心集成 QPU 不仅仅是物理安装。QPU 必须与现有计算基础设施联网,用户必须能够在提交作业时像请求 CPU 和 GPU 一样请求它。其使用情况必须被跟踪、监控和计费,并且必须遵守站点特定策略。换言之,调度器或工作负载管理器必须像管理任何其他计算资源一样管理 QPU。

迄今为止,调度器一直没有原生的方式来对 QPU 建模,因此大多数集成都是为每个新的超算站点或 QPU 厂商反复定制构建的。这种碎片化的成本由所有相关方承担:

  • 用户在每个站点面对不同的接口。
  • 管理员必须维护自定义代码,这使升级变得复杂。
  • QPU 供应商为每个客户重建集成,毫无可移植性。
  • 全球系统集成商(GSI)无法提供可重复的部署。

在 QPU 方面,QRMI 和 QDMI 等开源工作正在统一此类设备向 HPC 软件描述以及由 HPC 软件控制的方式。所缺失的是超算中心用于将 QPU 集成到 HPC 部署中的调度器统一接口。

为何现有 Slurm 资源模型无法容纳 QPU

QPU 通常是集群级加速器,而非节点的一部分。Slurm 通用资源(GRES)是用于 GPU 的机制,属于单个计算节点。将 QPU 建模为 GRES 会将其绑定到一个节点,因此只有该节点上的作业才能使用它。例如,如果该节点发生故障,QPU 将一直无法访问,直到管理员重新配置集群。

许多集成改为结合使用许可证(代表集群级资源)进行调度,并使用 SPANK 插件实现用户界面和节点设置。这种方法可行,但存在若干问题:

  • 空闲节点: 在没有许可证的情况下, SPANK 仅在 Slurm 已分配节点后才起作用,因此作业可能在等待 QPU 时让计算节点处于空闲状态。
  • 双标志请求: 没有任何机制阻止作业在不持有许可证的情况下传递设备选项。
  • 多个 QPU: 在一个集群上托管多个 QPU 很困难,因为它们的 SPANK 插件会争用相同的命令行选项。
  • 升级风险: 在实践中,许多 SPANK 插件将第三方代码与 Slurm 内部 API 绑定,因此每次 Slurm 升级都有破坏集成的风险。
  • 无设备感知: Slurm 自身无法判断 QPU 何时正在重新校准或离线,因此它会持续启动作业,而这些作业在设备恢复在线之前无法使用该设备。

Slurm 26.11 中的 HRES 插件如何实现集成

Slurm 26.11 引入了 HRES 插件接口来弥补这些缺口,使 HPC 和量子社区能够在不修改 Slurm 本身的情况下与 Slurm 集成。它的首个实现是 hres/lua,运行一段简短的 Lua 脚本。该插件向调度器报告设备健康状况,接受设备选项作为资源请求的一部分,并在作业的每个阶段运行设置和清理代码。

站点在 resources.yaml 中将 QPU 描述为集群级 HRES,并将其指向该插件。这两个文件分担了工作。 resources.yaml 保存站点特定的细节和策略,例如端点以及哪些节点可以访问该设备,由系统管理员控制。插件保存设备逻辑,因此社区或 QPU 供应商可以编写一次,并将其发布到每个部署 Slurm 26.11 的站点。

将 QPU 建模为分层资源

HRES 在 Slurm 25.05 中作为测试功能加入,是许可证机制的演进。与许可证一样,HRES 是一种不属于任何单个节点的资源计数。与许可证不同的是,该计数与一组特定的节点相关联:即允许使用它的节点(图 1)。Slurm 26.11 还开始允许对节点与 HRES 之间的关系进行更动态的建模。

Diagram of a Slurm workload manager connected to three resource models. The GRES connector reaches a single compute node, where the GPU is scheduled as an on-node device. The licenses connector stops at the cluster-wide boundary. The HRES connector reaches both the QPU and a highlighted group of compute nodes labeled HRES layer.
图 1. GRES 在计算节点内调度设备,许可证对集群级资源进行计数,而 HRES 还将该资源与允许使用它的节点相关联 

HRES 的定义位于 resources.yaml,与 slurm.conf位于同一目录。每个资源都有一个或多个层,每个层都有一个名称、一个节点列表和一个计数。对于 QPU,最简单的定义是单个层,覆盖能够访问该设备的节点,计数为一。 plugin 块附加 Lua 脚本及其站点特定设置:

- resource: qpu
  mode: MODE_1
  plugin:
	type: hres/lua
	config:
  	- name: path
    value: /etc/slurm/hres_qpu.lua
  	- name: endpoint               	# site settings, never secrets
    value: https://qpu-gateway.example.org
	maintenance_cycle: 30            	# seconds between health checks
  layers:
	- layer_name: qpu1
  	nodes: ["node[0001-0123]"]
  	count: 1

根据此定义,当与作业所分配节点重叠的层具有足够的可用资源时,请求即得到满足。请求 QPU 的作业仅在该层中的节点上运行。作业通过 --resources=qpu:1.

中间件是 HPC 与 QPU 之间的边界

在图 2 所示的模型中,Slurm 和 Lua 插件都不直接与 QPU 通信。第三方访问中间件位于 HPC 系统和 QPU 之间,为不同的量子硬件 API 提供统一接口。因此,中间件是 HPC 系统与 QPU 之间的边界。

Diagram of the integration architecture. A job script requests four compute nodes and one QPU. Slurm loads an HRES Lua plugin, which handles node setup and cleanup on the HPC nodes, and status and reservation through third-party QPU access middleware. The middleware has a resource interface for reserving and releasing the QPU where supported, and a device interface for status, properties, and jobs. It connects the compute nodes to the QPU.
图 2. Slurm 通过 HRES Lua 插件将 QPU 作为单个单元进行调度,第三方中间件处理设备访问,而 QPU 内部发生的事情对 Slurm 保持隐藏

Slurm 将 QPU 视为单个可调度单元。它决定该单元是否可用、哪个作业占用它、占用多长时间以及从哪些节点访问。重要的是,Slurm 并不编排该单元内部的任何内容:校准、纠错和设备控制都保留在 QPU 及其自身的软件运行时内。因此,该方法既适用于当今的含噪中等规模量子(NISQ)设备,也适用于未来的纠错系统。

该插件在两侧之间进行转换。它向中间件询问状态和预留情况,并以 Slurm 的术语将结果报告给 Slurm:某个层是否被禁用、作业能否启动,以及作业节点的载荷。

HRES 插件 API

HRES 插件的当前实现运行由社区或设备供应商编写的 Lua 脚本。

Lua

Lua 插件是一个纯文本文件,供应商可以独立于 Slurm 的发布周期进行发布和更新。它不链接 libslurm,因为后者的 API 每个版本都会变化,因此无需为每次 Slurm 升级重新构建。Lua 还很快,能干净地嵌入 C 中,并且已被 Slurm 的作业提交和 CLI 过滤插件使用。该脚本在控制器和每个节点上必须位于同一路径,并且由于其大多数函数以 root 或 SlurmUser 身份运行,因此只有 root 才应能够写入该脚本。

关键能力包括:

  • 可堆叠性: slurmctld 会为每个定义插件的资源创建独立的插件上下文。一个集群可以承载多个 QPU 以及多种 QPU 类型,而不会出现 SPANK 插件所遇到的选项冲突。
  • 站点配置: 端点和其他设置位于插件的 config 列表中,Slurm 会将该列表交给插件而不对其进行解释。配置、作业的参数以及任何载荷都会随作业一起传输到其节点,作业的用户可以在那里读取它们。这意味着它们中任何一个都不能保存机密信息。
  • 用户输入: 用户向请求追加 name=value 参数,例如 --resources='qpu:1[shot=1000]'。Slurm 会将它们传递给插件而不进行解释,从而无需第二个命令行标志。
  • 健康检查: 每隔 maintenance_cycle 秒,维护回调会询问中间件 QPU 是否就绪,并在每一层上设置或清除 disable_layer ,以停止或恢复从该层分配。
  • 作业开始与结束: 作业被调度后、在其节点被分配之前,控制器预运行(prerun)可以接纳或暂缓该作业,因此作业在等待 QPU 期间绝不会占用空闲节点。由于预运行持有控制器的作业锁,耗时操作(例如预留 QPU)应放在可选的异步预运行中,其载荷由 Slurm 发送到作业的节点。如果作业未能启动,撤销(revoke)回调会撤销预留,作业结束时控制器收尾(epilog)会释放该预留。
  • 故障处理: 回调可以返回 ESLURM_HRES_REMOTE_FAIL 报告外部服务不可用,而不是服务已损坏。这样,预运行失败会使作业保持挂起状态,而节点序言或尾声失败不会耗尽节点。

插件按作业运行时序实现表1中的回调。

回调运行时机QPU使用示例
hres_create_context slurmctld,在读取配置时,针对每个带有插件的资源运行。此时每一层都显示未使用任何资源检查服务是否可达,并建立连接或状态
hres_maintenance slurmctld,每隔 maintenance_cycle 秒运行向中间件查询状态;在每一层上设置或清除 disable_layer
hres_controller_job_prerun slurmctld,在作业被调度后、其节点被分配之前,在作业锁下接纳或暂缓该作业,例如根据缓存的设备状态
hres_controller_job_async_prerun (optional) slurmctld,在作业配置期间于单独线程中在服务上预留 QPU;返回供作业节点使用的载荷
hres_controller_job_revoke slurmctld,当作业在其预运行成功后仍未启动时撤销该预留
hres_node_job_prolog 作业的每个节点,在 Prolog 脚本之前执行一次启动访问服务或写入按作业的文件
hres_node_task_prolog slurmstepd,在每个任务中以 root 身份,在任务启动之前特权级按任务设置
hres_node_user_task_prolog slurmstepd,在每个任务中以用户身份,在任务即将启动之前以用户身份进行按任务设置
hres_node_task_epilog slurmstepd,在每个任务退出之后按任务清理
hres_node_job_epilog 作业的每个节点,在 Epilog 脚本之后执行一次停止服务;删除按作业的文件
hres_controller_job_epilog slurmctld,在作业所有节点的 epilog 之后、其资源被归还之前释放预留
hres_destroy_context slurmctld,在再次读取配置之前关闭连接并释放脚本持有的任何资源
表 1. HRES/Lua 回调在作业中运行的顺序。 hres_create_context 和 hres_destroy_context 也会在 slurmctld 读取其配置时运行

大多数集成只需要几个回调。下面的骨架展示了插件的基本形态:一次健康检查、在任何节点被分配之前做出准入决定,以及作业结束时的一次释放。其中的 middleware_* 调用代表中间件自带的客户端库。

-- Callback names, arguments, fields, and return codes are Slurm's hres/lua API.
-- middleware_* calls are placeholders for your middleware's client library.
  -- Health: slurmctld, every maintenance_cycle seconds
function hres_maintenance(ctx, layers)
  local ready = middleware_status(ctx.config.endpoint)
  for _, layer in ipairs(layers) do layer.disable_layer = not ready end
  return slurm.SUCCESS
end

-- Admission: once the job is scheduled, before its nodes are allocated
function hres_controller_job_prerun(ctx, job, prep)
  if not middleware_can_admit(ctx, prep.plugin_args) then   -- cached, no network
	return slurm.ESLURM_HRES_REMOTE_FAIL                	-- the job stays pending
  end
  return slurm.SUCCESS
end

-- Release: after the job's node epilogs
function hres_controller_job_epilog(ctx, job, prep)
  middleware_release(ctx.config.endpoint, prep.payload)
  return slurm.SUCCESS
end

-- The remaining required callbacks return slurm.SUCCESS.

HRES 插件的社区集成示例

构建 QPU 访问中间件的团队通常会编写 HRES 插件。其中两个社区, QRMI 和 QDMI, 已经发布了基于 Slurm 26.11 API 构建的开源插件。两者都只在 QPU 可用时才接纳作业,并且在两者中,该层的计数决定了同时有多少作业可以使用一个 QPU。QRMI 插件在作业运行之前为每个作业获取对 QPU 的访问权限。QDMI 插件只负责接纳作业,随后每个作业自行向提供商排队提交其工作。使用任一插件,运行 Slurm 26.11 的站点都可以将其集群连接到来自多个提供商的量子计算机。

QRMI:为每个作业获取 QPU

每个 HRES 资源都以 QRMI 配置文件中的一个资源命名。在作业运行之前,插件使用用户自己的凭据预订对 QPU 的访问权限,这一操作在调度器关键路径之外的单独线程中进行,并在作业结束后释放该访问权限。具体取决于后端,这种预订是预留或会话。现有应用程序无需更改即可运行,因为作业看到的环境变量与使用 QRMI SPANK 插件时相同。有关完整配置、插件以及容器化测试集群,请访问 QRMI HRES 插件仓库. 

QDMI:将队列交给提供商 

每个 HRES 资源对应一个设备,并以该设备的 QDMI 设备 ID 命名。插件的维护回调会检查设备状态,并且仅在设备报告自身处于空闲或忙碌状态时才接纳作业。该插件不进行任何预留:每个作业通过 QDMI 提交其工作,由提供商的队列在设备上调度它。有关完整配置和插件,请访问 MQSC Orchestrator。

了解量子生态系统中更多组织如何集成 HRES 插件:

用户作业提交

从用户的角度来看,这两种集成方式看起来和用起来都一样。作业脚本通过其 HRES 资源名称请求 QPU,就像请求节点或 GPU 一样,并在包含 HRES 所分配节点的分区中运行。Slurm 会一直挂起该作业,直到插件报告 QPU 可用,并且在中间件支持的情况下,已预留。下面的模板适用于任一集成方式;只有资源名称会变化。

#!/bin/bash
#SBATCH --job-name=my-hybrid-job
#SBATCH --nodes=4
#SBATCH --time=00:30:00
#SBATCH --resources=<qpu_resource>

srun ./my_hybrid_app

开始使用 Slurm HRES 插件

Slurm 26.11 让 QPU 在调度器中获得原生位置。HRES 将 QPU 建模为集群级资源,并绑定到能够访问它的节点上,而 Lua 插件则将该资源连接到管理该设备的中间件。由于 Lua 插件被设计为几乎不包含任何站点特定内容,因此供应商或社区项目只需编写一次,每个 Slurm 站点都可以复用它,同时管理员仍可掌控自己的策略。

从设计上,这种方法适用于当今这一代量子计算机以及未来的容错系统,使其成为部署量子设备的超级计算中心的持久选择。

准备好开始了吗?部署 QRMI HRES 插件 ,或 QDMI HRES 示例, 或将其作为你自己集成的起点。要了解更多信息,请查看 Slurm 26.11 发行说明,并阅读 HRES 文档 以及 resources.yaml 参考. 

致谢

我们感谢 QRMI 和 QDMI 社区基于 HRES 插件进行构建,以及他们对本文的贡献。

讨论(0)

标签

智能体 AI / 生成式 AI | 数据中心 / 云 | 开发者工具与技术 | HPC / 科学计算 | 通用 | 中级技术 | 教程 | 量子计算 | Slurm | 超级计算 | Slurm | 超级计算

关于作者

Avatar photo 关于 Stefano Mensa
Stefano Mensa 是 NVIDIA 负责超级计算中心的量子开发者关系经理。此前,Stefano 曾在 STFC Hartree Centre 工作,这是一家位于英国的国家实验室和超级计算中心,专注于应用先进计算来解决重大行业挑战。在 Hartree,他担任量子计算与新兴技术的战略负责人,负责制定并落实该中心的路线图,帮助将研究转化为现实世界中可规模化推广的影响。在职业生涯中,Stefano 一直致力于赋能量子计算社区,尤其是在应用以及量子-经典集成方面。他尤其热衷于先进计算技术的融合,并相信有用的量子计算将由数据中心集成和混合工作流驱动。Stefano 拥有利物浦大学理论化学博士学位,同时也是该校的荣誉高级研究员。 查看 Stefano Mensa 的所有文章 Avatar photo 关于 Douglas Jacobsen
Douglas Jacobsen 负责设计和实现 Slurm 的功能,并协助制定其路线图,其经验来自十多年来从多个角度运行超级计算机。他接受过生物信息学训练(密歇根大学博士),于 2012 年加入劳伦斯伯克利国家实验室的 NERSC 以支持科研用户,并迅速转入系统工作,参与了多代 NERSC Cray 超级计算机,包括 Hopper、Edison、Cori 和 Perlmutter。2015 年,他主导了 NERSC 向 Slurm 的迁移,随后致力于将其扩展到 Cori 约 13,000 个节点的规模。2023 年,他转至 Azure,为 Microsoft 最关键的 AI 合作伙伴支持基于云的 AI 超级计算机,之后加入 Microsoft AI,担任多台 AI 训练超级计算机的 HPC 技术负责人。2026 年,他加入 NVIDIA,继续专注于让 Slurm 服务于在各种规模和用例下依赖它的研究人员。 查看 Douglas Jacobsen 的所有文章 Zohim Chandani 关于 Zohim Chandani
Zohim Chandani 是 NVIDIA 的高级量子算法与应用工程师。他的工作重点是将量子计算机与经典资源结合使用,构建最强大的算法,以解决适用于现实世界的问题。他此前的工作包括面向金融的量子算法和错误缓解。他拥有诺丁汉大学物理学学士学位和剑桥大学理论物理学硕士学位。 查看 Zohim Chandani 的所有文章

评论