2026年11月11日
作者: Mark Chmarny
讨论 (0)
AI 生成的摘要
- NVIDIA AI Cluster Runtime(AICR) 现已包含一个合格的 AI 物料清单(AIBOM)组件,该组件基于开源项目 k8s-aibom 构建,用于追踪在 Kubernetes 上运行的 AI 工作负载。
- AICR 为 GPU 加速的 Kubernetes 生成版本锁定的 recipe 和可复现的部署包,而 k8s-aibom 则观测受支持的 AI 工作负载,并输出带有置信度分级和证据定位的 CycloneDX 1.6 AIBOM 记录。
- 两个预置 recipe 默认选择 k8s-aibom:h100-gke-cos-inference 和 h100-gke-cos-inference-dynamo,其他 GKE recipe 可通过 --runtime-inventory 标志选择加入。
- 该集成已通过 AICR v1.2.0 固定 k8s-aibom 1.6.2 进行验证,在稳态观测下表现出约每分钟四次 API-server 请求、平均 2.2 millicores 的 CPU 使用率,以及 28 至 34 MiB 的控制器内存工作集。
- 命名空间选择加入机制控制哪些命名空间会输出 AIBOM 记录,系统会自动对工作负载类别和 serving 运行时(例如带有模型和容器镜像详细信息的 vLLM 推理部署)进行分类。
后续步骤
- 探索 NVIDIA AICR 仓库 以获取平台运行时工具。
- 探索 k8s-aibom 仓库 以查看 AI 工作负载清单项目。
当团队使用 NVIDIA Dynamo、Kubeflow 或 Slurm部署和扩展 AI 工作负载时,要追踪实际运行的内容,所需的可见性超出了 recipe 中记录的平台配置。应用团队独立于平台 recipe 定义和更新这些工作负载,因此仅凭可复现的部署包无法确定每个节点上正在运行哪些工作负载产物。像 :latest 这样的可变镜像标签又增加了一层复杂性。两个节点最终可能在相同标签下运行不同的代码,而下周拉取镜像的节点可能获取到未经过先前安全审查的镜像。
NVIDIA AI Cluster Runtime(AICR),是 NVIDIA DSX AI Factory Platform的开源模块化组件,现已包含一个合格的 AI 物料清单(AIBOM)组件,以弥补这一缺口。由 Google 创建的开源项目 k8s-aibom 可追踪在 Kubernetes 上运行的 AI 工作负载。有两个预置 recipe 默认选择 k8s-aibom: h100-gke-cos-inference 和 h100-gke-cos-inference-dynamo。其他 GKE recipe 可在生成时通过以下方式选择加入: --runtime-inventory 已启用。选择它的 recipe 可以通过以下方式退出: --runtime-inventory 已禁用。
AICR 将已知良好的 GPU 平台配置转化为版本锁定的 recipe 和可复现的部署包。每个 recipe 记录一个硬件、云、操作系统和意图组合的期望配置:其组件、版本固定、值、约束、部署顺序和验证预期。AICR 从固定的 recipe、catalog 和 bundle 输入生成可复现的部署产物。Bundle 包含校验和;签名通过以下方式可选: aicr bundle --attest.
使用 k8s-aibom 进行资格认证是一项具体的声明,而不是橡皮图章。AICR 将确切的上游源代码、chart、CRD 和固定摘要的控制器镜像绑定为一个经过测试的集合,对照 Google 预期的构建身份验证来源,审查渲染后的 RBAC 和安全默认值,并在其测试过的部署路径上演练安装、升级、健康检查和卸载。
本博客将帮助您使用 AICR 配置 Kubernetes 运行时,为您的集群提供经过验证的高性能配置。

同一问题的两端
AICR 和 k8s-aibom 关注 AI 基础设施生命周期的不同部分。AICR 帮助平台团队为 GPU 加速的 Kubernetes 生成并验证已知良好的配置。它工作在运行时部署层:驱动程序、operator、内核、Kubernetes 组件、部署配置。
k8s-aibom 则着眼于技术栈的更上层以及集群生命周期的更后阶段。它监视 Kubernetes 工作负载和 Pod API,并为每个识别出的 AI 工作负载输出一份 CycloneDX 1.6 AIBOM。覆盖范围是有限的:只有携带可识别 AI 信号的受支持工作负载类型才会被纳入清单。覆盖范围包括原生 Dynamo 图、NIMService、LeaderWorkerSet、DisaggregatedSet 和 CronJob 资源。被跟踪的子工作负载会合并到其所属所有者的 AIBOM 中。
| AICR 回答 | k8s-aibom 回答 |
|---|---|
| GPU 基础设施是否基于已知且经过验证的配置构建? | 该基础设施上实际运行着哪些 AI 资产? |
一个提供 GPU 加速 Kubernetes 配置的控制与可复现性,另一个则在该集群中增加工作负载发现与可追溯性。具体而言,AIBOM 可帮助您:
- 在选定用于报告的命名空间中查找未注册或影子 AI 工作负载
- 识别模型、推理运行时、代理和 RAG 组件
- 追踪外部 AI API 和向量数据库
- 检测 AI 依赖项中的变更或漂移
- 支持安全审查、事件响应和合规审计
两个项目从同一问题的两端得出了这一结论,并且 都将其视为同一问题. AICR 记录合格的部署意图,并在某一时间点针对集群对其进行评估。k8s-aibom 观测受支持的 AI 工作负载并记录其发现,包括每个属性的确定置信度。单凭任一视图都不足以支撑 AI 治理,而两者之间的边界恰恰是当今问责缺失之处。
将 AICR 与 k8s-aibom 配合使用
这些示例反映了 AICR v1.2.0 及其目录,该目录固定了 k8s-aibom 1.6.2。请使用与此目录匹配的 CLI 构建来复现这些示例。
首先准备一个运行 Kubernetes 1.32 或更高版本的 Google Kubernetes Engine (GKE) 集群,其中包含使用 Container-Optimized OS 以及由 GKE 管理的驱动程序和设备插件的 NVIDIA H100 GPU 节点。以下工作流会生成一个 recipe,将其渲染为 bundle,部署该 bundle,并验证结果。整个过程没有任何手工拼装,也没有任何手工调优。
在 AICR 版本、目录和生成输入相同的情况下,recipe 解析会产生相同的配置。最后一步会依据该配置检查集群。这就是 AICR 为这一组合带来的那一半价值:快速且可重复地获得经过验证的 GPU 平台。随后,k8s-aibom 会持续清点受支持的 AI 工作负载。
生成 recipe
aicr recipe \ --service gke \ --accelerator h100 \ --os cos \ --intent inference \ --output recipe.yaml
新的 k8s-aibom 组件是作为 recipe 的一部分被选中的,而不是事后附加的。你可以在不生成文件的情况下查询任何已解析的值:
aicr query \ --service gke --accelerator h100 --os cos --intent inference \ --selector components.k8s-aibom.version # 1.6.2
打包并部署
使用默认的 Helm 部署器创建部署包。将示例节点选择器替换为您系统及 GPU 节点池中存在的标签:
aicr bundle \ --recipe recipe.yaml \ --system-node-selector nodeGroup=system-pool \ --accelerated-node-selector nodeGroup=gpu-worker \ --output ./bundles
该捆绑包按组件划分,每个组件一个目录,按依赖图排序,每个目录都包含其值、校验和以及安装脚本。AICR 通过以下方式支持多种部署器: --deployer 标志,包括“ helmfile, flux,以及 argocd.
验证生成的 bundle,然后安装它:
(cd ./bundles && aicr verify . && chmod +x deploy.sh && ./deploy.sh)
部署后,k8s-aibom 控制器运行在 k8s-aibom-system 命名空间。AICR 使用主 chart 的 CRD,而不是配套的 k8s-aibom-crds chart。Helm bundle 包含 CRD 应用步骤;Flux 和 Argo CD 通过各自的控制器处理更新。Helmfile、Terraform 和 Fleet 需要按文档执行手动 CRD 更新,以应对需要该操作的过渡场景。检查已安装的存储版本: 按文档执行手动 CRD 更新 在过渡需要时。检查已安装的存储版本:
kubectl get crd aiboms.aibom.k8saibom.dev \
-o jsonpath='{.spec.versions[?(@.storage==true)].name}'
# v1beta1
验证
aicr snapshot --output snapshot.yaml aicr validate --recipe recipe.yaml --snapshot snapshot.yaml \ --phase deployment --phase conformance
该 k8s-aibom 健康检查作为部署阶段的一部分运行。它要求控制器部署可用、集群范围的 AIBOMControllerConfig 报告当前的 Ready=True,并且两个 CRD 都要报告固定 chart 所期望的存储版本。存储版本匹配并不能证明完整的 CRD schema 是最新的。升级期间,还要验证目标 schema 并检查是否存在 Degraded=True ,原因见 SchemaPredatesController;参见 健康与就绪状态.
选择一个命名空间,在
清单按命名空间选择加入。该标签控制哪些命名空间发出 AIBOM 记录;它不会缩小控制器读取的范围。Informer 仍会在集群范围内缓存工作负载和 Pod 规格,包括容器参数和内联环境变量值。默认情况下未配置任何 sink,也未配置任何 secret 访问,因此除非做出明确决定,否则不会有任何数据离开集群。
kubectl create namespace prod-jobs kubectl label namespace prod-jobs aibom.k8saibom.dev/enabled=true
运行推理工作负载
当其命名空间选择加入时,携带可识别 AI 信号的支持工作负载会被自动清点。为便于简单演示,这里给出一个提供 Qwen 服务的 vLLM 部署。请注意,它拉取的是 vllm/vllm-openai:latest 而不是摘要,这在某些环境中并非罕见的模式。 nvidia-h100-mega-80gb 选择器和容忍度必须与你的 GPU 池的标签和污点相匹配:
apiVersion: apps/v1
kind: Deployment
metadata:
name: vllm-qwen
namespace: prod-jobs
spec:
replicas: 1
selector:
matchLabels: {app: vllm-qwen}
template:
metadata:
labels: {app: vllm-qwen}
spec:
# Adjust to match your GPU node pool's taints and labels.
tolerations:
- key: dedicated
operator: Equal
value: gpu-workload
effect: NoSchedule
nodeSelector:
cloud.google.com/gke-accelerator: nvidia-h100-mega-80gb
containers:
- name: vllm
image: vllm/vllm-openai:latest
args: ["--model", "Qwen/Qwen2.5-0.5B-Instruct",
"--max-model-len", "4096",
"--gpu-memory-utilization", "0.30"]
ports:
- containerPort: 8000
resources:
limits:
nvidia.com/gpu: "1"
volumeMounts:
- {name: shm, mountPath: /dev/shm}
volumes:
- name: shm
emptyDir: {medium: Memory, sizeLimit: 2Gi}
将此清单保存为 vllm-qwen.yaml,然后创建该工作负载:
kubectl apply -f vllm-qwen.yaml
查看清单
应用该工作负载后,你可以跟踪清单:
kubectl -n prod-jobs get aiboms.aibom.k8saibom.dev
示例输出:
NAME WORKLOAD NAME CATEGORY RUNTIME READY AGE apps-deployment-vllm-qwen Deployment vllm-qwen inference vllm True 28m
控制器会自动对工作负载类别和服务运行时进行分类。有一个值得了解的边界:该记录是根据工作负载 spec 构建的,因此 AIBOM 可以在任何 Pod 运行之前就存在。AIBOM 可以出现并报告 Ready=True 在 Pod 仍在拉取其镜像时。AIBOM 会告诉你声明了什么,以及一旦 Pod 存在后它实际解析成了什么。它并不能证明调度或执行成功。
检查状态条件:
kubectl -n prod-jobs get aibom apps-deployment-vllm-qwen \
-o jsonpath='{range .status.conditions[*]}{.type}={.status} {end}'
# Ready=True Synced=True SinkFailed=False Stale=False
验证 AIBOM
当文档足够小时,它会以内联方式存储在资源上,并发布基于规范字节的 SHA-256:
kubectl -n prod-jobs get aibom apps-deployment-vllm-qwen -o json > aibom.json
jq -r '.status.bomDocument.inline.data' aibom.json | base64 -d > bom.json
jq -r '.status.bomDocument.sha256' aibom.json
shasum -a 256 bom.json | awk '{print $1}'
下面是把这些内容整合起来的地方:
jq -r '.components[] | "\(.type)\t\(.name)"' bom.json
响应看起来应该像这样:
application vllm container vllm/vllm-openai machine-learning-model Qwen/Qwen2.5-0.5B-Instruct
传统的 SBOM 告诉你正在运行的是哪个镜像。AIBOM 则告诉你正在服务的是哪个模型,以及由哪个运行时来提供该服务。属性带有四个置信度层级之一——declared, inferred, unresolved、或 verified—以及一个证据定位器,以便审查者可以看到每个结论是如何得出的。
资源影响
上游 在 GKE 上实测了 k8s-aibom v1.6.1 ,并结合 NVIDIA Dynamo 与 AICR 的配置。该测试使用了仅含 CPU 的节点,工作负载 Pod 一直处于 pending 状态,因此这些数字描述的是控制器清单开销:
- 在15分钟的稳态观测窗口内,每分钟约产生四次 API-server 请求
- 控制器平均 CPU 使用量为 2.2 millicores
- 控制器内存工作集为 28 至 34 MiB
- 当被测工作负载的镜像标签发生变化时,会触发一次 AIBOM 重新生成
接下来会发生什么
该集成有意在若干方面有所保留,每一项都是独立的决策,而非疏忽。
签名的运行时观测记录: 运行时 AIBOM 被写为 Kubernetes 资源,但观测本身并未签名。签名将使捕获的观测记录具备防篡改能力;但它既不能证明每一项工作负载声明为真,也不能证明执行成功。上文展示的规范字节和已发布的 SHA-256 使签名变得可行。
连接经过验证的来源: k8s-aibom 可以依据运维人员配置的信任根验证模型声明上的 Sigstore 签名,强制执行签名者身份约束,检查 Rekor 包含证明,并为符合条件的声明赋予已验证置信度层级。AICR 默认禁用此验证。当启用签名时,AICR 还可以生成记录到透明度日志的捆绑包证明;将该平台来源与运行时 AI 资产清单连接起来仍属于未来的集成工作。
意图与观测到的工作负载: AICR recipe 描述部署意图。运行时 AIBOM 记录观测到的工作负载规格和可用的 Pod 状态证据。要将二者关联起来,需要共享的制品标识、新鲜度规则,以及基础设施与工作负载覆盖范围之间的映射。这种比较仍属于未来的集成工作;AIBOM 并不能证明执行成功或集群完全符合规范。
AICR 可在 NVIDIA/aicrk8s-aibom 可在 GoogleCloudPlatform/k8s-aibom两者均为开源。如果你在 Kubernetes 上运行 GPU 工作负载,此集成会添加一份已识别 AI 工作负载的清单,以及显示每个属性是如何确定的证据。
讨论 (0)标签
Agentic AI / 生成式 AI | 数据中心 / 云 | 开发者工具与技术 | 通用 | DSX | 中级技术 | 教程 | DSX AI Factory 平台 | Kubernetes | 开源关于作者
关于 Mark Chmarny
Mark Chmarny 是 NVIDIA DGX Cloud 组织中的首席云架构师,专长于大规模分布式系统、容器编排和 GPU 加速计算。他专注于基于 Kubernetes 的 AI/ML 平台、高性能 GPU 集群,以及用于训练和推理的多云基础设施。 查看 Mark Chmarny 的所有文章