Hugging Face 上线 Space,可查询模型能否在 AWS Trainium 上运行
Hugging Face 发布 torch-neuronx model support Space,可按下载量或趋势查看 Hub 上的模型能否在 AWS Trainium 上运行,并给出分片核数、含编译的耗时和峰值显存。目前只测试 Transformers 的文本生成与图文模型,且仅限能放进 4 台 Trainium2 设备(最多 16 核)的模型;每个模型生成 32 个 token 校验,单核时与 CPU 结果比对,分片时由小模型判断英文是否通顺。结果来自公开数据集 aws-neuron/torch-neuronx-model-support,Space 还提供运行脚本和跳过编译的 NEFF 缓存命令。
#教程/实践#部署/工程#开源生态