蚂蚁百灵 Ling 3.1 Flash 进入 SGLang-TorchTPU 首批支持模型名单
Excited to see Ling 3.1 Flash and the Ling 3.0 family in the SGLang-TorchTPU launch lineup! Thanks @sgl_project, Google and Meta for bringing PyTorch-native ser
蚂蚁百灵表示，Ling 3.1 Flash 和 Ling 3.0 系列已进入 SGLang-TorchTPU 发布阵容。SGLang 称该插件由 SGLang 与 Google TPU 团队、Meta PyTorch 团队共同构建，已在 Meta 的生产推理中使用，首批支持的开放模型还包括 Muse Spark Open、GLM-5.3 Flash、Kimi K3 和 MiniMax H3。
推荐理由
AI 评分 56
SGLang-TorchTPU 把 PyTorch 原生服务带到 TPU，Ling 3.1 Flash 等模型进入首批支持名单，可观察 MoE 推理的硬件选择变化。
主题
查看原帖今天我们推出 SGLang-TorchTPU，由 @Google TPU 团队与 Meta @PyTorch 团队共同构建。 我们很高兴看到它已在 Meta 的生产推理中投入使用！ SGLang-TorchTPU 是 SGLang 的 TPU 插件，带来： - TPU 上的顶级开放模型：Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash、MiniMax H3 - SGLang 面向大规模智能体工作负载的生产级特性 - 自定义 MegaKernel：在 InferenceX 8K/1K 上，Muse Spark Open 在 bs=1 时解码速度达到 770 tok/s SGLang-TorchTPU 现已可用：https://t.co/ix02YggKGG
查看原文
Today we launch SGLang-TorchTPU, built with @Google TPU team and Meta @PyTorch team. We’re excited to see it powering production inference at Meta! SGLang-TorchTPU is a TPU plugin for SGLang that brings: - Top open models on TPU: Muse Spark Open, GLM-5.3 Flash, Kimi K3, Ling 3.1 Flash, MiniMax H3 - SGLang’s production features for large agentic workloads - Custom MegaKernel: Muse Spark Open hits 770 tok/s decode at bs=1 on InferenceX 8K/1K SGLang-TorchTPU is available now: https://t.co/ix02YggKGG
正文
当前显示原文，中文全文译文尚未就绪。
Excited to see Ling 3.1 Flash and the Ling 3.0 family in the SGLang-TorchTPU launch lineup! Thanks @sgl_project, Google and Meta for bringing PyTorch-native serving to TPUs—expanding hardware choice for efficient MoE inference and agentic workloads.