←新闻详情

MiniMax更新于 10月25日 00:05

MiniMax 回应 H3 接入 TPU:期待高效视频推理的开源工作

Thank you for bringing H3 to TPUs! Excited to see more open-source work on efficient video inference and what it could enable: faster creative iteration, new in

AI 导读

MiniMax 官方回应 SGLang 将 MiniMax H3 纳入 SGLang-TorchTPU 的 TPU 支持列表,并表示期待更多围绕高效视频推理的开源工作。SGLang 称 SGLang-TorchTPU 由 SGLang 与 Google TPU 团队、Meta PyTorch 团队共同打造,已用于 Meta 的生产推理,支持模型包括 Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash 和 MiniMax H3。

推荐理由

AI 评分 58

MiniMax 对 SGLang-TorchTPU 将 H3 纳入 TPU 推理支持作出回应,可了解开源视频模型在 TPU 上的部署进展。

主题

标签

引用

SGLang

@sgl_project

今天我们发布 SGLang-TorchTPU,由 @Google TPU 团队与 Meta @PyTorch 团队共同打造。 我们很高兴看到它正在为 Meta 的生产推理提供支持! SGLang-TorchTPU 是 SGLang 的 TPU 插件,带来: - TPU 上的顶级开源模型:Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash、MiniMax H3 - SGLang 面向大规模智能体工作负载的生产级特性 - 自定义 MegaKernel:在 InferenceX 8K/1K 上,Muse Spark Open 在 bs=1 时解码速度达到 770 tok/s SGLang-TorchTPU 现已可用:https://t.co/ix02YggKGG

查看原文

Today we launch SGLang-TorchTPU, built with @Google TPU team and Meta @PyTorch team. We’re excited to see it powering production inference at Meta! SGLang-TorchTPU is a TPU plugin for SGLang that brings: - Top open models on TPU: Muse Spark Open, GLM-5.3 Flash, Kimi K3, Ling 3.1 Flash, MiniMax H3 - SGLang’s production features for large agentic workloads - Custom MegaKernel: Muse Spark Open hits 770 tok/s decode at bs=1 on InferenceX 8K/1K SGLang-TorchTPU is available now: https://t.co/ix02YggKGG

查看原帖

正文

当前显示原文,中文全文译文尚未就绪。

Thank you for bringing H3 to TPUs! Excited to see more open-source work on efficient video inference and what it could enable: faster creative iteration, new interactive experiences, and more ways for developers to build with H3.

来源

MiniMax