←事件详情

热点事件

Thinking Machines Lab发布Inkling多模态MoE模型

6 篇正式报道6 条事件动态更新于 8月2日 21:01

先了解这件事

AI 综述

2026年7月15日,Thinking Machines Lab发布原生多模态开放权重模型Inkling。据Hugging Face介绍,Inkling原生接收文本、图像和音频,为MoE架构,拥有975B总参数、41B激活参数和1M上下文窗口,bf16与NVFP4检查点分别需要2TB和600GB显存,已获Transformers、SGLang、vLLM和llama.cpp支持。同日,Modal官方工程博客称Inkling以Day 0合作上线Modal按token计费的托管端点,并为其定制DFlash推测解码器,在8x B200智能体负载上实现每用户250 tokens/s、每GPU 2.5M TPM,交互性比模型内置推测路径快67%。同日,LMSYS Blog称LMSYS与Thinking Machines团队合作,为Inkling在SGLang和Miles上提供Day-0支持,SGLang针对其MoE架构优化,在Nvidia Blackwell GPU上实现最高71.7k tok/s输入吞吐和171.0 tok/s单用户解码速度,Miles通过定制Megatron后端支持全参数与Lo

AI 根据公开报道生成

最新进展 · 正式报道

最新开源模型盘点第23期:Laguna S2.1、Inkling 与 Kimi K3 展现开源模型的帕累托前沿价值

事件进展

2 个已确认进展

  1. Thinking Machines Lab发布Inkling

    来源:Hugging Face
  2. SGLang 与 Miles 为 Inkling 提供 Day-0 支持

    来源:LMSYS Blog

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

8月2日

  1. Interconnects

    最新开源模型盘点第23期:Laguna S2.1、Inkling 与 Kimi K3 展现开源模型的帕累托前沿价值

    Interconnects 发布第23期开源模型盘点,涵盖 Thinking Machines 的 Inkling、腾讯 Hy3、Poolside 的 Laguna-S-2.1 与 Laguna-XS-2.1、DeepSeek-V4-Flash-0731、月之暗面 Kimi-K3、美团 LongCat-2.0、Motif-3-Beta、Swiss AI 的 Apertus-v1.5-70B 以及 AMD 的 Instella-MoE-16B-A3B-Think。作者认为此前关于模型实验室将走向整合的预测并未成真,反而有更多公司在训练强模型并公开释出,token 需求高涨让更多机构把构建 token 机器视为价值路径。其中 Thinking Machines 的 Inkling 是 975B-A41B 多模态 MoE,支持文本、图像和音频输入,并同步发布 276B-A12B 小版本;美团 LongCat-2.0 为 1.6T 参数 MoE,完全在昇腾 910 上训练。

7月16日

  1. Lilian Weng

    Thinking Machines 发布开放权重模型 Inkling

    Inkling 是我们的开放权重模型。 它旨在作为一个基础模型,在广泛的能力类别上具备扎实的表现,供实际使用和定制。 在 Tinker 上体验它!😄

7月15日

  1. Hugging Face一手精选

    Thinking Machines 推出原生多模态开放模型 Inkling

    Thinking Machines 推出 Inkling,一款原生接收文本、图像和音频的开放权重 MoE 模型,拥有 975B 总参数、41B 激活参数和 1M 上下文窗口。其 bf16 与 NVFP4 检查点分别需要 2 TB 和 600 GB VRAM,并已获 Transformers、SGLang、vLLM 和 llama.cpp 支持。

  2. Modal 官方工程博客一手精选

    Thinking Machines 的 Inkling 上线 Modal,975B 参数多模态模型支持 Day 0 托管

    Thinking Machines 发布通用多模态模型 Inkling,可接受文本、图像和音频输入并生成文本输出,Modal 以 Day 0 合作将其作为按 token 计费的托管端点上线。Inkling 是 MoE Transformer,总参数 975B、激活 41B,上下文窗口 1M token,原生支持音频与视觉。Modal 为其定制了 DFlash 推测解码器,在 8x B200 的智能体负载上实现每用户 250 tokens/s、每 GPU 2.5M TPM,交互性比模型内置推测路径快 67%。

  3. LMSYS Blog一手精选

    SGLang 与 Miles 为多模态模型 Inkling 提供 Day-0 支持

    LMSYS 与 Thinking Machines 团队合作,为 975B 参数多模态模型 Inkling 在 SGLang 和 Miles 上提供 Day-0 支持。SGLang 针对其短卷积、相对位置注意力和共享专家 sink 的 MoE 架构做了专门优化,在 Nvidia Blackwell GPU 上实现最高 71.7k tok/s 输入吞吐和 171.0 tok/s 单用户解码速度,并支持投机解码、PD 分离、多 LoRA 服务与 HiCache。Miles 通过定制 Megatron 后端支持全参数与 LoRA 强化学习,覆盖文本和视觉语言任务。

  4. Together AI Blog一手精选

    Together AI 首日上线 Thinking Machines Lab 新模型 Inkling

    Thinking Machines Lab 发布多模态混合专家模型 Inkling,Together AI 同日在其推理平台上线。Inkling 接受文本、图像和音频输入并输出文本,支持可调推理强度,总参数 975B、每 token 激活 40B、上下文窗口 1M tokens。Together AI 称其采用基于 FlashAttention-4 的注意力内核,通过 Serverless 单端点提供三种输入模态。

关联事件

  1. 相关事件Meta发布开放权重模型Muse Spark Open
  2. 相关事件SGLang原生支持并驱动Beam生产API
  3. 相关事件Mistral在Hugging Face发布Large 4权重
  4. 相关事件Moonshot AI发布旗舰模型Kimi K3