AI 热点

Thinking Machines 发布开放权重模型 Inkling 2 Mini

Artificial Analysis更新于 11月21日 04:49

Thinking Machines has released Inkling 2 Mini at 20 on the Artificial Analysis Intelligence Index, an open weights looped transformer on the Pareto frontier for

AI 导读

Thinking Machines 发布 Inkling 2 Mini,该模型在 Artificial Analysis Intelligence Index 得分为 20,处于智能与活跃参数的 Pareto 前沿。它采用 MoE 与循环 Transformer 架构,总参数量 26B、活跃参数量 5.4B,每个文本 token 使用 3.1B 唯一权重,可在 MacBook 或 DGX Spark 上运行。模型支持文本和图像输入,具备 1M token 上下文窗口,并以 Apache 2.0 许可证发布。

推荐理由

精选AI 评分 68

参数构成、循环层计算方式与指数位置并列呈现,可用于比较小型开放权重模型的智能与计算规模。

主题

标签

正文 · AI 翻译

Thinking Machines 发布了 Inkling 2 Mini,其在 Artificial Analysis Intelligence Index 上得分为 20。这是一款开放权重的循环 Transformer,处于智能水平与活跃参数量的帕累托前沿。

Inkling 2 Mini 是一款混合专家模型,总参数量为 26B,活跃参数量为 5.4B。5.4B 的活跃参数量包含三次通过其循环层的计算;每个文本 token 使用 3.1B 个唯一权重,模型规模足够小,可在 MacBook 或 DGX Spark 上运行。

该模型以 Apache 2.0 许可证发布,支持文本和图像输入,并具备 1M token 的上下文窗口。

祝贺 @thinkymachines 发布新模型!🧵

来源

Artificial Analysis