Thinking Machines 发布开放权重模型 Inkling 2 Mini
Thinking Machines has released Inkling 2 Mini at 20 on the Artificial Analysis Intelligence Index, an open weights looped transformer on the Pareto frontier for
Thinking Machines 发布 Inkling 2 Mini,该模型在 Artificial Analysis Intelligence Index 得分为 20,处于智能与活跃参数的 Pareto 前沿。它采用 MoE 与循环 Transformer 架构,总参数量 26B、活跃参数量 5.4B,每个文本 token 使用 3.1B 唯一权重,可在 MacBook 或 DGX Spark 上运行。模型支持文本和图像输入,具备 1M token 上下文窗口,并以 Apache 2.0 许可证发布。
正文 · AI 翻译
Thinking Machines 发布了 Inkling 2 Mini,其在 Artificial Analysis Intelligence Index 上得分为 20。这是一款开放权重的循环 Transformer,处于智能水平与活跃参数量的帕累托前沿。
Inkling 2 Mini 是一款混合专家模型,总参数量为 26B,活跃参数量为 5.4B。5.4B 的活跃参数量包含三次通过其循环层的计算;每个文本 token 使用 3.1B 个唯一权重,模型规模足够小,可在 MacBook 或 DGX Spark 上运行。
该模型以 Apache 2.0 许可证发布,支持文本和图像输入,并具备 1M token 的上下文窗口。
祝贺 @thinkymachines 发布新模型!🧵
AI 热点