AI 热点

Inkling 2 Mini 以 26.4B 参数运行于 16GB RAM

Unsloth更新于 11月21日 04:35

Run Inkling 2 Mini, the strongest 26.4B model that runs on 16GB RAM.

AI 导读

Inkling 2 Mini 是一款可在 16GB RAM 上运行的 26.4B 参数模型,现可通过 Unsloth 和 llama.cpp 运行。该 Apache 2.0 MoE 模型采用循环 Transformer 架构,在 DeepSWE v1.1 上取得 48.2%,原文称其为同等规模最佳成绩,并提供 GGUF 与运行指南。

推荐理由

精选AI 评分 67

材料同时给出内存需求、模型架构和 DeepSWE 成绩,便于比较其本地部署门槛与编码能力。

主题

标签

引用

Thinking Machines

@thinkymachines

你们中的一些人认为,拥有 594B 参数的 Inkling 2 Small 太大了。我们听到了你们的心声:Inkling 2 Mini 是一款仅有 26B 参数的循环 Transformer,小到足以在你的笔记本电脑上运行,强大到足以胜任智能体工作,其 AA Index 得分为 20.1。 https://t.co/9HzaUMwghb

查看原文

Some of you thought that Inkling 2 Small was too big at 594B parameters. We heard you: Inkling 2 Mini is a looped transformer with just 26B parameters, small enough to run on your laptop, powerful enough for agentic work with a score of 20.1 on AA Index. https://t.co/9HzaUMwghb

查看原帖

正文

Run Inkling 2 Mini, the strongest 26.4B model that runs on 16GB RAM.

Thinking Machines’ Apache 2.0 MoE model uses a looped transformer arch & scores 48.2% on DeepSWE v1.1, the best for size.

Run on Unsloth, llama.cpp

GGUF: https://t.co/MYNpuDqky3 Guide: https://t.co/2OrFxjxijg https://t.co/YzuDh1D8W6

来源

Unsloth