Inkling 2 Mini 以 26.4B 参数运行于 16GB RAM
Run Inkling 2 Mini, the strongest 26.4B model that runs on 16GB RAM.
Inkling 2 Mini 是一款可在 16GB RAM 上运行的 26.4B 参数模型,现可通过 Unsloth 和 llama.cpp 运行。该 Apache 2.0 MoE 模型采用循环 Transformer 架构,在 DeepSWE v1.1 上取得 48.2%,原文称其为同等规模最佳成绩,并提供 GGUF 与运行指南。
查看原帖你们中的一些人认为,拥有 594B 参数的 Inkling 2 Small 太大了。我们听到了你们的心声:Inkling 2 Mini 是一款仅有 26B 参数的循环 Transformer,小到足以在你的笔记本电脑上运行,强大到足以胜任智能体工作,其 AA Index 得分为 20.1。 https://t.co/9HzaUMwghb
查看原文
Some of you thought that Inkling 2 Small was too big at 594B parameters. We heard you: Inkling 2 Mini is a looped transformer with just 26B parameters, small enough to run on your laptop, powerful enough for agentic work with a score of 20.1 on AA Index. https://t.co/9HzaUMwghb
正文 · AI 翻译
运行 Inkling 2 Mini——可在 16GB RAM 上运行的最强 26.4B 模型。
Thinking Machines 的 Apache 2.0 MoE 模型采用循环 Transformer 架构,在 DeepSWE v1.1 上取得 48.2% 的成绩,为同等规模最佳。
可通过 Unsloth、llama.cpp 运行
GGUF:https://t.co/MYNpuDqky3 指南:https://t.co/2OrFxjxijg https://t.co/YzuDh1D8W6
AI 热点