Unsloth 发布 Flint 的 Dynamic GGUF 量化版，可在 24GB 内存本地运行
Run Flint locally on 24GB RAM via Unsloth Dynamic GGUFs!
Unsloth 发布 Flint 的 Dynamic GGUF 量化版本，可在 24GB 内存设备上本地运行，并附有运行指南。Flint 是 Recursive 的 Apache-2.0 模型，39.8B 参数、2.5B 激活，Unsloth 称其为 50B 参数以下最强的 MoE 模型，在 Mac 上可达 125 t/s、在 RTX Spark 上可达 150 t/s。Recursive 联合创始人 Richard Socher 此前介绍，该模型由自动化研究系统 Eureka Machine 在不到 4 个月内从零构建，权重已在 Hugging Face 开放。
推荐理由
精选AI 评分 63
Unsloth 给出 Flint 的 GGUF 量化版本与本地运行指南，读者可据此在 24GB 内存设备上实际部署这个 39.8B 参数的 MoE 模型。
主题
查看原帖隆重介绍 Flint，@Recursive_SI 的首个模型：一个由我们的自动化研究系统 Eureka Machine 打造的快速本地编码模型。 • 同类最佳的快速本地编码 • 速度最高可达同类模型的 2 倍：在 MacBook Pro 上每秒 125+ tokens，在 RTX Spark 上每秒 150+ • 从零构建，耗时不到 4 个月 在你自己的机器上享受私密、不计量的智能。开放权重现已在 @huggingface 上线，可在你喜欢的框架上本地运行，或在 @opencode 或 @pidotdev 上免费试用。
查看原文
Introducing Flint, @Recursive_SI’s first model: a fast local coding model built with our automated research system, the Eureka Machine. • Best-in-class fast local coding • Up to 2x faster than comparable models: 125+ tokens/sec on a MacBook Pro, 150+ on RTX Spark • Built from scratch in under 4 months Private, unmetered intelligence on your own machine. Open weights available now on @huggingface, run it locally on your favorite framework or try it for free on @opencode or @pidotdev.
正文 · AI 翻译
通过 Unsloth Dynamic GGUF，在 24GB 内存上本地运行 Flint！
Flint 是 50B 参数以下最强的 MoE 模型。
Recursive 的 Apache-2.0 模型拥有 39.8B 参数（2.5B 激活）。在 Mac 上以 125 t/s 运行，在 RTX Spark 上以 150 t/s 运行