Meta 在 Hugging Face 开源 816B 参数模型 Muse Spark Open
Meta released the weights of Muse Spark Open, on Huggingface, an 816B-parameter model built for coding and agentic work.
Meta 在 Hugging Face 发布 Muse Spark Open 的模型权重，这是一个 816B 参数、面向编码与智能体任务的模型。开源版与 Muse Spark 1.3 共用同一基础模型，额外做了安全后训练，以降低其脱离系统护栏单独使用时的滥用风险，这也逆转了 Meta 今年 4 月首个专有闭源前沿模型的策略。模型共 62 层，每层含 256 个专家网络，每个 token 路由到其中 8 个，因此部署需要 816B 参数模型的内存，但运行速度相当于 42B 模型。一次在 512GB M3 Ultra 上测试的 3-bit 量化版本约占 344 GB，短提示词下生成速度约 21 tok/s。
推荐理由
精选AI 评分 82
Meta 把 816B 参数的 MoE 模型权重放到 Hugging Face，并给出 3-bit 量化在 512GB M3 Ultra 上的实测速度，读者可据此判断本地部署门槛。
主题
查看原帖Muse Spark Open -- 权重今日发布 -- 得益于与 @johnternus 和 Apple 的合作，在新款 Mac Studios 上运行出色。https://t.co/U2wJNrKBOg
查看原文
Muse Spark Open -- weights releasing today -- runs great on new Mac Studios thanks to work with @johnternus and Apple. https://t.co/U2wJNrKBOg
正文 · AI 翻译
Meta在Huggingface上发布了Muse Spark Open的权重，这是一个拥有816B参数的模型，专为编程和智能体工作而构建。
开源版本与Muse Spark 1.3共享同一基础模型，并额外进行了安全后训练，以抵御在没有系统护栏的情况下作为独立模型被滥用，这逆转了Meta自4月以来首个专有、闭权重前沿模型的策略。
其62层中的每一层都包含256个专家网络，并将每个token路由通过其中8个，因此部署需要816B参数模型的内存，但以42B模型的速度运行。
这一存储成本解释了与Apple的合作，因为M5 Ultra提供1.2 TB/s的统一内存带宽，而一台Mac Studio最多可搭载512GB。
在512GB M3 Ultra上测试的3-bit量化版本占用约344 GB，在短提示下生成速度约为21 tok/s。