Apple 发布 MLX 新版本支持 Mac Studio 本地与分布式大模型推理
2026年10月16日,Apple Machine Learning Research 发布最新版本 MLX,支持在 Mac Studio 上本地及分布式推理大语言模型。据其介绍,该版本借助 macOS 26.2 的 RDMA over Thunderbolt 5 驱动和 MLX v0.30.1 起的 jaccl 通信集合实现多机分布式推理;在四台 M5 Ultra Mac Studio 上,816B 参数的 Muse Spark Open 以 NVFP4 精度生成速度超过 36 tokens/s;单机上 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍,生成速度提升 1.6 倍。文中还给出 mlx_lm.benchmark、mlx.launch 和 mlx_lm.server 的命令示例,并说明可用 OpenCode 等工具接入本地 LLM 服务。同日另有报道称,Apple 与 Meta 合作使 Muse Spark Open 可在两台或四台 Mac Studio 上本地运行并完成智能体任务,并提到 M5 Ultra 集成 GPU 每台可用最多 512 GB
2026年10月16日,Apple Machine Learning Research 发布最新版本 MLX,支持在 Mac Studio 上本地及分布式推理大语言模型。据其介绍,该版本借助 macOS 26.2 的 RDMA over Thunderbolt 5 驱动和 MLX v0.30.1 起的 jaccl 通信集合实现多机分布式推理;在四台 M5 Ultra Mac Studio 上,816B 参数的 Muse Spark Open 以 NVFP4 精度生成速度超过 36 tokens/s;单机上 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍,生成速度提升 1.6 倍。文中还给出 mlx lm.benchmark、mlx.launch 和 mlx lm.server 的命令示例,并说明可用 OpenCode 等工具接入本地 LLM 服务。同日另有报道称,Apple 与 Meta 合作使 Muse Spark Open 可在两台或四台 Mac Studio 上本地运行并完成智能体任务,并提到 M5 Ultra 集成 GPU 每台可用最多 512 GB
匹配字段摘要