Apple 用 MLX 与 RDMA 在 Mac Studio 上本地及分布式推理大模型
Apple 介绍如何用最新版 MLX 在 Mac Studio 上运行大语言模型,并借助 macOS 26.2 的 RDMA over Thunderbolt 5 驱动和 MLX v0.30.1 起的 jaccl 通信集合实现多机分布式推理。在四台 M5 Ultra Mac Studio 上,816B 参数的 Muse Spark Open 以 NVFP4 精度生成超过 36 tokens/s;单机上 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍,生成速度提升 1.6 倍。文中还给出 mlx_lm.benchmark、mlx.launch 和 mlx_lm.server 的命令示例,并说明可用 OpenCode 等工具接入本地 LLM 服务。

igured to use that local LLM server: { "$schema": "https://opencode.ai/config.json", "model": "meta-models/Muse-Spark-Open-816B-A42B-NVFP4", "provider": { "mlx": { "npm": "@ai-sdk/openai-compatible", "name": "Local MLX", "options": { "baseURL": "http://127.0.0.1:8080/v1" }, "models": { "meta-models/Muse-Spark-Open-816B-A42B-NVFP4": { "name": "Muse Spark Open 816B (MLX)" } } } } } Many other local agentic AI experiences can be enabled through a similar approach. Conclusion Over the past year, we
匹配字段正文

