AI News

llama.cpp 与 ggml 发布 v1.0.0,确立 API 兼容性版本规则

Unite.AI更新于 11月14日 00:52

Llama.cpp V1.0.0 Sets API Stability Rules for Local AI Tools

AI 导读

ggml-org 于 11 月 13 日发布 llama.cpp v1.0.0,同时 ggml 张量库也达到 v1.0.0,两个项目今后通过主版本号变更提示源码级 API 与 ABI 不兼容。该版本移除了 35 个废弃的公开 API 函数,将 NextN 投机解码 API 从 llama-ext.h 提升到公开的 llama.h,并新增 FP8 KV cache、MoE 模型主机内存缓存等推理能力。llama-server 修复了 SSRF、CORS 和 DNS 重绑定问题,新增 OpenAI 兼容的 /v1/audio/speech 端点,官方发布标签仅在内部 ggml 副本与已发布 ggml 一致时创建。

推荐理由

AI 评分 70

原文梳理了 llama.cpp 与 ggml 同步发布 v1.0.0 后的版本规则和清理项,读者可据此判断升级是否会破坏现有集成。

主题

标签

正文 · AI 翻译

ggml-org 于 2026 年 11 月 13 日发布 llama.cpp v1.0.0,为这个 C/C++ 本地 AI 推理项目向下游开发者提供了正式的兼容性契约。底层的 ggml 张量库也达到了 v1.0.0,该项目报告称其支持超过 150 种模型架构变体以及所有主流的投机解码方法。

版本管理成为公开契约

两个项目今后都将通过主版本号的提升来提示未来源码级 API 不兼容以及 ABI(编译后应用程序所使用的二进制接口)的变化。破坏公开 C API 的变更会触发主版本号提升。向后兼容的功能、后端更新、模型支持和 API 新增会触发次版本号提升,而未改变 API 的缺陷修复则触发补丁版本号提升。

这一政策出台之际,该项目已历经 3.5 年的开发,且外界对其库接口的依赖日益加深。llama.cpp 通过 libllama 提供多模态 LLM 推理,而 ggml 则通过 libggml 提供机器学习张量层。该软件利用量化、优化后端和可移植的 C/C++ 代码,面向从消费级机器到企业级服务器的各类硬件。

这为软件包维护者和应用开发者提供了一个版本信号,用以评估升级是否会破坏其集成。维护者于 2026 年 8 月 7 日发布的发布流程讨论还增加了一项相关保障:只有当 llama.cpp 内部的 ggml 副本与已发布的 ggml 副本完全一致时,才会创建官方的 llama.cpp 发布标签。该条件旨在确保发布标签构建版本与系统级 ggml 安装保持兼容,这也是文档中所述的 Debian 和 Homebrew 软件包所采用的安排。

运行时、模型与服务器变更

llama.cpp v1.0.0 的发布说明在确立该契约的同时,还进行了大规模清理。该版本移除了其废弃的公开 API,包括 35 个废弃函数,同时将 NextN 投机解码 API 从扩展头文件 llama-ext.h 提升到公开的 llama.h 头文件中。此举将这一投机解码接口纳入新版本规则所覆盖的公开 API 范围之内。

新增的推理能力包括 OCP 8 位浮点(FP8)键值缓存、面向混合专家(MoE)模型且可配置 CPU 份额的主机内存缓存,以及从独立的 GGUF 分片加载外部 PLE 或 engram 数据。新增模型覆盖 Kimi-K3.1-Pro、Ripple 和 xing4_0 文本架构,drama-3 文本转语音,以及为 MageVL-Cowork 和 Kimi-K3.1 提供视觉支持。

对于 llama-server,该版本修复了服务端请求伪造、跨源资源共享和 DNS 重绑定问题,并将 HF_TOKEN 限制为仅可用于 huggingface.co 主机。当客户端断开连接或超时时,MCP 工具调用会被取消,并通知 MCP 服务器。新增的 OpenAI 兼容 /v1/audio/speech 端点扩展了服务器的音频接口。

重新设计的 Web 界面新增了命名聊天组和实时预览 Markdown 编辑器。移动端布局使用设备安全区域和全屏对话框,而 Android 聊天编辑器可以打开虚拟键盘。

硬件后端与发布基础设施

配套的 ggml v1.0.0 版本移除了废弃 API 和旧版 DIAG_MASK 操作,新增可配置的 YaRN 截断和 FP8 支持,并避免上传不会被读取的调度器输入。CUDA 和 Metal 获得了少行量化矩阵乘法以及 MoE 融合方面的工作。其他后端新增内容包括 Intel Vulkan 预填充 FlashAttention 内核、设备端 SYCL MoE 调度器、OpenCL 中分解的 Adreno FlashAttention、新的 WebGPU 内核以及扩展的 Hexagon 操作覆盖范围。

每个 ggml 后端都可以编译为动态库,并可选在运行时加载,从而使安装能够选择特定硬件的代码。预发布产物覆盖 Linux、macOS、Windows、Android 和 iOS,Docker、Debian、Homebrew、conda-forge、MacPorts、Winget 和 XCFramework 则提供额外的分发渠道,其平台覆盖范围各不相同。

为支持这一开发节奏,团队表示 Hugging Face Buckets 和 Jobs 正在为合入 master 分支的变更扩展持续集成能力。来自 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel 的硬件支持也在助力在主要硬件平台上部署更多自托管运行器。维护者还将 LLM 融入其开发周期,同时将代码质量、架构控制和实现细节的理解列为其优先事项。

对于下游项目而言,此次发布将兼容性变为这个快速演进的的开源库的一项明确开发义务。版本规则可以传达破坏性变更;扩展的 CI 和硬件运行器计划有助于判断常规发布在这些项目所使用的模型和硬件上是否仍然可靠。

来源

Unite.AI