AI News

llama.cpp and the ggml library reach version 1.0.0, with explicit API compatibility rules

IT Home · Artificial IntelligenceUpdated Nov 14 22:08

English text is being prepared.

AI summary

Developer Georgi Gerganov announced that the open-source inference project llama.cpp and the underlying machine learning engine ggml have reached library version 1.0.0, and clarified that major version numbers correspond to API or ABI incompatible changes, minor version numbers correspond to backward-compatible features and model support, and patch version numbers correspond to bug fixes that do not change the API. llama.cpp already supports more than 150 model architecture variants and mainstream speculative decoding methods, and the team has also used Hugging Face's HF Buckets and HF Jobs to scale CI, while expanding self-hosted testing coverage with support from NVIDIA, AMD, Qualcomm, Arm, IBM, and Intel hardware.

Why read this

AI score 66

The original text explains the version numbering rules for llama.cpp and ggml and the investment in cross-hardware testing, so readers can judge the upgrade boundaries for dependents.

Topics

Tags

Body

本地推理引擎 llama.cpp 1.0.0 史诗级更新:支持超 150 种模型架构,断网也能满血跑大模型

2026-11-14 08:14 IT之家 - 故渊

IT之家 11 月 14 日消息,开发者 Georgi Gerganov(X 账号为 @ggerganov)昨日(11 月 13 日)在 X 平台发布推文,宣布开源 AI 推理项目 llama.cpp 与底层机器学习引擎 ggml 的库版本迈入 1.0.0。

IT之家查询公开资料,Gerganov 是开源项目 llama.cpp 的创建者,也是 ggml、whisper.cpp 等本地 AI 基础软件的重要开发者。他在个人 X 简介中将自己标注为 Hugging Face 工程师,GitHub 资料所在地为保加利亚索非亚。

llama.cpp 是一个主要用 C/C++ 编写的开源 AI 推理项目,核心作用是让大语言模型在个人电脑、服务器等不同硬件上运行。它既可以用于本地部署,也可以用于云端服务,目标是降低部署复杂度,并充分利用设备的计算能力。

本次更新最大的亮点就是明确接口兼容性规则:

项目库定位

llama.cpplibllamaC/C++ 大模型推理库

ggmllibggml底层机器学习张量库

两者今后都会通过主版本号升级,明确标记 API 或 ABI 不兼容的变化,让依赖这些库的应用能够识别升级边界。对于开发者而言,可以从版本号上,更容易判断某次升级是否可能要求自己的应用同步修改。官方给出的版本规则是:

版本位什么情况下更新

MAJOR,例如 1.x.x → 2.0.0./include 中公共 C API 出现破坏性变更;公告同时明确,API / ABI 不兼容会通过主版本升级体现

MINOR,例如 1.0.x → 1.1.0向后兼容的功能、后端更新、模型支持或 API 新增

PATCH,例如 1.0.0 → 1.0.1不改变 API 的 bug 修复

在工程质量方面,官方公告称为了支撑持续加快的开发节奏,团队强调了三项投入:

使用 Hugging Face 的 HF Buckets、HF Jobs 扩展 CI 基础设施。

在 NVIDIA、AMD、Qualcomm、Arm、IBM、Intel 的硬件支持下,持续增加覆盖主要硬件平台的自托管测试运行器。

在开发流程中审慎使用 LLM,同时继续把代码质量、架构控制和对实现细节的理解放在首位。

在后端与模型支持方面,ggml 通过专用后端支持不同硬件;每个后端都可以编译为动态库,并按需在运行时加载。

llama.cpp 已支持超过 150 种模型架构变体及主流推测解码方法。团队还将继续加强自动化测试基础设施,并借助英伟达、AMD、高通、Arm、IBM 和英特尔提供的硬件支持,扩大跨平台测试覆盖。

Source

IT Home · Artificial Intelligence