Hugging Face 发布 AnyLanguageModel 1.0,统一 Apple 平台本地与托管模型调用
Hugging Face 发布 AnyLanguageModel 1.0,用同一套会话代码即可调用系统模型、llama.cpp、MLX、Core ML 的开放权重模型以及多家托管服务商。该版本让工具调用和引导生成覆盖所有服务商,支持在提示词中附带图片,并新增对 Anthropic Messages API、Gemini API、Ollama、Private Cloud Compute 和 Hugging Face Inference Providers 的支持。文中还列出 Gemma 4 E2B、LFM2.5 2.6B、Qwen3.8 27B 等当前下载量较高的模型及其量化后体积。
Responses,适用于任何具有兼容端点的服务商 Anthropic 的 Messages API,支持自适应思考和 effort 选项 Google 的 Gemini API Ollama Private Cloud Compute,在 OS 27 上 Hugging Face Inference Providers,以及通过自定义基础 URL 接入的其他 OpenAI 兼容端点,例如 OpenRouter 借助 Inference Providers,你可以使用因体积过大而无法在设备上运行的开放权重模型,且会话代码保持不变: 托管服务商享有与本地模型相同的功能:引导生成、带流式传输的工具调用,以及响应中的 token 用量。 推理内容现在也成为转录的一部分。当你切换服务商时,如果新服务商无法重放推理块,这些推理块会自动从请求中省略。 API 密钥来自闭包而非字符串,因此你的应用可以从自己的服务器获取短期令牌。README 说明了何时应让用户自带密钥,以及何时应通过代理路由请求。 AnyLanguageModel 也可在 Linux 上运行,因此同一套代码可用于服务器。 开放权重
匹配字段正文