Hugging Face 与 OpenRouter 合作,语言模型请求改由 OpenRouter 路由
Hugging Face and OpenRouter join forces to make open-weight models easy to run
Hugging Face 与 OpenRouter 合作,语言模型请求改经 OpenRouter 路由,并按其价格计费到 Hugging Face 账户。新路由按价格、速度和可靠性综合选择供应商,失败请求会在同一次调用中换供应商重试,OpenRouter 测得容量错误下降 46%、首 token 时间改善 16.9%、吞吐提升 16.3%。同时不再支持为这些模型使用自有供应商 API key,图像、视频和音频生成仍走 Hugging Face Inference Providers。
推荐理由
精选AI 评分 68
原文给出路由改造后的错误率与延迟变化,并说明开源权重模型在成本上的取舍空间。
主题
正文 · AI 翻译
用你已经在用的工具运行它们
该路由器为所有聊天模型支持 OpenAI 的 Chat Completions 和 Responses API 以及 Anthropic 的 Messages API,无论其背后的提供商是谁。选择你的编码代理或 SDK 以及一个模型,然后复制步骤,或者将整个设置作为提示词复制给你的代理:
同一个 Hugging Face token 还能让你通过 Storage Buckets 获得存储、通过 Jobs 获得计算、通过 Inference Endpoints 获得专用推理。PRO、Team 和 Enterprise 套餐包含每月用于计算和推理的额度。
开放权重模型的使用情况
在 OpenRouter 上,开放权重模型所占的 token 服务比例从 2025 年 10 月的 26.8% 升至 2026 年 9 月底的 71.7%,此前在 7 月曾达到 77.5% 的峰值(OpenRouter,2026 年 10 月)。同一时期,开放权重模型的每周调用量增长了 60 多倍,而闭源模型的增长接近十倍。本周,OpenRouter 上使用最多的模型是一个开放权重模型 DeepSeek V4.1 Flash 1017,共处理 59.2 万亿个 token(排名)。
开放权重模型的平均成本约为闭源模型的四分之一:每百万输入 token 0.28 美元、每百万输出 token 1.62 美元,而闭源模型分别为 1.27 美元和 6.36 美元。
最好的开放权重模型在最难的基准测试上仍落后于最好的专有模型。在 Artificial Analysis Intelligence Index 上,最好的开放权重模型 Kimi K3.1 Pro 得分为 46,而 Claude Fable 5.2 为 65,但每个任务的成本约为后者的七分之一(3.68 美元对 26.54 美元)。对许多工作负载来说,这种取舍是值得的。
路由由 OpenRouter 提供支持
OpenRouter 每月向超过 1000 万用户提供超过 800 万亿个 token,涵盖来自 80 多家提供商的 600 多个模型。其路由基于对所有这些流量中每个提供商的实时测量。
OpenRouter 最近重建了其提供商路由:不再只关注最低标价,而是将每个请求发送到价格、速度和可靠性综合表现最佳的提供商。
当某个提供商变慢或开始出现故障时,流量会从它那里转移开,直到它恢复;而一次失败的尝试会在同一次调用中,在下一个最佳提供商上重试。在 OpenRouter 的测量中,新路由将容量错误减少了 46%,并将首 token 时间改善了 16.9%,吞吐量提升了 16.3%。
此前,Inference Providers 会为你的请求选择一个提供商,如果它失败就返回其错误。现在,请求会在另一个提供商上重试。你仍然可以通过在模型 id 后加后缀来选择策略或提供商:
路由还会感知缓存:对话会停留在持有其提示缓存的提供商上。为了明确这一点,请在 X-HF-Session-Id 请求头中为每个对话发送一个稳定的 UUID(参见提示缓存指南)。
价格不变:你按提供商的价格支付 Hugging Face 账单,Hugging Face 不会在此基础上加价。PRO 用户每月可获得 2 美元额度,Team 和 Enterprise 组织则按每个席位 2 美元计算。详情请参阅定价与计费。
图像、视频和音频生成
图像、视频和音频生成仍与以往完全一样,直接通过 Hugging Face Inference Providers 进行,不经过 OpenRouter。你可以继续使用相同的 token 和 API,并访问数以万计的 LoRA。
查看你的请求去向
在模型页面上,你可以直接在小组件中与模型对话。两个新标签页展示了其背后的情况:Providers 列出了 OpenRouter 可以将该模型路由到的所有提供商,以及它们过去 24 小时的输入和输出价格、速度和正常运行时间;Metrics 则展示了其中最优的价格、吞吐量、首 token 时间、上下文长度和正常运行时间:
你的用量概览会按每个请求所流向的提供商来细分你的支出:
在你的设置中,你可以关闭任何你不想要的提供商:路由器绝不会将你的请求发送到那里。组织拥有相同的设置,并且这些设置适用于计费到该组织的每一个请求。
重大变更:自定义提供商密钥
现在,对语言模型的请求会经由 OpenRouter 路由,并计费到你的 Hugging Face 账户或组织,因此对于这些模型,你不能再使用自己的提供商 API 密钥。你仍然可以通过在模型 id 后加后缀(model:provider)来选择提供商,或在设置中关闭某些提供商,而你的代码保持不变。图像和视频提供商的自定义密钥仍然有效。
下一步
这是我们与 OpenRouter 合作的第一步。接下来:
将你的 OpenRouter 账户连接到 Hugging Face。
更多任务将经由 OpenRouter 路由。
来自我们博客的更多文章
+4