AI News

自托管 LLM 与云 API 之间如何路由:n8n 博客指南

n8n Blog更新于 11月16日 18:45

Self-Hosted LLM vs. Cloud APIs: How to Route Between Them – n8n Blog

AI 导读

n8n 博客给出在自托管 LLM 与云 API 之间按请求路由的混合方案,兼顾数据驻留与云端能力。文中列出可自托管的开放权重模型及最低显存:Phi-4-mini 3.8B 约 8 GB、Qwen3 8B 约 8 GB、Gemma 3 12B 约 12–16 GB(量化)、DeepSeek R1-Distill-Qwen-14B 约 12–16 GB(量化)、Mistral Small 3.1 24B 约 12–16 GB(4-bit 量化)、Llama 4 Scout 109B 总参数/17B 激活约 55–80 GB。选择依据包括隐私合规、成本与盈亏平衡用量。

正文 · AI 翻译

Hero:布局和类与首页 hero 相同(main.css)

文章内容

自托管 LLM 可以让你更好地控制数据存放位置。如果模型和处理其请求的工作流都运行在你控制的基建设施上,提示词就可以留在你的网络内部,而不必经过外部提供商。

对于敏感工作负载,自托管可能很有吸引力。但它也需要硬件、维护和运维开销,而这些大多由基于云的 API 承担。

混合方案提供了一种在本地或云端路由请求的方式,而无需管理两套彼此割裂的系统。

最适合自托管的 LLM 开放权重模型

开放权重模型会将其训练好的模型权重提供给你下载,并在你自己的基建设施上运行。

先看看你希望模型完成哪些任务,并通过 OpenRouter 或其他提供商试用开放权重模型。一旦你找到能可靠处理任务的最小模型,就可以将其部署到你的基建设施上。较小的模型通常需要更少算力、响应更快,因此当额外能力能可衡量地改善你的工作流结果时,再提升模型规模才合理。

Params 是 parameters(参数)的缩写,用于衡量模型规模。例如,一个 24B 模型约有 240 亿个学习参数。更大的模型可能能力更强,但也需要更多算力和内存。

最低显存是运行该模型所需的大致最低 GPU 内存量。如果模型无法装入你可用的显存,你就需要更小的模型、该模型的量化版本,或更强的硬件来支持它。

以下是几个可用于自托管的开放权重模型,以及它们的参数和最低推荐显存。

滚动查看更多 ➔

Phi-4-mini 3.8B 约 8 GB 硬件有限时,用于本地助手和任务的轻量级起点

Qwen3 8B 8B 约 8 GB(8 位配置) 适用于聊天、编程和多语言工作负载的通用选项,不需要高端 GPU 硬件

Gemma 3 12B 12B 约 12–16 GB(量化时) 通用推理、摘要,以及理解文本和图像等多模态任务

DeepSeek R1-Distill-Qwen-14B 14B 约 12-16 GB(量化时) 当你需要比更小的本地模型更强能力、但不想运行大得多的模型时,适合推理密集型任务

Mistral Small 3.1 24B 约 12–16 GB(4 位量化),约 44–55 GB(未量化) 要求更高的本地应用,包括函数调用、编程、长篇文档和多模态工作流

Llama 4 Scout 总参数 109B,激活 17B 约 55–80 GB 高端私有 LLM 部署、大文档分析和多模态工作负载

运行开放权重模型需要什么

选择开放权重模型后,检查你的硬件和推理环境能否在日常工作流中运行它。显存决定了 GPU 能处理的上限,而量化可减少加载模型所需的内存。

标准的自托管 LLM 技术栈

自托管 LLM 设置通常由五层协同工作:

硬件:GPU 提供显存和算力,决定你能运行哪些模型以及响应速度有多快。

模型:你为任务选择的 LLM 和开放权重模型。

推理运行时:Ollama 或 vLLM 等软件加载模型,并将其暴露给其他应用,通常通过 API。

检索层:如果模型需要私有或领域特定信息,检索增强生成(RAG)可让系统搜索外部知识源以获取相关信息,并在生成答案前将该上下文添加到模型请求中。

应用层:向模型发送请求并使用响应的聊天界面、API 或工作流。

显存与量化

模型权重在模型加载用于推理时需要显存。当权重和运行时需求能装入 GPU 内存时,GPU 就可以执行相关计算,而不必依赖较慢的系统内存。如果装不下,推理引擎可能会将数据或计算卸载到系统内存或 CPU,这会降低性能。

量化通过用更少的位表示模型权重来减少所需内存。这意味着你可以在同一块 GPU 上运行更大的模型。适度量化可以保留模型输出质量的大部分,但激进压缩可能影响数值推理等复杂任务。

自托管与云托管对比说明

你可以在本地运行 LLM,但这并不意味着每个请求都应该这样处理。有些工作负载可能受益于将处理保留在你的基建设施内,但另一些可能需要云提供商的规模或能力。

混合设置让你根据几个因素,为每种请求类型选择最佳路径。

隐私与合规要求

AI 系统可能处理敏感或受监管的数据,你的组织可能对数据可在何处处理或传输有法律、合同或内部限制。例如,GDPR 第五章规定了向第三国或国际组织传输个人数据的条件。

在本地运行模型可以更容易满足数据驻留合规要求,因为你可以控制处理发生的位置。但自托管并不会让系统自动合规,你仍需要围绕访问、日志记录和存储设置防护措施。一些云托管模型(尤其是提供企业级 SLA 的模型)可能具备更强的访问控制和其他防护机制。

用于帮助决定使用哪种 LLM(本地还是云端)的示意图

成本与盈亏平衡用量

云 API 通常按使用量收费,token 越多,账单金额越大。采用自托管时,你需要为硬件和运维人员付费,并将这些成本分摊到系统处理的所有请求上。

盈亏平衡点是指运行自有配置的总成本低于使用云 API 成本的那个点。如果你的用量较低或不可预测,使用云可能更经济。但如果你处理大量且稳定的请求,自托管可能是你所在组织的更好选择。💡如果你使用 LLM 进行批处理,这里还有一个实用建议。你可以租用像 runpod 这样由 GPU 驱动的 VPS,并只在需要处理数据时运行它。这样既能确保相对的数据隐私,又能降低成本,因为 VPS 只在必要时运行。

延迟与前沿能力

如果你有合适的硬件,本地 LLM 模型可以提供可预测的延迟。它还避免了到外部提供商的网络往返。但本地推理并不总是更快。在受限硬件上运行的大型模型可能比优化过的云服务慢得多。

云提供商可以提供高度优化的基础设施,并让你访问前沿模型,这些模型是目前可用于更复杂推理任务的最强模型。如果某项任务需要这种额外能力,那么前沿模型增加的延迟或许值得将其发送到云模型处理。

以下是自托管 LLM 与云 API 之间的主要区别。

滚动查看更多 ➔

自托管 LLM 云 API

隐私 对系统在何处处理和处理数据拥有更大控制权 外部提供商根据其服务与处理条款处理数据

成本 更高的固定基础设施和运营成本 基于用量或 token

延迟 在本地容量充足时可预测 取决于网络、提供商容量和速率限制

前沿能力 受限于你能部署和运行的模型 更容易访问最新的领先模型

维护 由内部团队管理 主要由提供商处理

在 n8n 中在本地和基于云的 LLM 之间路由

一旦你决定了哪些请求在本地运行、哪些应发送到云端,你仍然需要一种可靠的方式来为每个请求应用规则。你可以将这套逻辑硬编码到各个应用中,但随着你添加新模型和规则,这会变得越来越难以检查和更新。

这正是 n8n 的用武之地。n8n 是一个源码可用的自动化平台,工程团队可以在其中创建 AI 代理和代理式工作流。你还可以在同一工作流中连接本地和基于云的模型,并使用路由逻辑根据工作负载类型、复杂度或数据敏感性来决定每个请求走哪条路径。

这就是一个基本混合工作流的样子。

决定由哪些信息驱动路由:尽可能使用你已有的信息,例如敏感性标记、任务类型、请求量或复杂度评分。

连接本地路径:添加 Ollama Chat Model 节点,并使用你实例的 Base URL 创建 Ollama 凭据。如果你的工作流需要一个能使用工具的代理,你可以将聊天模型连接到 AI Agent 节点,该节点会使用模型来决定采取什么操作。

添加云端路径:为你想要使用的云提供商添加聊天模型节点,例如 OpenAI Chat Model 或 Anthropic Chat Model 节点。这为工作流提供了第二条路径,用于需要云处理的任务。

选择如何路由请求:当一个 AI 代理或链应根据你定义的规则使用不同的语言模型时,使用 Model Selector 节点。它会按顺序检查这些规则,并将第一个匹配的模型提供给同一个代理或链。使用 If 节点将更广泛的工作流拆分为两个独立分支,或在你需要多个具有不同下游步骤的分支时使用 Switch 节点。

定义规则:按任务类型、复杂度或数据敏感性路由请求。在将请求发送到云模型之前应用数据敏感性检查。如果代理需要检查敏感内容以确定适当的路由,请先在本地运行检查。

测试两条路径:让具有代表性的本地和云端请求通过工作流运行,并检查执行情况,以确认每条规则都经过预期的模型。加入一个敏感测试用例,以验证受限数据绝不会到达云端分支。

一个示例工作流:它接收 webhook 负载,并根据请求来源在本地和云 API 模型之间切换。对于云 API 分支,一个小型分类器模型会评估请求复杂度,以便 AI Agent 节点可以使用最合适的 LLM

使用 n8n 保持你的 LLM 设置灵活

随着模型、工作流需求和成本规模的变化,混合设置为你留出了调整自托管 LLM 策略的空间。你不必把所有工作负载都提交给单一环境,而是可以根据不同请求随时间调整分配,并保持周围的

使用 n8n 保持你的 LLM 设置灵活

今天就从云端路由开始,并随着需求演变添加本地模型

免费试用 n8n Cloud

与我们分享

其他助你上手的指南

有志者,事竟成,工作流早已就绪

来源

n8n Blog