可保持数据私密、成本固定的自托管模型。
Paul Scanlon·2026年11月12日
·阅读时长 3 分钟
你现在可以使用 自定义模型网关将 Agent 请求路由到自托管的开放权重模型。为网关指定一个自定义 ID,然后在 Agent 配置中将其用作 model 前缀: private/ollama/gpt-oss:20b.
使用托管提供商服务可能会使 HIPAA 或 GDPR 合规变得复杂(除非已签订数据保留协议)。自托管消除了第三方,可防止敏感数据到达你网络之外的模型。
成本也可能降低,因为你只需为基础设施付费,而不是为 token 付费,并且你可以控制 Agent 可以使用哪些模型。
要从 Studio 的模型选择器中隐藏外部提供商,请在 AUTO_BLOCK_EXTERNAL_PROVIDERS=true 中设置 .env ,这样用户就只能从你自己的网关中选择模型。
开始使用
安装最新的 @mastra/core 以及适用于你网关 API 的 AI SDK 提供商:
npm install @mastra/core@latest @ai-sdk/openai-compatible@3.0.84@mastra/core@1.82.0 或更高版本,添加于 PR #18153.
运行本地模型
此示例使用 Ollama 和 gpt-oss:20b. 运行 ollama serve 会启动服务器,并在以下地址提供兼容 OpenAI 的 API: http://localhost:11434/v1:
brew install ollama
ollama pull gpt-oss:20b
ollama serve创建网关
创建一个网关,将每次模型调用都发送到本地 Ollama 服务器:
id: 模型 ID 前缀,例如private中的private/ollama/gpt-oss:20b.name: 网关的显示名称。fetchProviders(): 返回网关提供的提供商和模型,列在 Studio 的模型选择器中。buildUrl(): 返回模型调用的基础 URL。getApiKey(): 返回每次调用时发送的 API 密钥(本地模型不需要)。resolveLanguageModel(): 为每次调用创建语言模型。
import { createOpenAICompatible } from "@ai-sdk/openai-compatible";
import type { MastraModelGatewayInterface } from "@mastra/core/llm";
export const privateGateway: MastraModelGatewayInterface = {
id: "private",
name: "Private Gateway",
fetchProviders: async () => {
return {
ollama: {
name: "Ollama",
models: ["gpt-oss:20b"],
apiKeyEnvVar: [],
gateway: "private",
url: "http://localhost:11434/v1"
}
};
},
buildUrl: () => {
return "http://localhost:11434/v1";
},
getApiKey: async () => {
return "";
},
resolveLanguageModel: ({ modelId, providerId, apiKey }) => {
return createOpenAICompatible({
name: providerId,
apiKey,
baseURL: "http://localhost:11434/v1"
}).chatModel(modelId);
}
};注册网关
将网关添加到你的 Mastra 实例:
export const mastra = new Mastra({
// ...
gateways: { privateGateway }
});使用模型
通过以下方式引用模型 [gatewayId]/[provider]/[model]:
export const researchAgent = new Agent({
id: "research-agent",
name: "Research Agent",
instructions: /* ... */,
model: "private/ollama/gpt-oss:20b"
});在 Studio 中隐藏外部提供商
将变量添加到你的 .env:
AUTO_BLOCK_EXTERNAL_PROVIDERS=true有关更多信息和完整配置选项,请参阅:
分享到 X 或 LinkedIn
Paul Scanlon技术产品营销经理Paul Scanlon 在 Mastra 负责开发者教育与产品营销之间的工作。此前,他曾在 Neon 担任技术产品营销经理,并在 Gatsby 从事开发者关系工作,负责创建教育内容和开发者体验。
Paul Scanlon 的所有文章 →更多关于模型与路由
所有文章博客2026年8月18日Mastra 中的 AI SDK v7 支持
图像生成、推理控制、多模态提示、流处理器和 UI 辅助工具。
文章2026年8月16日LLM 与生成式 AI:关键差异及如何选择
LLM 与生成式 AI 解析:它们在范围、架构和用例上的差异,以及如何为你的应用选择正确的方法。
文章2026年8月15日生成式 AI 示例:各行业的真实应用
了解医疗、金融、零售和软件领域的生成式 AI 示例,以及开发者如何构建、评估和发布生成式 AI 应用。