为 Mastra Agent 推出私有模型网关

可保持数据私密、成本固定的自托管模型。

Paul Scanlon·

2026年11月12日

·

阅读时长 3 分钟

你现在可以使用 自定义模型网关将 Agent 请求路由到自托管的开放权重模型。为网关指定一个自定义 ID,然后在 Agent 配置中将其用作 model 前缀: private/ollama/gpt-oss:20b.

Studio 中的一个研究 Agent 通过该网关在 gpt-oss:20b 上运行,同时 ollama serve 日志显示每个请求都在本地到达,随后该 Agent 给出了一份在 AWS 上部署该模型的指南。

使用托管提供商服务可能会使 HIPAA 或 GDPR 合规变得复杂(除非已签订数据保留协议)。自托管消除了第三方,可防止敏感数据到达你网络之外的模型。

成本也可能降低,因为你只需为基础设施付费,而不是为 token 付费,并且你可以控制 Agent 可以使用哪些模型。

要从 Studio 的模型选择器中隐藏外部提供商,请在 AUTO_BLOCK_EXTERNAL_PROVIDERS=true 中设置 .env ,这样用户就只能从你自己的网关中选择模型。

开始使用

安装最新的 @mastra/core 以及适用于你网关 API 的 AI SDK 提供商:

终端
npm install @mastra/core@latest @ai-sdk/openai-compatible@3.0.84
注意需要 @mastra/core@1.82.0 或更高版本,添加于 PR #18153.

运行本地模型

此示例使用 Ollama 和 gpt-oss:20b. 运行 ollama serve 会启动服务器,并在以下地址提供兼容 OpenAI 的 API: http://localhost:11434/v1:

终端
brew install ollama
ollama pull gpt-oss:20b
ollama serve

创建网关

创建一个网关,将每次模型调用都发送到本地 Ollama 服务器:

  • id: 模型 ID 前缀,例如 private 中的 private/ollama/gpt-oss:20b.
  • name: 网关的显示名称。
  • fetchProviders(): 返回网关提供的提供商和模型,列在 Studio 的模型选择器中。
  • buildUrl(): 返回模型调用的基础 URL。
  • getApiKey(): 返回每次调用时发送的 API 密钥(本地模型不需要)。
  • resolveLanguageModel(): 为每次调用创建语言模型。
src/mastra/gateways/private-gateway.ts
import { createOpenAICompatible } from "@ai-sdk/openai-compatible";
import type { MastraModelGatewayInterface } from "@mastra/core/llm";
 
export const privateGateway: MastraModelGatewayInterface = {
  id: "private",
  name: "Private Gateway",
  fetchProviders: async () => {
    return {
      ollama: {
        name: "Ollama",
        models: ["gpt-oss:20b"],
        apiKeyEnvVar: [],
        gateway: "private",
        url: "http://localhost:11434/v1"
      }
    };
  },
  buildUrl: () => {
    return "http://localhost:11434/v1";
  },
  getApiKey: async () => {
    return "";
  },
  resolveLanguageModel: ({ modelId, providerId, apiKey }) => {
    return createOpenAICompatible({
      name: providerId,
      apiKey,
      baseURL: "http://localhost:11434/v1"
    }).chatModel(modelId);
  }
};

注册网关

将网关添加到你的 Mastra 实例:

src/mastra/index.ts
export const mastra = new Mastra({
  // ...
  gateways: { privateGateway }
});

使用模型

通过以下方式引用模型 [gatewayId]/[provider]/[model]:

src/mastra/agents/research-agent.ts
export const researchAgent = new Agent({
  id: "research-agent",
  name: "Research Agent",
  instructions: /* ... */,
  model: "private/ollama/gpt-oss:20b"
});

在 Studio 中隐藏外部提供商

将变量添加到你的 .env:

.env
AUTO_BLOCK_EXTERNAL_PROVIDERS=true

有关更多信息和完整配置选项,请参阅:

分享到 X 或 LinkedInPaul ScanlonPaul Scanlon技术产品营销经理

Paul Scanlon 在 Mastra 负责开发者教育与产品营销之间的工作。此前,他曾在 Neon 担任技术产品营销经理,并在 Gatsby 从事开发者关系工作,负责创建教育内容和开发者体验。

Paul Scanlon 的所有文章 →

更多关于模型与路由

所有文章博客2026年8月18日

Mastra 中的 AI SDK v7 支持

图像生成、推理控制、多模态提示、流处理器和 UI 辅助工具。

文章2026年8月16日

LLM 与生成式 AI:关键差异及如何选择

LLM 与生成式 AI 解析:它们在范围、架构和用例上的差异,以及如何为你的应用选择正确的方法。

文章2026年8月15日

生成式 AI 示例:各行业的真实应用

了解医疗、金融、零售和软件领域的生成式 AI 示例,以及开发者如何构建、评估和发布生成式 AI 应用。