Mastra 推出 Mastra Observability 托管平台

开始使用 Mastra Observability

几分钟内为你的 Mastra 智能体添加原生追踪与评测

2026 年 10 月 21 日

阅读时长 5 分钟

花生酱配果冻，饼干配牛奶，如今又有了 Mastra 配 Mastra Observability！😏 这是天生一对，专为需要追踪、指标和评测的智能体而生，让你在它们上线后仍能持续改进。

Mastra Observability 是一个托管平台，可直接连接你的 Mastra 框架项目。它为你和你的团队提供一个统一的地方，查看智能体在生产环境中的运行情况、排查问题，并运行评测闭环来让它们变得更好，因此你无需再单独使用一个可观测性/评测平台。

工作原理如下：

连接你的项目

连接项目后，Mastra 会自动追踪你的智能体运行，让你了解用户如何与你的产品交互，并在出现问题时进行排查。

import { Mastra } from '@mastra/core/mastra';
import {
  Observability,
  MastraPlatformExporter,
  SensitiveDataFilter,
} from '@mastra/observability';
 
export const mastra = new Mastra({
  // Automatically trace every agent, workflow, and tool
  observability: new Observability({
    configs: {
      default: {
        serviceName: 'my-app',
        // Mastra batches traces and sends them to the platform
        // asynchronously in the background.
        exporters: [new MastraPlatformExporter()],
        // Redact sensitive fields before exporting traces
        spanOutputProcessors: [new SensitiveDataFilter()],
      },
    },
  }),
});

注意：首先，创建一个 Mastra 账户, 然后按照入门指南连接你的 Mastra 项目。

了解每一次智能体运行

搜索并筛选追踪记录，找到重要的运行，然后检查模型和工具调用，准确查看时间和 token 花在了哪里，以及它们的成本。

线程视图（如上图所示）将每次运行置于完整对话的上下文中。你和你的非技术团队成员可以从消息入手，在发现异常时深入查看其背后的步骤——无需先解读原始的 span 树。

监控性能、成本和正确性

对一部分追踪记录运行在线评分器，自动跟踪正确性，然后在仪表盘上随时间观察趋势，同时查看你关心的性能和成本指标。

构建评测闭环

邀请你的团队审阅对话、标注追踪记录，并为你的评测闭环.

整理数据集。针对数据集运行实验，在质量、成本和延迟方面比较智能体的不同版本。

在这里，我正在比较结果，看看能否降级到 nano 以节省成本而不降低性能（剧透：不能！）

用 AI 改进智能体

随着智能体运行框架承担更大的任务并产生更长的运行，需要理解的追踪数据也多了很多。

Mastra 的查询追踪 CLI 为你的编码智能体提供了一种方式，去调查缓慢、昂贵或失败的运行，并帮助修复底层问题。

追踪智能（私有测试版）会揭示反复出现的失败模式，帮助你在噪声中找到信号。它按目标、行为、情绪和结果对追踪记录进行分组，让你可以优先处理修复，并为评测挑选示例。

注意：你可以申请访问追踪智能。

用 Gates 和 Verdicts 在 CI 中捕获回归

评测不必只存在于仪表盘中。在代码中运行它们，就能在发布前于 CI/CD 中捕获回归。 Gates 和 Verdicts 将行为检查和评分器阈值转化为通过/失败的判定，你的测试套件可以据此断言。

import { runEvals } from '@mastra/core/evals';
 
try {
  // Check your agent against your quality requirements
  const result = await runEvals({
    target: refundPolicyAgent,
    data,
    scorers: [{ scorer: refundCorrectnessScorer, threshold: 1 }],
  });
 
  console.log('Refund check:', result.verdict);
  if (result.verdict !== 'passed') {
    process.exitCode = 1;
  }
} catch (error) {
  console.error('Refund check could not complete:', error);
  process.exitCode = 1;
}

可选地将其转化为 GitHub Action，这样每个拉取请求都会自动运行你的评测，并将判定结果显示为一项检查，帮助你在合并前捕获回归。