- Claude Platform 的 OpenTelemetry 现已进入公开测试阶段。原生 OTel 导出将 Anthropic SDK、Messages API 和 Claude Managed Agents 接入 Databricks MLflow，追踪数据存储在 Unity Catalog 中。
- 使用 trace 分析和 MLflow Issues 来调查错误答案，并发现跨运行和会话中重复的工具调用。
- 与领域专家一起审查答案，然后用相同的测试用例运行评估，以衡量改动是否提升了质量并减少了不必要的工作。
智能体可能返回看似合理的答案，却遗漏了重要发现，或反复读取同一来源。仅凭答案无法解释原因。追踪数据展示了其背后的模型调用和工具调用，因此你可以调查失败原因、找到相关案例，并测试改动是否有帮助。
Databricks MLflow 现已成为 Claude Platform 原生 OpenTelemetry 导出的 受支持目标 。借助向 Databricks MLflow 的原生导出，使用 Anthropic SDK、Messages API 和 Managed Agents 的开发者可以将原生追踪数据发送到 Databricks，并使用 MLflow 调试其智能体并评估改动。
原生 OpenTelemetry，统一接入 Databricks
MLflow Tracing 构建于 OpenTelemetry 之上，这是一个用于收集和导出服务信号的开源标准。一条 trace 将智能体的执行记录为一个个独立的步骤，称为 span，例如模型请求和工具调用。Claude 的原生插桩会生成这些 span，并使用 OpenTelemetry Protocol 将其导出。
Databricks 通过 Zerobus Ingest 接收这些 span，并将其存储在关联到某个 MLflow 实验的 Unity Catalog 表中。你可以使用相同的调试和评估工具，将 Claude 的 trace 与其他已插桩服务的 trace 一并查看。Unity Catalog 控制对数据的访问，你还可以用 SQL 查询这些数据。借助 Zerobus 与 Unity Catalog 的结合，企业可以获得两项关键优势：在高 QPS 下实现低延迟的 trace 摄取，以及对存储在智能体 trace 中的敏感数据进行访问治理的能力。
3 步连接 Claude
1. 创建实验
在 Databricks 中，打开 实验 标签页，然后点击 创建实验。在 Trace 存储位置下，保持选中 Unity Catalog 。选择一个现有的 catalog 和 schema。这会创建新的 MLflow 实验，并关联到存储 OpenTelemetry trace 的 Unity Catalog 表。
详细的设置指南涵盖了权限和 SQL 仓库要求。 详细设置指南 涵盖权限和 SQL 仓库要求。
2. 配置原生导出
使用你的工作区 ID、区域和 spans 表来设置 Databricks 目标。 Zerobus 连接指南 说明了如何获取表级作用域的 OAuth 令牌。
新的原生 OTel 集成覆盖 Anthropic SDK、Messages API 和 Managed Agents。对于 Anthropic SDK，请安装以下软件包，并配置 OTel tracer provider 和 exporter，以便为 Anthropic SDK 调用创建 span。请遵循 Claude Platform OpenTelemetry 指南 从 Messages API 和 Claude Managed Agent 向你的 Databricks 目标发送 trace。
Claude Code 和 Claude Agent SDK 也支持 OpenTelemetry。要将它们的 trace 发送到同一目标，请在启动应用程序前设置以下附加变量：
3. 运行任务并检查 trace
运行你的 Claude agent，然后在实验中打开 Traces。打开一条 trace，以检查其模型调用、工具活动、时序以及捕获的输入和输出。请注意，只有当你通过将 content mode 设置为“full”来选择加入时，输入和输出才会被捕获。 content mode “full”时才会被捕获。
使用 trace 调试并改进你的 Claude agent
一旦 Claude trace 进入 MLflow，你就可以在整个开发过程中使用它们。一条 trace 既提供了用于调试的记录，也提供了供专家审查的案例，还为评估下一版 agent 提供了依据。
调试答案及其 trace
一个意外的答案可能源于缺失的上下文、失败的工具调用，或模型使用工具结果的方式。MLflow 的 分析 trace 操作会将 Genie Code 深入调查。它会检查记录的执行过程，并帮助解释问题出在哪里。
针对缺失的上下文、失败的 tool 调用或开销较大的步骤提出后续问题，以检查解释背后的相关上下文。这有助于你决定是修改指令、改进 tool，还是更改 agent 可用的上下文。
跨 trace 和会话查找反复出现的问题
MLflow Issues（Beta 版可用）使用 Genie Code 以识别反复出现的质量和运维问题。它会检查响应、工具调用、时序、错误和评估结果，然后将相关发现分组，并附上指向支持性 trace 的链接。示例包括浪费 token 的重复搜索、导致工具失败的缺失参数，以及不符合所需格式的响应。
你可以安排检测任务，让这项分析在新 trace 到达时持续运行。团队可以选择运行频率，使用元数据或标签聚焦特定流量，并自定义要查找的问题类型。修复后，问题监控器可以跟踪该问题是否再次出现。MLflow 会为该问题创建一个评分器，评估最近的 trace 以建立基线，并对新 trace 的样本进行评分，以衡量其随时间出现的频率。
让领域专家审查这些追踪记录
有些质量判断需要领域知识。 MLflow 审查队列 通过精选的 trace 和针对该 agent 定制的问题，将这一专业知识引入开发流程。
审查人员可以评估记录下来的请求和响应，指出缺失的内容，并提供预期的答案。他们的反馈有助于开发者改进 agent，并为后续评估建立参考答案。
用同一批测试用例评估改动效果
对指令、工具或技能所做的改动可能修复一个故障，同时引入另一个故障。trace 还让 agent 行为变得可度量。运行 MLflow Agent 评估 Claude trace 上运行，以测试对提示词、技能、工具的改动是改进还是使 agent 退化。
例如，以下代码会执行一个 LLM 评判器，以检查某个 agent 是否发起了冗余的工具调用。
当原始 agent 和修订后的 agent 针对相同的用例运行时，可以使用相同的评判器来比较它们的评估运行结果。点击 比较 在 MLflow UI 中并排查看评分和响应，并可借助底层 trace 解释剩余的失败案例。
同样的方法也适用于检查某个 agent 是否遵循了规定的工作流或使用了合适的工具。 用 MLflow 测试和优化 Claude Code 技能 展示了这些检查及其依据如何指导技能的改进。
了解更多并开始使用
以下资源介绍了如何将 Claude 连接到 Databricks MLflow，并在开发过程中使用其 trace：
- Claude OpenTelemetry 追踪指南：Anthropic SDK、Messages API 和 Claude Managed Agents 的原生 OpenTelemetry 导出配置。
- 在 Databricks 中使用 Unity Catalog 进行追踪：如果您是初次在 Databricks 中进行追踪，本指南将介绍实验设置、追踪数据存储和访问方式。
- 检测并监控 MLflow trace 中的问题：反复出现的故障模式、支持性追踪证据以及持续监控。
- 用 MLflow 评估 Claude Code 技能：行为评判器以及用于测试和改进技能的可重复流程。
第一个 CTA 条目在发布前仍需要专用的 Claude 集成指南 URL。
相关标签：在收件箱中获取最新文章
订阅我们的博客，最新文章将直接发送到您的收件箱。