人工智能

Amazon SageMaker 推出 AI 数据准备能力:为模型开发工作流构建高质量数据集

将生成式 AI 投入生产环境的团队都清楚,模型的好坏取决于其数据。正因如此,准备高质量的训练和评估数据是首要任务。微调开放权重模型、运行强化学习或构建评估套件,都依赖于准确、标注良好且能代表任务特征的数据。对于范围狭窄、定义明确的任务,在干净、任务特定的数据上定制的小模型,往往能以更低的单次推理成本,达到甚至超越经过提示调优的大型通用模型的准确率。

然而在实践中,准备这些数据往往是项目中最耗时的环节。标注样本稀缺或昂贵,隐私规则又限制了可用数据。重复数据、标签噪声和答案泄漏等质量问题,往往要等到训练结果令人失望时才被发现,而且每种训练技术都要求数据采用各自的格式。结果,数据科学家把数周时间花在整理数据上,而不是构建模型。

今天,我们为 Amazon SageMaker AI 扩展了新的 AI 数据准备能力,以支持模型开发工作流。你可以生成合成样本、评估和改进现有数据集,并通过 Python SDK API 和 AWS AI-ML agent skill 将专家反馈引入流程。你可以在自己的 notebook 或 IDE 中工作,所用规范和代码均可检查和修改。

无需手工搭建流水线即可准备数据

借助 AI 数据准备能力,你无需再拼凑标注工具、生成脚本和验证作业。每项能力都是一个独立的构建模块。你可以单独使用其中一项,也可以根据所需工作流将它们串联起来。

  • 自动标注: 从无标注数据集、小型标注种子集或完全无标签的情况下大规模标注数据。内置任务类型包括分类、命名实体识别、抽取式问答、序数评分和摘要,你也可以定义自定义任务。你只需用简短的标注规范描述任务,该规范会先在你自己的示例上验证,然后再对完整数据集进行标注。对于答案集合固定的任务(如分类、命名实体识别和抽取式问答),由多个模型组成的评审团对每一行进行标注,它们的一致程度即成为该行的置信度分数。
  • 人工复核: 低于置信度阈值的行会进入 Amazon SageMaker Studio 中的复核队列,该队列使用开源 Label Studio 社区版。外部领域专家可通过 SageMaker Studio 中合作伙伴应用框内的链接访问复核应用。复核者的修正会反馈到自动标注中,你还可以生成共识指标和标注报告。
  • 合成数据生成: 根据规范生成训练、评估和测试数据。你可以将自己的种子数据和文档作为输出依据,该服务会生成基于代码的数据生成流水线,你可以审查、修改、复用和扩展它。
  • 数据质量评估: 依据你自己的业务规则、内置指标和 LLM-as-a-judge 指标检查数据集。查找重复和近似重复数据,并发现你未曾想到要检查的问题,例如标签噪声或答案泄漏。
  • 数据转换: 为目标训练技术清理和重塑数据。用自然语言描述所需更改并自动生成代码,使用去重、合并、拆分和过滤等内置操作,或大规模运行你自己的 Python 代码。

你可以在自己惯用的环境中工作。直接使用 SageMaker Python SDK,或在 agent 工具包中为你的编码 agent 提供 AI-ML skill,让 agent 按照既定的数据科学最佳实践调用这些 API。你只需描述需求,agent 便会在 SageMaker Studio JupyterLab、Kiro 或你本地 IDE 中,配合你选择的编码助手,选择并运行相应的 SageMaker 能力。

对于构建专用模型的团队来说,最困难的部分往往是找到足够的任务特定数据。Cisco 旗下的 Splunk 在为其 Agent Observability 产品构建评估模型时就遇到了这一难题。

“对于 Splunk Agent Observability 而言,我们训练稳健的 GenAI Eval 模型的能力依赖于获取高质量、多样化的数据集,而这些数据集很难针对非常具体的任务进行整理。Amazon SageMaker AI 的合成数据生成数据准备能力切实帮助我们扩展了这些能力。我们能够可靠且快速地生成具有统计代表性的合成数据集,同时保留模型所依赖的底层模式。与 SageMaker 工作流其余部分的无缝集成意味着,我们的数据科学家和客户可以少花时间整理数据,多花时间构建模型,通过 Splunk 为企业创造真正的价值。”

— Yash Sheth,Splunk Agent Observability 工程总监

将各项能力从原始数据串联到训练

将这些能力组合使用时,价值会进一步放大。以下是一些常见模式:

构建黄金评估数据集:从一个小型种子集自动标注原始数据。高置信度的行会被自动接受,低置信度的行则交由人工复核者处理。他们的修正会改进下一轮标注,最终形成一个经过人工验证、值得信赖的数据集,用于对你的模型进行基准测试。

在一个工作流中完成从原始文档到训练模型的全部流程:

  1. 生成数据: 合成数据生成会基于你的文档和种子数据创建任务特定的样本。
  2. 转换数据: 数据转换会将数据重塑为你的训练技术所要求的格式,例如监督微调(SFT)、直接偏好优化(DPO)或强化学习(RL)。
  3. 验证数据: 数据质量评估会在你投入算力进行训练之前,检查数据集是否存在重复、泄漏和规则违规问题。
  4. 训练: 使用 SageMaker AI 模型定制功能进行训练。

工作原理

设想一个团队正在准备数据,用于评估代理式客户支持助手。其产品指南指出,恢复出厂设置会清除已保存的设置。该团队希望测试助手在回答重置相关问题时是否会保留这一警告。

一次完整的准备工作流程如下所示:

  1. 定义需求: 将产品指南作为上下文提供,并描述你需要的问题和参考答案。加入一项要求:关于恢复出厂设置的回答必须保留有关已保存设置的警告。审查与你的编码代理共同生成的规范。
  2. 生成并检查样本: 生成一小批数据,并对照指南检查这些记录。审查生成代码和检查代码。确认示例覆盖了预期的问题,且参考答案遵循源材料。
  3. 评估与审查: 运行数据质量评估并检查记录级发现。请主题专家审查模糊的回答或有争议的评估结果。利用结果和标注来请求改进建议。
  4. 应用更改并重复: 如果需求需要澄清,则修订规范;或转换数据集以解决重复等问题。在需要时生成更多示例,然后在用修订后的数据集评估助手之前重新评估该数据集。

此示例工作流程展示了各项能力如何协同配合。

掌控你的准备工作流程和数据

借助 AI-ML 技能,你可以用自然语言描述任务,而你的编码代理会帮助构建规范、准备代码并协调数据准备步骤。你可以打开这些产物,查看工作流程的配置方式并直接进行更改。

如果你更愿意自行调用 API,可使用 Python SDK API 从你自己的代码中调用各项单独能力。SDK API 以规范作为输入,因此我们建议在代理的帮助下创建规范。你可以将质量评估添加到现有流程中、为新任务生成数据,或组合多项操作。你可以选择项目所需的准备步骤,以及它们如何融入你的模型定制和评估流程。

AI 数据准备使用由你控制的 AWS Identity and Access Management(IAM)执行角色运行。你的源数据、生成的数据集和标签会保留在你自己的 Amazon Simple Storage Service(Amazon S3)存储桶中,位于你选择的 AWS 区域。

立即开始使用

AI 数据准备能力已在美国东部(弗吉尼亚北部)和美国西部(俄勒冈)区域正式可用。

有两种开始使用的方式:

  • 使用你的编码代理 – 在你支持的笔记本或 IDE 中设置 数据准备技能 。描述一个训练或评估任务,并在生成样本之前审查生成的规范。
  • 使用 Python – 直接使用 SageMaker Python SDK 从你自己的代码中运行各项数据准备能力。SDK 以规范作为输入,因此我们建议先使用 AI-ML 技能创建规范,然后使用 SDK 在工作流程中运行这些规范。

有关更多信息,请参阅 Amazon SageMaker AI 文档。


关于作者