AWS 为 Amazon SageMaker AI 新增 AI 数据准备工具
AWS Adds AI Data Preparation Tools to Amazon SageMaker AI
AWS 于 11 月 17 日为 Amazon SageMaker AI 新增 AI 数据准备能力,涵盖合成数据生成、质量评估、数据转换、自动标注与人工审核,已在美国东部(弗吉尼亚北部)和美国西部(俄勒冈)区域正式可用。自动标注对固定答案任务采用多模型“陪审团”投票,一致度作为置信度,低于阈值的行进入基于 Label Studio Community Edition 的 SageMaker Studio 审核队列。开发者可通过 SageMaker Python SDK 3.30.0 及以上版本的 DataPreparer 类调用 generate()、evaluate() 和 transform(),数据写入 Amazon S3 并以 DataSet 形式注册。
正文 · AI 翻译
AWS于2026年11月17日宣布为Amazon SageMaker AI推出新的AI数据准备能力,在模型开发工作流中新增合成数据生成、质量评估、数据转换、自动标注和人工审核功能。这些工具已在美国东部(弗吉尼亚北部)和美国西部(俄勒冈)区域正式可用。
此次发布整合了通常分散在独立标注工具、生成脚本和验证任务中的工作。团队可以在现有流程中使用单项能力,或将多项能力串联起来,并且可以查看和修改规格与代码,让数据集逐步走向训练或评估。
生成、清理与训练格式
合成数据生成根据规格说明创建训练、评估和测试记录,并可选地以种子数据和文档作为依据。它还会生成一个基于代码的流水线,用户可以审查、修改、复用和扩展该流水线,从而使生成过程本身可供检查。
质量评估可以应用客户的业务规则、内置指标和LLM-as-a-judge指标,即由语言模型对数据进行评估。它可以发现重复项和近似重复项,并揭示标签噪声或答案泄漏。随后,转换可以通过生成的代码、内置的去重、合并、拆分和过滤功能,或用户提供的可大规模运行的Python代码来重塑记录。
AWS的示例训练链会将生成的数据格式化为适用于监督微调、直接偏好优化或强化学习的形式,对其质量进行检查,然后进入SageMaker AI模型定制环节。这一顺序将数据集验证置于训练计算之前,使团队有机会在训练运行前处理有缺陷的记录。
置信度分数驱动人工审核
自动标注可以从无标签数据集、小型有标签种子集或完全没有标签开始。内置任务包括分类、命名实体识别、抽取式问答、序数评分和摘要,同时也可以定义自定义任务。在处理完整数据集之前,简短的标注规范会先根据用户的示例进行验证。
对于答案集固定的任务,多个模型会像陪审团一样为每一行打标签,它们的一致程度便成为该行的置信度分数。低于所选阈值的行会进入基于开源 Label Studio Community Edition 的 SageMaker Studio 审核队列。外部领域专家可以在审核应用中修正这些行;这些修正会反馈到自动标注中,团队还可以生成共识指标和标注报告。
托管作业与数据集交接
开发者可以通过 SageMaker Python SDK 调用这些阶段,或让编码智能体借助 AWS AI-ML 技能在 SageMaker Studio JupyterLab、Kiro 或本地 IDE 中选择并运行它们。SageMaker AI 文档规定需使用 SDK 3.30.0 或更高版本,以及带有 generate()、evaluate() 和 transform() 方法的 DataPreparer 类。generate() 方法同时涵盖合成数据生成和自动标注。
合成数据生成、自动标注、质量评估和转换均作为 SageMaker 托管作业运行。产生数据的作业会将记录写入 Amazon S3,并将其作为 DataSet 内容注册到账户中心。对于这些输出,SDK 的 DataSet 对象带有一个 Amazon 资源名称(ARN),可传递给下一阶段。转换会将其输出发布到与输入相同的中心,通常作为该数据集的新版本;而质量评估则仅将结果写入 S3,不再注册另一个数据集。
编码助手会起草规范、检查环境,并在运行作业或创建资源之前请求批准。它还可以将作业运行保存为笔记本或脚本,从而提供一个可再次运行的可复用产物。
该工作流使用由客户控制的 AWS Identity and Access Management 执行角色。源数据、生成的数据集和标签都保留在客户自己位于所选 AWS 区域的 S3 存储桶中,从而使存储和访问都处于客户所选择的权限和位置范围内。
思科旗下的 Splunk 在为其 Agent Observability 产品构建评估模型时使用了合成数据生成。Splunk Agent Observability 工程总监 Yash Sheth 表示,这些工具快速生成了具有统计代表性的数据集,同时保留了其模型所依赖的模式,并且它们与 SageMaker 的集成减少了其数据科学家和客户在数据整理方面的工作。
对开发者而言,这一运营层面的变化在于:生成、检查和修正可以通过一条受管理的数据集路径为模型开发提供支持。AWS 将这一自动化与可检查的产物、审批请求以及由客户持有的 S3 记录相配套,因此对数据生成方式的控制仍然是数据准备工作流的一部分。
AI 热点