←新闻详情

The New Stack更新于 10月25日 23:33

仅 34% 企业信任合成数据的引用完整性,数据质量成采用最大障碍

Only 34% trust synthetic data’s referential integrity — and it’s holding adoption back

AI 导读

Perforce Delphix 研究显示,仅 38% 的企业领导者认为合成数据足够真实,34% 认为其能保持引用完整性,数据质量而非合规或治理成为采用的最大障碍。目前 66% 的软件负责人未在开发和测试中使用合成数据,51% 的企业已用其保护敏感信息。文章建议合成数据工具需跨数据库保留关系、按依赖顺序生成数据并持续验证业务逻辑。

正文 · AI 翻译

尽管企业领导者绝大多数都相信合成数据的前景,但采用率仍然滞后。因此,合成数据拥有巨大的、尚未开发的潜力。答案是什么?企业需要一种正确的、高质量的方法,既能维护引用完整性,又能赢得他们的信任。

我们的研究表明,采用的最大障碍不是认知、合规或治理,而是数据质量。在各行各业,企业领导者日益认识到合成数据在保护敏感信息、以智能体速度推进以及在不增加风险的情况下扩大数据访问方面的价值。

然而,根据 Perforce Delphix 最近的研究,只有 38% 的领导者认为合成数据具有足够的真实性,仅有 34% 的领导者认为它能保持引用完整性。

正因如此,软件工程和测试团队中合成数据的使用仍然出人意料地有限。结果,企业错失了真正高质量的合成数据所能带来的机遇。抓住这些机遇的第一步:确保合成数据符合你的质量标准。

合成数据的前景

合成数据受到如此多的关注是有充分理由的。多年来,组织一直在努力平衡两个相互竞争的优先事项:为团队提供他们所需的数据,同时保护敏感信息。

传统方法往往迫使团队在访问与风险之间做出选择。数据要么受到限制,给开发和测试造成瓶颈,要么被广泛分发,增加合规和安全方面的担忧。

通过生成反映生产数据特征但没有隐私风险的新合成数据集,组织可以在保持治理和合规的同时提高测试数据的可用性。超过一半的企业(51%)已经使用合成数据来保护敏感数据,同时还采用静态和动态脱敏等方法。

这是一个引人注目的愿景,尤其是当 AI 智能体增加了整个企业对随时可用、高质量数据的需求时。当然,虽然生成合成数据很容易,但并非所有合成数据都是平等的。许多组织尝试过合成数据,但并未看到应用开发和测试方面的改进,因为它缺乏真实性或未能保持关系。

采用合成数据归根结底取决于组织是否相信某些合成数据解决方案正在不断演进,并且能够在过去未能保持真实性的情况下保持真实性。一种优先考虑大规模数据质量的现代化、AI 优先的方法可以解决这些遗留问题。

开发者需要的不仅仅是受保护的数据

虽然高管们通常从治理的角度评估合成数据,但开发团队则从质量的角度评估它。目前,66% 的软件领导者表示他们未在开发和测试中使用合成数据。

“开发人员和测试人员主要问的不是数据是否受到保护。他们问的是数据是否有用。”

开发人员和测试人员主要问的不是数据是否受到保护。他们问的是数据是否有用,会提出如下问题:

它能否准确反映客户行为?

它能否支持复杂的测试场景?

它能否在相互关联的系统之间保持关系?

它能否让人确信今天测试的应用程序明天在生产环境中会正确运行?

这些问题很重要,因为测试应用程序、业务流程、工作流、集成和客户体验的开发团队需要合成数据不仅仅是假的。它需要保留使数据有意义的上下文、关系和真实性。

这里有一个例子:在信用评级字段中生成一个随机数在技术上可能是正确的,但它不会反映你的真实数据。通过在现实世界的边界和范围内生成数据,你维护了真实性和质量。

如果数据缺乏真实性或不能反映实际系统行为,团队就有可能针对生产环境中不存在的场景来验证应用程序。结果可能是缺陷、发布失败和不准确的测试结果。

值得信赖的合成数据是什么样的

要使合成数据能够大规模支持企业开发,它必须像它所代表的系统一样运行。并非每个合成数据工具都能做到这一点,但你可以自定义生成规则,以在不同数据环境中维护引用完整性。

企业应用程序很少在单个数据库中运行。客户信息可能存在于一个系统中,订单在另一个系统中,支付信息在第三个系统中。只有当这些关系跨环境保持完整时,测试才有效。当它们不完整时,团队测试的就不是真实的业务流程。他们是在孤立地测试互不连接的组件。

“企业应用程序很少在单个数据库中运行。只有当这些关系跨环境保持完整时,测试才有效。”

因此,评估合成数据工具的组织应将以下几项能力视为不可妥协的:

跨数据库和系统保留关系,而不仅仅是在单个模式内。企业应用程序依赖于跨系统依赖关系,合成数据必须反映这些依赖关系。例如,投资者和投资账户这两个图表应始终相互关联。

按依赖顺序生成数据,以便父子关系在整个环境中保持完整。

通过确保生成的数据遵循预期的格式、范围、分布和规则,验证真实性和业务逻辑。测试数据集绝不应产生不可能的场景,例如无效标识符或无意义的业务结果。

随着模式演变,持续评估数据质量。如果每次源系统发生变化时合成数据都需要大量手动重新配置,质量和信任度不可避免地会随着时间的推移而受到侵蚀。

通过检查这些选项,合成数据可以在保持对开发有用的同时降低数据隐私风险。

为什么 AI 使这一挑战更加紧迫

AI 辅助开发的兴起正在暴露一个长期存在的挑战,而这一挑战如今已无法忽视:软件交付的速度只能与支持它的数据一样快。

虽然代码生成已大幅加速,但获取高质量测试数据的速度并未跟上。合成数据可以帮助弥合这一差距。与生产数据不同,合成数据可以按需生成。

当团队需要为新应用程序、功能、边缘案例和 AI 驱动的计划提供专门构建的数据时,这种能力尤其有价值,因为生产数据可能不存在或可能难以使用。合成数据让团队能够按需创建逼真的测试场景,并将验证提前到开发生命周期的更早阶段。

“软件交付的速度只能与支持它的数据一样快。”

与此同时,合成数据并不一定是所有测试方法的替代品。越来越多的组织发现将两种方法结合起来的价值:对已知工作流使用脱敏数据,同时使用合成数据来扩大覆盖范围并测试全新的场景。两者结合,既提供了真实性,又提供了灵活性。

共同的主线是信任。无论团队是在测试新功能、验证集成,还是支持 AI 辅助开发,信心都取决于能够准确反映现实世界系统关系和上下文的数据。引用完整性不再是一项可有可无的技术优势。它正在成为有意义地采用合成数据的先决条件。

合成数据的未来取决于可信数据

合成数据采用的下一阶段将取决于工程团队是否足够信任数据,以便用它来构建、测试和创新。

随着软件交付加速迈向代理式速度,可信数据成为一种竞争优势。组织需要能够快速生成的数据,但它还必须准确反映现实世界的关系、业务流程和系统行为。

“归根结底,合成数据的采用不是意识问题。这是一个信任问题,而信任来自数据质量。”

弥合这一差距的公司不会是那些仅仅生成更多合成数据的公司。它们将是那些生成逼真、引用准确、适合用途的数据的公司,开发人员可以自信地使用这些数据来加快发布速度并跟上 AI 的步伐。

归根结底,合成数据的采用不是意识问题。这是一个信任问题,而信任来自数据质量。

文章《仅 34% 信任合成数据的引用完整性——这正在阻碍采用》首次发表于 The New Stack。

来源

The New Stack