AI 热点

Testkube CTO:为什么测试需从一开始融入 AI 软件交付装配线

Unite.AI更新于 11月19日 03:40

Why Testing Needs to Be Built Into the AI Assembly Line From the Start

AI 导读

Testkube 联合创始人兼 CTO Ole Lensmar 主张将测试作为智能体软件交付流程中的独立环节,而非附加在 CI/CD 末端。DORA 报告显示 AI 应用与更高交付吞吐量及更低交付稳定性相关,相关研究也发现智能体可能修改或删除失败测试。文章建议限制智能体改动既有测试,在真实测试环境中尽早运行测试,并集中保存供人类和智能体使用的结果。

推荐理由

AI 评分 63

文章结合开发者调查与智能体测试研究,解释代码产量上升为何会放大交付瓶颈,并提出独立测试控制面的实践路径。

主题

标签

正文 · AI 翻译

二十多年来,我一直在开发测试工具,而在这段时间的大部分时候,我与工程团队的对话听起来都颇为相似。测试人员觉得自己在软件生命周期中像是二等公民。测试往往很晚才进行,通常被挤进发布前所剩无几的时间里,并被硬塞进一个原本为其他目的构建的 CI 流水线。如今,AI 已经改变了我们编写代码的方式,对测试也确实产生了影响——有好有坏。从很多方面来说,AI 让这一挑战变得更加明显。

过去几个月里,我参加了几场测试和云原生会议(LeadDev、CloudX、StarWest),与我交流过的几乎每个团队都在开展同一类项目的某种版本:由 AI 驱动的软件交付生命周期,其中智能体接手工作,从规格说明一路推进到在生产环境中运行,并在此过程中让人类适度参与。我把它想象成一条装配线:智能体编写代码,其他智能体审查代码,流水线则构建并部署代码;人类负责关注整体情况。但我很少听到有人谈论测试处于这条装配线的哪个位置。

目前,这多少有些像“西部荒野”。每隔几周就会出现新的智能体能力,大型 AI 实验室不断发布新模型,团队和供应商都在进行各种尝试,看看什么方法能奏效。

一些数据表明,问题已经开始显现。Google 最新一份关于 AI 辅助软件开发的 DORA 报告调查了近 5,000 名技术专业人士,发现采用 AI 与更高的交付吞吐量相关,这是个好消息。但它仍然也与更低的交付稳定性相关。研究人员解释称,AI 加快了开发速度,同时暴露出更下游环节的薄弱之处;他们还指出,强大的自动化测试是防止更多变更演变为更多不稳定因素的控制手段之一。

我对此并不感到意外。如果你让远超设计负荷的代码量涌入一个原本为少量代码设计的流程,那么它总会在某个环节慢下来,或在某处出问题。

当人们设想 AI 生成的代码会出什么问题时,往往会想到智能体将糟糕的东西直接推入生产环境。我相信这种情况确实会发生,而且一旦发生,后果并不好:出现 bug、客户不满,甚至可能发生安全事件。但说实话,这并不是我大多数时候遇到的情况。

2026 年 Stack Overflow 开发者调查显示了如今 AI 使用主要集中在哪些方面。开发者大多用它在自己已经熟悉的领域生成代码(67%)以及进行调试(61%),只有 20% 的人用它来部署、运维或排查生产系统的问题。迄今为止,AI 主要加快的是代码编写。验证这些代码并将其投入生产的方式,基本上仍与以前相同。

这也与我观察到的情况一致:团队产出的代码多了很多,但发布速度却没有加快。某位开发者或某个团队可能觉得自己开发的功能数量翻了一番,但这些功能会卡在下游环节,等待审查、等待测试、等待可供测试的环境。所有这些额外代码堵塞了流水线,在许多情况下甚至拖慢了团队的整体交付速度。

尽管对 AI 导致交付瓶颈的担忧非常现实,但这并不是团队向我们咨询的唯一问题。开发者最想知道的主要是如何更快地编写出更好的代码。关于防护措施的问题,则来自工程经理以及负责搭建这些智能体驱动工作流的人。我们如何确保智能体不会失控?如何知道它们没有引入回归问题,或悄悄跳过本应完成的工作?如何确保它们编写的测试确实(而且如实地!)验证了应该验证的内容?

我认为,这是因为他们关注的对象不同。开发者每次只关注一个拉取请求。工程经理则要为由众多智能体和人员发布的所有内容负责,而且一旦生产环境出问题,也需要由他们作出解释。

他们确实有理由保持谨慎。研究人员使用单元测试与规格说明相矛盾的编程任务,构建了一个名为 ImpossibleBench 的基准测试,因此要想通过,唯一的办法就是作弊。领先模型经常真的这么做,例如修改或删除失败的测试,而不是修复代码(!!)。另一项针对智能体所编写拉取请求的研究发现,智能体对自身变更的测试并不充分;该研究还引用了早期研究,后者显示,在已经合并的智能体拉取请求中,近三分之一需要后续修复或重构。

我的结论是,防护机制不能只存在于智能体自身的环境中,也不能等代码发布后才介入。如果编写代码的智能体同时负责判断代码是否通过测试,那么这个结果并不能说明多少问题。这并不意味着不应该让智能体编写测试,而是说,最终判定必须来自智能体无法自行调整的地方。测试需要成为装配线上的一个独立工位,每项变更都必须经过这里,无论变更是由人还是智能体编写的。

这个工位需要什么

答案并不是一种全新的测试。所需的大部分内容,优秀的 QA 团队一直以来都在倡导。只不过现在它们变得更加重要了。

测试需要像其所测试的代码一样,接受审查以确认是否准确符合需求。测试还需要在软件实际运行的环境中执行。在智能体沙箱中通过的测试,并不能充分说明软件在预发布或生产环境中的情况,而且还可能掩盖哪些依赖项被模拟了,以及是如何模拟的。最近一项针对近 18 万个智能体生成的测试文件的研究发现,与人类编写的测试相比,智能体覆盖了更多边缘情况,但其测试表现出更多不稳定迹象,主要原因是智能体对测试将要运行的环境了解不足。尽早在真实基础设施上运行测试,可以发现这类问题。

测试及其结果需要保留下来。如果智能体编写测试,就应该为它提供现有测试及其结果作为上下文,使其既能从覆盖情况中学习,也能了解潜在的不稳定性。测试需要像其他任何代码一样接受审查和版本控制,以便在下一次变更时再次运行,而不是随着会话结束而消失。

无论是谁发起测试——流水线、开发者还是智能体——通过都应该具有相同的含义。这意味着要在相同的基础设施上运行相同的测试,并将结果集中到一处。

人们也应该保留自己的判断力。我很乐意让智能体处理样板工作和连接配置。但决定什么值得测试,以及一次失败意味着什么,仍然是人类的工作(至少目前如此……)。

这也意味着,测试不能只存在于 CI/CD 中(如果你只能记住本文的一件事,那就记住这一点!)。CI 流水线是为构建和发布代码而设计的,从来就不是为大规模运行自动化测试而构建的。随着我们转向智能体式 SDLC,代码量持续增长,CI 就更加不适合承担测试运行工作。测试需要成为软件交付方式中的一等公民,而不是附加在流水线末端的一个步骤。这意味着要将测试作为一个独立系统来编排,覆盖团队使用的每一种工具和环境,而无论驱动流程的是智能体还是人类。

从何处着手

大多数团队已经拥有自己信赖的测试,无论使用的是 Playwright、Cypress、k6、Postman,还是其他已经标准化的工具,这些都是很好的起点。以下是我的几项建议:

画出一项变更目前从提示词进入生产环境的完整路径,并标出运行测试的每一个位置。如果测试只在接近末尾的一个地方运行,我会从这里开始改进。

要谨慎防止智能体悄悄修改现有测试。ImpossibleBench 的研究人员发现,限制智能体访问测试可以减少作弊行为。当智能体确实需要修改测试时,这项变更应该像其他代码一样,以拉取请求的形式提交并由人来审查。

尽可能早地在测试环境(最好是真实的测试环境)而非智能体沙箱中运行测试,即使只是针对每项由智能体生成的变更,在预发布环境中运行一小套冒烟测试。如果你使用 AI 编写测试,在测试尚未于该环境中运行之前,不要接受它。

将测试结果集中到一个统一控制平面中——无论是报告工具、APM 解决方案,还是专用测试平台。确保人类和智能体都能访问这些结果。

衡量交付成果,而不是活动数量。拉取请求的数量说明不了多少问题。DORA 的交付指标,例如变更前置时间和变更失败率,更能说明 AI 是否真正发挥了作用。

让智能体使用与团队成员相同的测试基础设施,从而按照同一标准检查其工作成果。

有条件的乐观

谈到 AI,我是一个看到杯子半满的人。我认为,AI 将大幅提升软件团队的能力,并最终提高其生产力。但要实现这一点,团队需要对智能体的产出给予足够信任,才敢将其发布;同时,他们还需要在智能体式 SDLC 中采取整体性的测试方法——这种信任正是在这里建立,也可能在这里丧失。

如果你正在努力构建智能体式 SDLC,那么测试目前在其中处于什么位置?

来源

Unite.AI