进入决赛并不等于获胜
a1qa 于 2025 年 10 月报道称，它入围了最佳测试自动化项目（功能）和人工智能驱动自动化的决赛。在这次沟通中，该公司将更快的速度、更少的人工工作和更低的成本归功于其实践；它们是公司对其工作的声明，而不是针对对照组发布的独立测量结果。
2025 年北美软件测试奖官方获奖者页面将 Infosys – 医疗保健项目列为人工智能驱动的质量保证的获奖者，该类别不同于人工智能驱动的自动化。 a1qa 是后者的决赛入围者，而不是前者的获胜者。入围是一种认可，但它并不等同于奖项，它本身也不验证风险或成本降低率。
奖项、会议和供应商案例展示了人工智能正在哪些领域进行测试：测试设计、缺陷分析、视觉自动化、数据准备和人工智能系统评估。由 Capgemini、Sogeti 和 OpenText 制作的《2025-26 年世界质量报告》表示，89% 的受访组织正在测试或使用生成式 AI 来提高软件质量。只有 15% 的公司将其使用扩展到整个公司。
该报告还指出，报告结果的组织观察到生产力平均提高了 19%；三分之一的人表示改进很小。由于该调查是由该行业的公司准备的，因此可以了解这些组织的报告内容，但不能保证所有公司的结果相同，也不能起到独立比较的作用。
如何评估加速承诺
要求进行清晰的比较：哪些阶段的交付速度更快？测量到的缺陷有多严重？审查、测试维护和事件时间是否计算在内？分析了多少个项目以及分析了多长时间？谁收集了数据？询问数量和比率，而不仅仅是一般百分比，并将运行测试节省的时间与集成和监控工具的成本分开。
有用的受控测试可以确定狭窄的任务、先前的成功标准、代理可以处理的数据、停止它的机制、独立审查和总拥有成本。如果没有这些元素，案例只能作为灵感，而不是团队的财务预测。
在一个已发布的零售公司回归测试案例中，a1qa 描述了一组大约五千个测试，第一阶段仅限于产品的一个部分。据该公司称，决定是否发布版本的时间从大约两周缩短到五个工作日或更短。它还报告说，准备一些转换后的测试花费的时间减少了 30% 以上。人工智能帮助根据需求提出测试、查找差距、准备虚拟数据并对错误进行分类；在合并测试之前，有人批准了这些测试。
该案例比单个百分比提供更多信息，因为它解释了工作的哪些部分被更改以及如何更改。不过，它是由供应商发布的，并不是独立的评估或保证其他团队也会得到同样的结果。要将其与另一个项目进行比较，您必须知道测量了哪些测试，包括多少审查时间，以及导致生产和后续维护的缺陷发生了什么。
用于采购和受控测试的评估表
要求提供五项信息进行比较：项目包含哪些内容以及遗漏了什么；初始情况是什么样的以及测量持续了多长时间； “储蓄”和“默认”是什么意思；一切费用是多少，包括人员筛查；以及以下版本的安全性、稳定性和维护方面发生了什么变化。选择一项具有明确预期结果的任务，并使用等效示例将当前流程与辅助流程进行比较。提前决定什么结果会导致您延长、纠正或停止初始测试。
外部认可可以帮助您找到正在尝试的团队和值得提出的问题。然而，采用决策需要来自您自己的产品的证据：可重复的结果、较低的相关风险或较低的总成本，而不会将无形的工作转移到质量保证、开发或运营。
奖项可以证明提名已在特定类别、版本和评审团内得到评估和认可。它的作用是发现值得研究的供应商、技术或项目。它不会自动证明该解决方案优于所有替代方案，结果可以在其他计算机上重复，或者回报值得付出成本。确切的类别很重要：“人工智能驱动的自动化”、“人工智能驱动的质量保证”和“测试自动化”不是同义词。在使用徽章作为证据之前，请确认该公司是否是决赛入围者或获胜者、官方类别是什么以及它被授予了哪个项目。
还建议将裁决与运营案例分开。一个公司可以得到有效的认可，发布一个有实际利润的商业故事，但这些利润仍然需要范围、期限和方法。生产率百分比并没有说明衡量的是哪些活动，是否包括准备和审查，或者生产中发生的缺陷。严格的注释呈现了陈述的内容，例如“供应商报告”，但并不使其成为独立的事实。这种区别可以保护读者，并使比较有助于做出决定，而不是重复标题。
把 a1qa 案例当作待验证的假设
a1qa 发布的零售回归案例描述了数千次测试的清单和有限的初始阶段。该公司报告称，发布决定从大约两周缩短到五个工作日或更短，并且准备一些转换后的案例所需的时间减少了 30% 以上。它还描述了来自需求、差距查找、虚拟数据和故障分类的测试建议，并经过人工批准。它比通用短语提供更多信息，因为它说明了您更改了哪些任务；它仍然是提供者撰写的案例，并且没有显示独立的比较组。
要将这种经验转化为您的团队，请询问进行了哪些类型的测试，转换了多少测试，计算了多少人工时间，以及需要修正的比例。检查改进是否持续了多个版本，设备或验收规则是否发生变化，以及逃逸的缺陷是否保持稳定。除了成功之外，还询问失败结果的例子。如果提供商因保密原因无法共享数据，则可以描述汇总方法或允许对受控数据进行受控测试；无需披露敏感代码来澄清测量的内容。
在进行对照试验之前，写一张一页的卡片，其中包含问题、病例总体、基线以及您将做出的决定。定义流动频繁、风险高的典型样本；不要让供应商只选择他们的工具看起来最好的示例。使用类似规则运行当前流程和辅助流程。记录结果的准确性、风险覆盖范围、重复案例、设置工作、分类、维护和总时间。将许可证、模型消耗、基础设施、支持和内部审查成本分开。
在看到结果之前就成功和停止阈值达成一致。受控测试可能会因工具不合适、上下文不足、安全限制或集成而失败；这些原因并不等同。如果速度提高但严重缺陷或维护工作增加，则平衡不是积极的。如果奖品能够激励您查看产品，那就太好了；购买必须取决于您自己的流程中的可重复证据以及允许您导出数据并停用解决方案而无需锁定计算机的输出。
供应商产品演示时要问的问题
在演示过程中，要求跟踪从需求到结果的变化，而不仅仅是查看生成证据的屏幕。正在测试什么版本的产品？每个标准从何而来？系统能否显示为什么它认为运行失败？如果页面迟到或更改会发生什么？如何区分环境故障和缺陷？人们可以在保存提案之前检查并更正提案吗？这些问题揭示了该工具是否适合日常工作，或者该示例是否依赖于预先准备的数据。
还要检查输出和可移植性。请求以您的团队可以保留的格式导出案例、结果和证据；询问谁有权访问数据、保留多长时间以及在对照试验结束时如何删除数据。查看如果提供商发生变更或许可证被取消会发生什么情况。调查可以帮助您找到可以交谈的公司，但有用的评估包括使用条款、操作限制、责任和退出计划。即使该奖项不再出现在新闻中，最终的决定也应该是合理的。
同样的标准也用于阅读市场广告。入围名单表明有申请并按一定规则进行评审；它没有表明有多少解决方案参与了或者没有得到提及的候选人的表现如何。获奖者页面允许您验证官方结果，而供应商可以澄清他们展示了其产品或项目的哪一部分。每个文档回答一个不同的问题。将它们进行对比可以避免将公司的声誉与其所有商业数据的独立验证相混淆。