Ein Finalist zu sein bedeutet nicht gleich zu gewinnen
a1qa berichtete im Oktober 2025, dass es als Finalist in den Kategorien „Best Test Automation Project (Functional)“ und „AI Driven Automation“ in die engere Wahl kam. In dieser Mitteilung schreibt das Unternehmen seinen Praktiken mehr Geschwindigkeit, weniger manuellen Aufwand und geringere Kosten zu; Dabei handelt es sich um Behauptungen des Unternehmens über seine Arbeit, nicht um veröffentlichte unabhängige Messungen mit einer Vergleichsgruppe.
Auf der offiziellen Gewinnerseite der North American Software Testing Awards 2025 wird das Projekt Infosys – Healthcare als Gewinner der Kategorie AI-Powered Quality Assurance aufgeführt, einer Kategorie, die sich von AI Driven Automation unterscheidet. a1qa war Finalist im letzteren, nicht der Gewinner im ersteren. Der Finalist ist eine Anerkennung, die jedoch nicht mit der Auszeichnung gleichzusetzen ist und auch keine Risiko- oder Kostensenkungsrate bestätigt.
Auszeichnungen, Konferenzen und Anbieterfälle zeigen, in welchen Bereichen KI getestet wird: Testdesign, Fehleranalyse, visuelle Automatisierung, Datenaufbereitung und Bewertung von KI-Systemen. Der von Capgemini, Sogeti und OpenText erstellte World Quality Report 2025–26 besagt, dass 89 % der befragten Organisationen generative KI in der Softwarequalität testen oder einsetzen. Nur 15 % hatten den Einsatz auf das gesamte Unternehmen ausgeweitet.
Der Bericht weist auch darauf hin, dass Organisationen, die Ergebnisse meldeten, im Durchschnitt eine Produktivitätssteigerung von 19 % verzeichneten; Ein Drittel sagte, die Verbesserungen seien gering. Da die Umfrage von Unternehmen der Branche erstellt wurde, dient sie dazu, zu erfahren, was diese Organisationen berichten. Sie garantiert jedoch nicht, dass bei allen Unternehmen das gleiche Ergebnis erzielt wird, und dient auch nicht als unabhängiger Vergleich.
So bewerten Sie ein Beschleunigungsversprechen
Bitten Sie um einen klaren Vergleich: Welche Lieferphasen wurden schneller durchgeführt? Wie schwerwiegend wurden die Mängel gemessen? Wurden Überprüfungs-, Testwartungs- und Vorfallzeit gezählt? Wie viele Projekte wurden analysiert und für wie lange? Wer hat die Daten gesammelt? Fragen Sie nach Mengen und Verhältnissen, nicht nur nach allgemeinen Prozentsätzen, und trennen Sie die Zeitersparnis bei der Durchführung von Tests von den Kosten für die Integration und Überwachung des Tools.
Ein nützlicher kontrollierter Test identifiziert eine begrenzte Aufgabe, frühere Erfolgskriterien, Daten, die der Agent verarbeiten kann, Mechanismen zum Stoppen, unabhängige Überprüfung und Gesamtbetriebskosten. Ohne diese Elemente dient der Fall als Inspiration und nicht als Finanzprognose für Ihr Team.
In einem veröffentlichten Fall zu Regressionstests für ein Einzelhandelsunternehmen beschreibt a1qa eine Reihe von etwa fünftausend Tests und eine erste Phase, die auf einen Teil des Produkts beschränkt ist. Nach Angaben des Unternehmens verkürzte sich die Zeit für die Entscheidung, ob eine Version veröffentlicht werden kann, von etwa zwei Wochen auf fünf Werktage oder weniger. Es wird außerdem berichtet, dass die Vorbereitung einiger konvertierter Tests mehr als 30 % weniger Zeit in Anspruch nahm. KI half dabei, Tests anhand von Anforderungen vorzuschlagen, Lücken zu finden, Dummy-Daten vorzubereiten und Fehler zu klassifizieren. Eine Person hat die Tests genehmigt, bevor sie sie integriert hat.
Der Fall ist informativer als ein einzelner Prozentsatz, da er erklärt, welcher Teil der Arbeit wie geändert wurde. Dennoch wird es vom Anbieter veröffentlicht und stellt keine unabhängige Bewertung oder Garantie dafür dar, dass andere Teams das Gleiche erhalten. Um es mit einem anderen Projekt zu vergleichen, müsste man wissen, welche Tests gemessen wurden, wie viel Prüfzeit enthalten war und was mit Fehlern passiert ist, die es in die Produktion und anschließende Wartung geschafft haben.
Eine Checkliste für die Beschaffung und kontrollierte Pilotversuche
Bitten Sie um fünf Informationen zum Vergleich: was das Projekt beinhaltete und was weggelassen wurde; wie die Ausgangssituation war und wie lange die Messung dauerte; was „Ersparnisse“ und „Ausfall“ bedeuten; wie viel alles gekostet hat, einschließlich der Personenkontrolle; und was mit Sicherheit, Stabilität und Wartung in den folgenden Versionen passiert ist. Wählen Sie eine Aufgabe mit einem klaren erwarteten Ergebnis und vergleichen Sie den aktuellen Prozess mit dem unterstützten anhand gleichwertiger Beispiele. Entscheiden Sie im Voraus, welches Ergebnis Sie dazu veranlassen würde, den ersten Test zu verlängern, zu korrigieren oder abzubrechen.
Externe Anerkennung kann Ihnen dabei helfen, experimentierfreudige Teams und Fragen zu finden, die es wert sind, gestellt zu werden. Die Einführungsentscheidung erfordert jedoch Beweise aus Ihrem eigenen Produkt: reproduzierbare Ergebnisse, weniger relevantes Risiko oder niedrigere Gesamtkosten, ohne unsichtbare Arbeit auf Qualitätssicherung, Entwicklung oder Betrieb zu verlagern.
Eine Auszeichnung kann zeigen, dass eine Nominierung innerhalb einer bestimmten Kategorie, Ausgabe und Jury bewertet und anerkannt wurde. Es dient dazu, Lieferanten, Techniken oder Projekte zu entdecken, die es wert sind, studiert zu werden. Es beweist nicht automatisch, dass die Lösung allen Alternativen überlegen ist, dass das Ergebnis auf anderen Computern reproduzierbar ist oder dass die Rendite die Kosten wert ist. Auf die genaue Kategorie kommt es an: „AI Driven Automation“, „AI-Powered Quality Assurance“ und „Test Automation“ sind keine Synonyme. Bevor Sie ein Abzeichen als Beweis verwenden, bestätigen Sie, ob das Unternehmen Finalist oder Gewinner war, welche offizielle Kategorie es gab und an welches Projekt es verliehen wurde.
Es empfiehlt sich auch, den Schiedsspruch vom operativen Fall zu trennen. Ein Unternehmen kann eine gültige Anerkennung haben und eine Geschäftsgeschichte mit echten Gewinnen veröffentlichen, aber diese Gewinne benötigen dennoch Umfang, Zeitraum und Methode. Die Produktivitätsprozentsätze geben keinen Aufschluss darüber, welche Aktivität gemessen wurde, ob sie Vorbereitung und Überprüfung umfasste oder was bei Produktionsfehlern passierte. Ein strenger Hinweis stellt die Aussage als das dar, was sie ist – zum Beispiel „der Lieferant berichtet“ – und macht sie nicht zu einer unabhängigen Tatsache. Diese Unterscheidung schützt den Leser und macht den Vergleich zur Entscheidungsfindung und nicht zur Wiederholung einer Überschrift nützlich.
Den a1qa-Fall als überprüfbare Hypothese behandeln
Der von a1qa veröffentlichte Fall zur Regression für den Einzelhandel beschreibt einen Bestand von Tausenden Tests und eine begrenzte Anfangsphase. Das Unternehmen berichtet, dass sich die Freigabeentscheidung von etwa zwei Wochen auf fünf Werktage oder weniger verkürzt hat und dass die Vorbereitung einiger umgewandelter Fälle mehr als 30 % weniger Zeit in Anspruch nahm. Außerdem werden Testvorschläge aus Anforderungen, Lückenfindung, Dummy-Daten und Fehlertriage mit menschlicher Genehmigung beschrieben. Es ist informativer als ein allgemeiner Ausdruck, weil es sagt, welche Aufgaben Sie geändert haben. Es bleibt ein vom Anbieter geschriebener Fall und zeigt keine unabhängige Vergleichsgruppe.
Um diese Erfahrung auf Ihr Team zu übertragen, fragen Sie, welche Arten von Tests eingegangen sind, wie viele geändert wurden, wie viel menschliche Zeit gezählt wurde und welcher Anteil korrigiert werden musste. Prüfen Sie, ob die Verbesserung mehrere Releases überdauert hat, ob sich die Ausrüstung oder Abnahmeregeln geändert haben und ob der behobene Fehler stabil geblieben ist. Fragen Sie nach Beispielen für gescheiterte Ergebnisse und Erfolge. Wenn der Anbieter aus Vertraulichkeitsgründen keine Daten weitergeben kann, kann er eine aggregierte Methodik beschreiben oder einen kontrollierten Test der kontrollierten Daten zulassen; Es besteht keine Notwendigkeit, sensiblen Code offenzulegen, um zu klären, was gemessen wurde.
Schreiben Sie vor einem kontrollierten Versuch eine einseitige Karte mit dem Problem, der Fallpopulation, dem Ausgangswert und der Entscheidung, die Sie treffen werden. Definiert eine repräsentative Stichprobe mit häufigen Flüssen und Hochrisikofällen; Lassen Sie den Anbieter nicht nur die Beispiele auswählen, bei denen sein Werkzeug am besten aussieht. Führt den aktuellen und unterstützten Prozess mit vergleichbaren Regeln aus. Zeichnet die Genauigkeit der Ergebnisse, die Risikoabdeckung, doppelte Fälle, den Einrichtungsaufwand, die Triage, die Wartung und die Gesamtzeit auf. Trennt Lizenzen, Modellverbrauch, Infrastruktur, Support und interne Überprüfungskosten.
Vereinbaren Sie Erfolgs- und Stoppschwellen, bevor Sie Ergebnisse sehen. Ein kontrollierter Test kann aufgrund schlechter Tool-Passung, unzureichendem Kontext, unzureichender Sicherheitsgrenzen oder unzureichender Integration fehlschlagen. Diese Ursachen sind nicht gleichwertig. Wenn sich die Geschwindigkeit verbessert, aber gravierende Mängel oder Wartungsarbeiten zunehmen, ist die Bilanz nicht positiv. Wenn ein Preis Sie dazu motiviert, sich ein Produkt anzusehen, ist das gut. Der Kauf muss auf reproduzierbaren Beweisen in Ihren eigenen Prozessen und einer Ausgabe basieren, die es Ihnen ermöglicht, die Daten zu exportieren und die Lösung zu deaktivieren, ohne den Computer gesperrt zu lassen.
- a1qa: Fall einer KI-gestützten Regression für den Einzelhandel
- DORA 2025: KI-Ergebnisse im Liefersystem
- Weltqualitätsbericht 2025–26: Akzeptanz, Ergebnisse und Hindernisse
- METR: Grenzen von Benchmarks als Maß für den tatsächlichen Nutzen
- Zusammenfassung: Softwarequalität und Vertrauen im Zeitalter der KI
Fragen für eine Produktdemo des Anbieters
Bitten Sie während einer Demo darum, die Veränderung von der Anforderung zum Ergebnis zu verfolgen und nicht nur auf einen Bildschirm zu schauen, der Beweise generiert. Welche Version des Produkts wird getestet? Woher kamen die einzelnen Kriterien? Kann das System nachweisen, warum es einen Lauf als fehlgeschlagen betrachtet? Was passiert, wenn eine Seite verspätet ist oder sich ändert? Wie unterscheidet man einen Umweltfehler von einem Defekt? Kann eine Person den Vorschlag überprüfen und korrigieren, bevor er ihn speichert? Diese Fragen zeigen, ob das Tool in den Arbeitsalltag passt oder ob das Beispiel auf vorab aufbereitete Daten angewiesen ist.
Überprüfen Sie auch die Leistung und Portabilität. Fordern Sie den Export von Fällen, Ergebnissen und Beweisen in Formaten an, die Ihr Team behalten kann; fragt, wer Zugriff auf die Daten hat, wie lange sie aufbewahrt werden und wie sie am Ende des kontrollierten Prozesses gelöscht werden. Überprüfen Sie, was passiert, wenn der Anbieter wechselt oder die Lizenz gekündigt wird. Eine Umfrage hilft Ihnen, ein Unternehmen zu finden, mit dem Sie sprechen können. Eine hilfreiche Bewertung umfasst jedoch auch Nutzungsbedingungen, Betriebsgrenzen, Verantwortlichkeiten und einen Ausstiegsplan. Die endgültige Entscheidung sollte auch dann gerechtfertigt werden können, wenn die Auszeichnung nicht mehr in den Schlagzeilen ist.
Das gleiche Kriterium wird zum Lesen von Marktanzeigen verwendet. Aus einer Liste der Finalisten geht hervor, dass es Bewerbungen und eine Bewertung nach bestimmten Regeln gab; Es wird nicht angegeben, wie viele Lösungen teilgenommen haben oder wie die Kandidaten abgeschnitten haben, die keine Erwähnung erhalten haben. Auf der Gewinnerseite können Sie das offizielle Ergebnis überprüfen, während der Lieferant klären kann, welchen Teil seines Produkts oder Projekts er vorgestellt hat. Jedes Dokument beantwortet eine andere Frage. Durch die Gegenüberstellung wird vermieden, dass der Ruf eines Unternehmens mit der unabhängigen Validierung aller seiner Geschäftszahlen verwechselt wird.