Être finaliste n'équivaut pas à gagner
a1qa a annoncé en octobre 2025 qu'elle avait été sélectionnée comme finaliste dans les catégories Meilleur projet d'automatisation des tests (fonctionnel) et AI Driven Automation. Dans cette communication, l'entreprise attribue plus de rapidité, moins d'effort manuel et des coûts moindres à ses pratiques ; Il s’agit d’affirmations de l’entreprise sur son travail et non de mesures indépendantes publiées avec un groupe de comparaison.
La page officielle des gagnants des North American Software Testing Awards 2025 répertorie le projet Infosys – Healthcare comme lauréat de l'assurance qualité basée sur l'IA, une catégorie distincte de l'automatisation basée sur l'IA. a1qa était finaliste dans ce dernier, pas vainqueur dans le premier. Être finaliste est une reconnaissance, mais elle n'équivaut pas à un prix et ne valide pas en soi un taux de réduction des risques ou des coûts.
Les récompenses, les conférences et les cas de fournisseurs montrent dans quels domaines l'IA est testée : conception de tests, analyse des défauts, automatisation visuelle, préparation des données et évaluation des systèmes d'IA. Le Rapport mondial sur la qualité 2025-2026, produit par Capgemini, Sogeti et OpenText, indique que 89 % des organisations interrogées testaient ou utilisaient l'IA générative pour la qualité des logiciels. Seuls 15 % avaient étendu son utilisation à l’ensemble de l’entreprise.
Le rapport indique également que les organisations qui ont rapporté des résultats ont observé, en moyenne, une augmentation de 19 % de leur productivité ; un tiers a déclaré que les améliorations étaient minimes. L'enquête ayant été préparée par les entreprises du secteur, elle sert à connaître ce que rapportent ces organisations, mais elle ne garantit pas le même résultat dans toutes les entreprises et ne fonctionne pas non plus comme une comparaison indépendante.
Comment évaluer une promesse d'accélération
Demandez une comparaison claire : quelles étapes de livraison ont été réalisées plus rapidement ? Quelle est la gravité des défauts mesurés ? Le temps de révision, de maintenance des tests et le temps d’incident ont-ils été pris en compte ? Combien de projets ont été analysés et pour combien de temps ? Qui a collecté les données ? Demandez des quantités et des ratios, pas seulement des pourcentages généraux, et séparez le temps gagné en effectuant les tests du coût d'intégration et de surveillance de l'outil.
Un test contrôlé utile identifie une tâche précise, les critères de réussite préalables, les données que l'agent peut traiter, le mécanisme pour l'arrêter, un examen indépendant et le coût total de possession. Sans ces éléments, le dossier sert d’inspiration et non de prévision financière pour votre équipe.
Dans un cas publié sur les tests de régression pour une entreprise de vente au détail, a1qa décrit un ensemble d'environ cinq mille tests et une première étape limitée à une partie du produit. Selon l'entreprise, le délai nécessaire pour décider si une version pouvait être publiée est passé d'environ deux semaines à cinq jours ouvrables ou moins. Il indique également que la préparation de certains tests convertis a pris plus de 30 % de temps en moins. L'IA a aidé à proposer des tests à partir des exigences, à trouver des lacunes, à préparer des données factices et à classer les bogues ; une personne a approuvé les tests avant de les incorporer.
Le cas est plus informatif qu’un simple pourcentage car il explique quelle partie de l’œuvre a été modifiée et comment. Néanmoins, il est publié par le fournisseur et ne constitue pas une évaluation indépendante ni une garantie que les autres équipes obtiendront la même chose. Pour le comparer avec un autre projet, vous devez savoir quels tests ont été mesurés, combien de temps d'examen a été inclus et ce qui est arrivé aux défauts qui ont atteint la production et la maintenance ultérieure.
Une fiche d'évaluation qui sert aux achats et aux tests contrôlés
Demandez cinq éléments d'information à comparer : ce que le projet incluait et ce qu'il omis ; quelle était la situation initiale et combien de temps a duré la mesure ; que signifient « épargne » et « défaut » ; combien coûte tout, y compris le dépistage des personnes ; et qu'est-il arrivé à la sécurité, à la stabilité et à la maintenance dans les versions suivantes. Choisissez une tâche avec un résultat attendu clair et comparez le processus actuel avec celui assisté en utilisant des exemples équivalents. Décidez à l’avance quel résultat vous amènerait à prolonger, corriger ou arrêter le test initial.
La reconnaissance externe peut vous aider à trouver des équipes qui expérimentent et des questions qui méritent d'être posées. La décision d'adoption nécessite cependant des preuves de votre propre produit : des résultats reproductibles, des risques moins pertinents ou un coût total inférieur sans déplacer le travail invisible vers l'assurance qualité, le développement ou les opérations.
Un prix peut démontrer qu'une nomination a été évaluée et reconnue au sein d'une catégorie, d'une édition et d'un jury spécifiques. Il sert à découvrir des fournisseurs, des techniques ou des projets qui méritent d'être étudiés. Cela ne prouve pas automatiquement que la solution est supérieure à toutes les alternatives, que le résultat est reproductible sur d’autres ordinateurs ou que le retour en vaut la peine. La catégorie exacte est importante : « AI Driven Automation », « AI-Powered Quality Assurance » et « test automation » ne sont pas des synonymes. Avant d'utiliser un badge comme preuve, vérifiez si l'entreprise était finaliste ou gagnante, quelle était la catégorie officielle et à quel projet elle a été attribuée.
Il est également conseillé de séparer la sentence du dossier opérationnel. Une entreprise peut avoir une reconnaissance valable et publier une histoire commerciale avec des bénéfices réels, mais ces bénéfices nécessitent toujours une portée, une période et une méthode. Les pourcentages de productivité ne précisent pas quelle activité a été mesurée, si elle comprend la préparation et la révision, ou ce qui s'est produit en cas de défauts de production. Une note rigoureuse présente la déclaration telle qu'elle est – par exemple, « les rapports des fournisseurs » – et n'en fait pas un fait indépendant. Cette distinction protège le lecteur et rend la comparaison utile pour décider et non pour répéter un titre.
Traiter le cas a1qa comme une hypothèse à vérifier
Le cas publié par a1qa sur la régression pour le commerce de détail décrit un inventaire de milliers de tests et une phase initiale limitée. La société rapporte que la décision de libération est passée d'environ deux semaines à cinq jours ouvrables ou moins, et que la préparation de certains dossiers convertis a nécessité plus de 30 % de temps en moins. Il décrit également les suggestions de tests à partir des exigences, la recherche des lacunes, les données factices et le tri des défauts, avec l'approbation humaine. C'est plus informatif qu'une phrase générique car elle indique les tâches que vous avez modifiées ; il s'agit d'un cas rédigé par le fournisseur et ne présente pas de groupe de comparaison indépendant.
Pour traduire cette expérience dans votre équipe, demandez quels types de tests ont été effectués, combien ont été transformés, combien de temps humain a été compté et quelle proportion a dû être corrigée. Vérifiez si l'amélioration a duré plusieurs versions, si l'équipement ou les règles d'acceptation ont changé et si le défaut échappé est resté stable. Demandez des exemples de résultats échoués en plus des réussites. Si le fournisseur ne peut pas partager de données pour des raisons de confidentialité, il peut décrire une méthodologie globale ou autoriser un test contrôlé sur des données contrôlées ; il n'est pas nécessaire de divulguer un code sensible pour clarifier ce qui a été mesuré.
Avant un essai contrôlé, rédigez une fiche d’une page décrivant le problème, la population de cas, la base de référence et la décision que vous prendrez. Définit un échantillon représentatif avec des flux fréquents et des cas à haut risque ; ne laissez pas le fournisseur choisir uniquement les exemples dans lesquels son outil est le plus performant. Exécute le processus actuel et assisté avec des règles comparables. Enregistre l'exactitude des résultats, la couverture des risques, les cas en double, les efforts de configuration, le tri, la maintenance et la durée totale. Sépare les licences, la consommation de modèles, l'infrastructure, le support et les coûts de révision interne.
Mettez-vous d’accord sur les seuils de réussite et d’arrêt avant de voir les résultats. Un test contrôlé peut échouer en raison d'un mauvais ajustement de l'outil, d'un contexte insuffisant, de limites de sécurité ou d'intégration ; Ces causes ne sont pas équivalentes. Si la vitesse s'améliore mais que les défauts graves ou les travaux de maintenance augmentent, le bilan n'est pas positif. Si un prix vous motive à regarder un produit, tant mieux ; L'achat doit dépendre de preuves reproductibles dans vos propres processus et d'une sortie qui vous permet d'exporter les données et de désactiver la solution sans laisser l'ordinateur verrouillé.
- a1qa : cas de régression assistée par IA pour le commerce de détail
- DORA 2025 : l'IA donne des résultats dans le système de livraison
- Rapport sur la qualité dans le monde 2025-2026 : adoption, résultats et obstacles
- METR : limites des benchmarks comme mesure de l’utilité réelle
- Résumé : Qualité et confiance des logiciels à l’ère de l’IA
Questions à poser lors d’une démonstration du fournisseur
Lors d'une démonstration, demandez à suivre l'évolution de l'exigence au résultat, et ne vous contentez pas de regarder un écran qui génère des preuves. Quelle version du produit est testée ? D’où vient chaque critère ? Le système peut-il indiquer pourquoi il considère qu’une exécution a échoué ? Que se passe-t-il si une page est en retard ou change ? Comment distinguer une défaillance environnementale d’un défaut ? Une personne peut-elle examiner et corriger la proposition avant de la sauvegarder ? Ces questions révèlent si l'outil s'intègre dans le travail quotidien ou si l'exemple dépend de données préparées à l'avance.
Vérifiez également la sortie et la portabilité. Demander l'exportation de cas, de résultats et de preuves dans des formats que votre équipe peut conserver ; demande qui a accès aux données, combien de temps elles sont conservées et comment elles sont supprimées à la fin de l’essai contrôlé. Vérifiez ce qui se passe si le fournisseur change ou si la licence est annulée. Une enquête vous aide à trouver une entreprise à qui parler, mais une évaluation utile comprend les conditions d'utilisation, les limites d'exploitation, les responsabilités et un plan de sortie. La décision finale devrait pouvoir être justifiée même si le prix cesse de faire la une des journaux.
Le même critère est utilisé pour lire les publicités du marché. Une liste des finalistes indique qu'il y a eu des candidatures et une évaluation selon certaines règles ; Il n’indique pas combien de solutions ont participé ni comment les candidats n’ayant pas reçu de mention se sont comportés. La page des gagnants vous permet de vérifier le résultat officiel, tandis que le fournisseur peut préciser quelle partie de son produit ou projet il a présenté. Chaque document répond à une question différente. Les comparer évite de confondre la réputation d'une entreprise avec la validation indépendante de tous ses chiffres commerciaux.