Ser finalista não é igual a vencer
a1qa relatou em outubro de 2025 que foi selecionado como finalista em Melhor Projeto de Automação de Teste (Funcional) e Automação Orientada por IA. Nesta comunicação, a empresa atribui mais rapidez, menos esforço manual e menores custos às suas práticas; São afirmações da empresa sobre seu trabalho, e não medições independentes publicadas com um grupo de comparação.
A página oficial dos vencedores do North American Software Testing Awards 2025 lista o projeto Infosys – Healthcare como vencedor do AI-Powered Quality Assurance, uma categoria distinta da AI Driven Automation. a1qa foi finalista neste último, não o vencedor do primeiro. Finalista é um reconhecimento, mas não equivale ao prêmio nem valida por si só uma taxa de redução de riscos ou custos.
Prêmios, conferências e cases de fornecedores mostram em quais áreas a IA está sendo testada: design de testes, análise de defeitos, automação visual, preparação de dados e avaliação de sistemas de IA. O Relatório de Qualidade Mundial 2025–26, produzido pela Capgemini, Sogeti e OpenText, afirma que 89% das organizações pesquisadas estavam testando ou usando IA generativa na qualidade de software. Apenas 15% estenderam a sua utilização a toda a empresa.
O relatório indica ainda que as organizações que reportaram resultados observaram, em média, um aumento de 19% na produtividade; um terço disse que as melhorias foram pequenas. Como a pesquisa foi elaborada por empresas do setor, serve para saber o que essas organizações reportam, mas não garante o mesmo resultado em todas as empresas nem funciona como uma comparação independente.
Como avaliar uma promessa de aceleração
Peça uma comparação clara: quais etapas da entrega foram feitas com mais rapidez? Quão graves foram medidos os defeitos? O tempo de revisão, manutenção de testes e incidentes foi contabilizado? Quantos projetos foram analisados e por quanto tempo? Quem coletou os dados? Solicite quantidades e proporções, não apenas porcentagens gerais, e separe o tempo economizado na execução de testes do custo de integração e monitoramento da ferramenta.
Um teste controlado útil identifica uma tarefa restrita, critérios de sucesso anteriores, dados que o agente pode processar, mecanismo para interrompê-la, revisão independente e custo total de propriedade. Sem esses elementos, o case serve de inspiração e não de previsão financeira para sua equipe.
Num caso publicado sobre testes de regressão para uma empresa de varejo, a1qa descreve um conjunto de cerca de cinco mil testes e uma primeira etapa limitada a uma parte do produto. Segundo a empresa, o tempo para decidir se uma versão poderia ser publicada caiu de cerca de duas semanas para cinco dias úteis ou menos. Ele também relata que a preparação de alguns testes convertidos levou 30% menos tempo. A IA ajudou a propor testes a partir de requisitos, encontrar lacunas, preparar dados fictícios e classificar bugs; uma pessoa aprovou os testes antes de incorporá-los.
O caso é mais informativo do que uma única porcentagem porque explica que parte da obra foi alterada e como. Ainda assim, é publicado pelo fornecedor e não é uma avaliação independente ou uma garantia de que outras equipes obterão o mesmo. Para compará-lo com outro projeto, você teria que saber quais testes foram medidos, quanto tempo de revisão foi incluído e o que aconteceu com os defeitos que chegaram à produção e posterior manutenção.
Uma ficha de avaliação que serve para compras e testes controlados
Peça cinco informações para comparar: o que o projeto incluiu e o que deixou de fora; como era a situação inicial e quanto tempo durou a medição; o que significam “poupança” e “incumprimento”; quanto custa tudo, inclusive a triagem das pessoas; e o que aconteceu com segurança, estabilidade e manutenção nas versões seguintes. Escolha uma tarefa com um resultado esperado claro e compare o processo atual com o assistido usando exemplos equivalentes. Decida com antecedência qual resultado faria com que você estendesse, corrigisse ou interrompesse o teste inicial.
O reconhecimento externo pode ajudá-lo a encontrar equipes que estão experimentando e que valem a pena fazer perguntas. A decisão de adoção, no entanto, precisa de evidências do seu próprio produto: resultados reproduzíveis, riscos menos relevantes ou custo total mais baixo, sem transferir o trabalho invisível para controle de qualidade, desenvolvimento ou operações.
Um prêmio pode demonstrar que uma indicação foi avaliada e reconhecida dentro de uma categoria, edição e júri específicos. Serve para descobrir fornecedores, técnicas ou projetos que valem a pena estudar. Não prova automaticamente que a solução é superior a todas as alternativas, que o resultado pode ser repetido em outros computadores ou que o retorno vale o custo. A categoria exata é importante: “Automação orientada por IA”, “Garantia de qualidade baseada em IA” e “automação de testes” não são sinônimos. Antes de usar o crachá como prova, confirme se a empresa foi finalista ou vencedora, qual foi a categoria oficial e a qual projeto foi premiado.
Também é aconselhável separar a sentença do caso operacional. Uma empresa pode ter reconhecimento válido e publicar uma história de negócios com lucros reais, mas esses lucros ainda precisariam de escopo, período e método. Os percentuais de produtividade não esclarecem qual atividade foi medida, se inclui preparação e revisão, ou o que ocorreu com defeitos na produção. Uma nota rigorosa apresenta a declaração como ela é – por exemplo, “o fornecedor relata” – e não a torna um fato independente. Essa distinção protege o leitor e torna a comparação útil para decidir, e não para repetir uma manchete.
Trate o caso da a1qa como uma hipótese a ser testada
O case publicado pela a1qa sobre regressão para varejo descreve um inventário de milhares de testes e uma fase inicial limitada. A empresa relata que a decisão de liberação passou de cerca de duas semanas para cinco dias úteis ou menos, e que a preparação de alguns casos convertidos exigiu mais de 30% menos tempo. Ele também descreve sugestões de testes de requisitos, detecção de lacunas, dados fictícios e triagem de falhas, com aprovação humana. É mais informativo do que uma frase genérica porque indica quais tarefas você alterou; continua sendo um caso escrito pelo provedor e não mostra um grupo de comparação independente.
Para traduzir essa experiência para sua equipe, pergunte quais tipos de testes foram realizados, quantos foram transformados, quanto tempo humano foi contado e qual proporção precisou de correção. Verifique se a melhoria durou vários lançamentos, se o equipamento ou as regras de aceitação mudaram e se o defeito escapado permaneceu estável. Peça exemplos de resultados fracassados, além de sucessos. Se o fornecedor não puder partilhar dados devido à confidencialidade, pode descrever uma metodologia agregada ou permitir um teste controlado em dados controlados; não há necessidade de divulgar código confidencial para esclarecer o que foi medido.
Antes de um ensaio controlado, escreva um cartão de uma página com o problema, a população do caso, a linha de base e a decisão que você tomará. Define uma amostra representativa com fluxos frequentes e casos de alto risco; não deixe o fornecedor escolher apenas os exemplos onde sua ferramenta parece melhor. Executa o processo atual e assistido com regras comparáveis. Registra a precisão das descobertas, cobertura de riscos, casos duplicados, esforço de configuração, triagem, manutenção e tempo total. Separa licenças, consumo de modelo, infraestrutura, suporte e custo de revisão interna.
Concorde com o sucesso e interrompa os limites antes de ver os resultados. Um teste controlado pode falhar devido ao mau ajuste da ferramenta, contexto insuficiente, limites de segurança ou integração; Essas causas não são equivalentes. Se a velocidade melhorar, mas os defeitos graves ou os trabalhos de manutenção aumentarem, o saldo não é positivo. Se um prêmio motiva você a olhar para um produto, ótimo; A compra deve depender de evidências reproduzíveis em seus próprios processos e de uma saída que permita exportar os dados e desativar a solução sem deixar o computador bloqueado.
O que perguntar em uma demonstração do fornecedor
Durante uma demonstração, peça para acompanhar uma mudança do requisito ao resultado, e não apenas olhar para uma tela que gera evidências. Qual versão do produto está sendo testada? De onde veio cada critério? O sistema pode mostrar por que considera que uma execução falhou? O que acontece se uma página atrasar ou mudar? Como você separa uma falha ambiental de um defeito? Uma pessoa pode revisar e corrigir a proposta antes de salvá-la? Estas questões revelam se a ferramenta se enquadra no trabalho quotidiano ou se o exemplo depende de dados pré-preparados.
Verifique também a saída e a portabilidade. Solicitação de exportação de casos, resultados e evidências em formatos que sua equipe possa reter; pergunta quem tem acesso aos dados, por quanto tempo eles são mantidos e como são excluídos ao final do teste controlado. Revise o que acontece se o provedor mudar ou a licença for cancelada. Uma pesquisa ajuda você a encontrar uma empresa com quem conversar, mas uma avaliação útil inclui termos de uso, limites operacionais, responsabilidades e um plano de saída. A decisão final deverá poder ser justificada mesmo que a premiação deixe de ser notícia.
O mesmo critério é utilizado para a leitura de anúncios de mercado. Uma lista de finalistas indica que houve candidaturas e uma avaliação de acordo com determinadas regras; Não indica quantas soluções participaram ou qual foi o desempenho dos candidatos que não receberam menção. A página dos vencedores permite verificar o resultado oficial, enquanto o fornecedor pode esclarecer qual parte do seu produto ou projeto apresentou. Cada documento responde a uma pergunta diferente. Compará-los evita confundir a reputação de uma empresa com a validação independente de todos os seus números comerciais.